Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Pentaho DI v8.3 Community Edition очень долго сохраняет трансформации, что можно сделать ? / 4 сообщений из 4, страница 1 из 1
29.01.2020, 06:31
    #39919736
Wild-Jack
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Pentaho DI v8.3 Community Edition очень долго сохраняет трансформации, что можно сделать ?
Подскажите, для построения DWH используем Pentaho DI v8.3 Community Edition.
Репозиторий со всеми джобами и трансформациями развёрнут на PostgreSQL.
В начале всё было окей, но чем дальше тем медленнее сохраняются трансформации в репозиторий.
Что можно с этим сделать и как выйти из этого положения.

П.С. трансформация с 25 степами сохраняется минуту, хотя вначале это занимало секунды.
...
Рейтинг: 0 / 0
29.01.2020, 07:20
    #39919741
grgdvo
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Pentaho DI v8.3 Community Edition очень долго сохраняет трансформации, что можно сделать ?
Wild-Jack,

наверно это больше вопрос к Пентахо, как они используют постгрес, какая нагрузка, какие настройки рекомендуют для оптимальной работы.
с точки зрения постгрес можете включить параметр log_min_duration_statement и играться с его значением, чтобы смотреть, какие запросы дольше всего работают. дальше анализ планов этих запроса со всеми вытекающими.
...
Рейтинг: 0 / 0
01.02.2020, 14:45
    #39921313
Partisan M
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Pentaho DI v8.3 Community Edition очень долго сохраняет трансформации, что можно сделать ?
Wild-Jack,
Слово репозиторий не существует, это хранилище. Слово трансформация существует, но применено неправильно. Это преобразование. Слово джоб не существует. Это задание. Слово степ не существует. Не буду уж подсказывать, как это по-русску.

Причина торможения непонятна. Я хоть и использую PDI с PostgreSQL, такого не видел. Может быть, и в PostgreSQL, хотя само по себе PostgreSQL не замедляется. Проверить, нормально ли оно работает без учёта PDI.

В Pentaho - проверить, произведена ли его настройка для хранения его объектов в PostgreSQL вместо применяемой по умолчанию HSQDB.
...
Рейтинг: 0 / 0
06.02.2020, 08:48
    #39923187
Wild-Jack
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Pentaho DI v8.3 Community Edition очень долго сохраняет трансформации, что можно сделать ?
Partisan M,

авторВ Pentaho - проверить, произведена ли его настройка для хранения его объектов в PostgreSQL вместо применяемой по умолчанию HSQDB

подскажите, как это проверить ?

Если я сохраняю трансформацию на локальной машине, то это происходит мгновенно, но если сохраняю в хранилище на сервере, то это занимает минуты.

В PostgreSQL смотрели нагрузку на таблицы в момент сохранения, но нагрузка занимает секунды.

Куда сохраняется сама трансформация ? На сервер в виде файла или в БД PostgreSQL или в БД сохраняется лишь ссыдка на этот файл на сервере ?

Спасибо !
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Pentaho DI v8.3 Community Edition очень долго сохраняет трансформации, что можно сделать ? / 4 сообщений из 4, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]