powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Jobs шт Pentaho Data Integrator
5 сообщений из 5, страница 1 из 1
Jobs шт Pentaho Data Integrator
    #39799140
Pavel_PV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет.
В общем пощупал чуток, но осталось пара вопросов.
Ещё не пробовал настроить хранение репы в БД. Хотел уточнить, есть ли возможность если репа лежит в БД изменять расписание работы джобов меняя таблицы в БД? И какой основной профит если репу хранить именно в БД, а не на файловой системе? Если хранение файлов организовать через гит, то вообще разницы не понимаю.
...
Рейтинг: 0 / 0
Jobs шт Pentaho Data Integrator
    #39799236
kaldorey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Pavel_PV,

Если мы говорим про community версию - то у нее нет криптозащиты паролей. То, что она предлагает в стандарте, ломается за 5 минут.
Поэтому, если сделать репу в базе - то можно защитить хотя бы базу. Если работать через гит и файлы - можно держать на сервере файлы с соединениями отдельно - тогда джобы и трансформации берут значения оттуда, а не из своих данных, при совпадении названий соединений. Но вот беда - реквизиты соединений трансформации сохраняют все равно.
Поэтому для гита надо реализовывать хуки для вычищения паролей из файлов трансформаций, но через базу удобнее..
Расписание менять можно и через базу, только для этого все равно надо перезапускать джобы - в этом разницы нет.
...
Рейтинг: 0 / 0
Jobs шт Pentaho Data Integrator
    #39799688
Pavel_PV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
kaldorey, доброго дня!
Да конечно речь про CE.
Про пароли. Хочешь сказать не получится сделать, чтобы пароли лежали рядом в каком-то конфиг файле и просто его вычитывать перед подключением? А подключение сделать через переменные. Я если честно думал с этим проблем не будет, но не проверял.
По расписанию. Идея была в том, что когда нужно джоб запустить я просто поменяю расписание на SYSDATE+5 минут и буду сидеть ждать запуска. Но видимо не взлетит?
Ещё не очень удобно, что 2 таблицы логов из трёх сохраняют данные в БД после отработки джоба. Не нашёл настроек, чтобы это изменить.
...
Рейтинг: 0 / 0
Jobs шт Pentaho Data Integrator
    #39800247
biwed.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день. Pavel_PV.

Pavel_PVПро пароли. Хочешь сказать не получится сделать, чтобы пароли лежали рядом в каком-то конфиг файле и просто его вычитывать перед подключением?
Да так можно. Параметризируется на ура через переменные.
Есть еще и подключения JNDI можно и их попробовать. Если утроит то нормально.

По архитектуре если интересно, то мы сейчас используем для всего хозяйства Docker + PDI + GIT и самописный планировщик на python, который запускает докеры. Логика запуска python реализуется на PG хранимках.

PS. Недавно (1 апреля 2019) писал видео как работать с подключениями на PDI. Рассмотрел все вопросы по подключениям от JNDI до параметризации подключений к БД. Буду рад, если что-то пригодится.

С уважением,
biwed.ru
...
Рейтинг: 0 / 0
Jobs шт Pentaho Data Integrator
    #39800271
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Храните все в файлах, никакого особого смысла использовать базу нет.
У нас такая конфигурация - два репозитория прод и дев в файлах, git, jenkins - для планирования запуска по расписанию.
...
Рейтинг: 0 / 0
5 сообщений из 5, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Jobs шт Pentaho Data Integrator
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]