|
|
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
Добрый день всем. Скоро возможно будет акутально Pentaho Kettle На W10 Поставил последюнюю версию Pentaho Kettle общий вопрос 1?) Общий какие толковые блоги-статьи есть на тему работы с БД (в 1 очередь Oracle) там где много данных ( по опыту работы с Талендом я там старавлся все на сторону БД переносить - правда там были ELT компоенты к-е фактически генерили pl-sql скрипты - но это было еще в 2014 ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.02.2020, 19:30 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
А вообще кто-то из ныне присутствюущих юзал на прод.проектах сей тул ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2020, 18:49 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
Гулин Федор А вообще кто-то из ныне присутствюущих юзал на прод.проектах сей тул ? 140 просмотров, 1 ответ )) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.02.2020, 12:02 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
Гулин Федор, Нормальный продукт, стабильный, не глючит, делал на нем пару проектов в ВТБ, еще знакомый на нем работает в Почте России, говорит, что им грузят бошьшое ХД на ClickHouse. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.02.2020, 07:23 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
Полковник. Гулин Федор, Нормальный продукт, стабильный, не глючит, делал на нем пару проектов в ВТБ, еще знакомый на нем работает в Почте России, говорит, что им грузят бошьшое ХД на ClickHouse. Товарищ Полковник, скажите, а он умеет делать merge c одного сервера на другой для огромных таблиц, которые не влезают в память? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.02.2020, 08:57 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
Гулин Федор 1?) Общий какие толковые блоги-статьи Еще есть книга Pentaho Kettle Solutions. Building Open Source ETL Solutions with Pentaho Data Integration | Bouman Roland, Casters Matt , но могла устареть. С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.02.2020, 10:10 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
a_voronin, Умеет, все что не влезает в память он свопит на диск. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.02.2020, 13:22 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
СПС всем ответитвшим ссылка на форум старая - он переехал - я там зареглися уже и даже задал простой вопрос лучшее из того что я нашел сам http://www.biwed.ru/index.php/pentaho/55-chast-7-nastrojka-etl-video там есть и другие ссылки ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2020, 12:32 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
Полковник. a_voronin, ... свопит на диск. Звучит подозрительно -- как насчет не загружать все в память и не свопить на диск. Есть ли решение аналогичное возможному в SSIS. Делать merge не касаясь диска. Быстрый джойн https://guru-msbi.blogspot.com/2013/07/using-merge-join-without-sort.html ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2020, 14:33 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
a_voronin, День добрый. a_voroninЗвучит подозрительно -- как насчет не загружать все в память и не свопить на диск. Есть ли решение аналогичное возможному в SSIS. Делать merge не касаясь диска. Конечно есть. Это почти так же тривиально на PDI как и на SSIS. Ну, будет чуть больше степов. Самое главное сортировки на стороне БД должны делаться. С уважением, biwed.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2020, 15:15 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
a_voronin, Свой собственный вопрос еще раз прочитайте. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2020, 19:58 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
biwed.ru, Есть вопрос к вам (но может кто еще ответит) https://iie52.ru/data-integration-kettle-transformation-with-parameters/?unapproved=2151&moderation-hash=93cef24f47f0f124cbffd3991be90324#comment-2151 есть простой и интересный пример я запустил его для SQL server конекшена в PDI 9 если явно указываю в copy2.ktr SyncTableName = aa все работает OK Если вызываю из другой трансформации ${Internal.Entry.Current.Directory}/copy2.ktr с параметром aa Я вижу что 0 записей но не могу понять ПОЧЕМУ ?? Вопрос как понять в чем проблема если трансформация НЕ выдадет ошоибок ?? Нет галочки Pass all parameter values down to transformation я поставли галочку Inherit ALL variables from transforamtion подозреваю что это тоже самое но НЕ уверен Upd - Нашел надо вызывать из жоба но появился вопрос почему если стоит Цепочка Start -> copy 2aa Надо в диалоге запуска указывать что стартуем с start1 как то не понял идеи после SSIS - там пакет стартуешь и все и 2?) более общий даже - как отлаживать такие жобы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.03.2020, 18:18 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
Гулин Федор, Добрый день. Гулин ФедорНет галочки Pass all parameter values down to transformation Да. В этом проблема. Это как в SSIS передача параметров между пакетами. Нужно все явно указывать как на принимающей стороне так и на отправляющей. Вы задействовали передачу параметров только на прием, а отправляющий не передает параметров. На скринах это есть. Гулин ФедорInherit ALL variables from transforamtion Ну а это как переменные SSIS. Просто можно объявить области видимости хоть в пределах всего проекта. Гулин ФедорВопрос как понять в чем проблема если трансформация НЕ выдадет ошоибок ?? Читать логи и смотреть, что происходит. Гулин ФедорЕсть вопрос к вам (но может кто еще ответит) https://iie52.ru/data-integration-kettle-transformation-with-parameters/?unapproved=2151&moderation-hash=93cef24f47f0f124cbffd3991be90324#comment-2151 Сделайте сразу через циклы, а то пример довольно странный получается. Передачу параметров можно было бы и на простом степе отработать. Можно порыться там же сайте были циклы (пользователь есть на этом форуме.). Еще есть видео про циклы у мена на канале "Работа с циклами и множественное чтение (Урок 3)" + еще и сами PDI проекты и наборы данных. Там подробно рассказано, как это происходит. С уважением, biwed.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2020, 02:20 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
biwed.ru, СПС за развернутый ответ еще есть вопрос А как переключаться между DEV/TEST/Product в SSIS 2012 сделали енвы в SSMS в Таленде есть контексты А как это по умному сделать в пентахо в kettle.properties можно настроить переменные их можно использовать в коннекшненах Вариант - но при переключении надо тогда менять ВСЕ переменные Не удобно - мождно забыть чего-то. или как то можно указать разные kettle.properties при старте spoon ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2020, 09:38 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
Полковник. делал на нем пару проектов в ВТБ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2020, 10:20 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
Добрый день. Гулин Федор, Можно посмотреть статью. https://rpbouman.blogspot.com/2011/05/managing-kettle-job-configuration.html Чтение можно тоже параметризовать. Передаешь переменную со значением DEV, читаешь из dev конфига и т.д. Ну а дальше все параметризуешь. Если нужны коннекты, то можно пойти через JNDI + префиксы (DEV/PROD/...). Хотя первый вариант более универсальный. С уважением, biwed.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.03.2020, 10:33 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
biwed.ru, СПАСИБО большое получилось после некоторого кол-ва времени главная заморочка была как передать параметр из род. жоба в трансформацию ${JOB_CONFIG} - в поле Static input value (я почему то хотел это пихать в Parameter to use) - что вроде логично из названия Все работает вроде ок но интереса ради закинул русские буквы в файл STAGING_DESC2=TEST_qwerty_azxcv_ффывппфвыапрцунц45нчырывпарт в логе выводит так : STAGING_DESC2 = TEST_qwerty_azxcv_ÑÑÑвппÑвÑапÑÑÑнÑ45нÑÑÑÑвпаÑÑ засунул в дочерную трансформацию вывод в текстовый файл тоже самое - STAGING_DESC2 = TEST_qwerty_azxcv_ÑÑÑвппÑвÑапÑÑÑнÑ45нÑÑÑÑвпаÑÑ файл вижу в notepad++ В UTF8 вот думаю где оно мне преобразовало НЕ так И что подкрутить ? ps шрифты вроде поставил в spoon unicode вот думаю где что подкрутить чтобы они ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.03.2020, 19:02 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
похоже на чтение properties стоит UTF8 но читатает думаю не влияет ли на это какая то переменная окружения явы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.03.2020, 19:15 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
Гулин Федор, При запуске Spoon нужно добавит параметр "-Dfile.encoding=UTF-8" Более подробно http://www.biwed.ru/index.php/dobryaki/20-pdi/103-pdi-postgresql-bulk-loader (на видео показано куда и в какой файл, если возникнут проблемы). С уважением, biwed.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.03.2020, 02:17 |
|
||
|
Pentaho Kettle общий вопрос
|
|||
|---|---|---|---|
|
#18+
biwed.ru, СПС вначале почему то не помогло хотя прописал и рестартовал spoon погирался с кодировками - не помогло в properties квадратике UTF8 задизейблено - потом помог шаманский когда меняешь тип с properties на Ini UTF8 становится enabled И русский язык отлично рабоатает и показывает как только назад на porperties - кракозябры ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.03.2020, 15:18 |
|
||
|
|
start [/forum/topic.php?fid=49&msg=39936824&tid=1857361]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
6ms |
check topic access: |
6ms |
track hit: |
44ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
52ms |
get tp. blocked users: |
1ms |
| others: | 13ms |
| total: | 154ms |
| 0 / 0 |
На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даете согласие с использованием данных технологий.
