Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
13.12.2021, 20:34
|
|||
---|---|---|---|
Bulk Insert |
|||
#18+
Столкнулся с задачей вставки в Постресс данных из Talend Open Studio. Стандартный компонент вставляет построчно. Другой стандартный компонент, равно как и команда COPY, требует готового файла, расположенного на доступном с сервера ресурсе, чего очень не хотелось делать (по причинам безопасности и производительности) . Сочинил немного джава-кода (адаптировав COPY stdin) и распараллелил джобу. Вставка ускорилась в 50 раз за счет кастомного джава-компонента вставки, который кому-то придется поддерживать. Поскольку я знаком с Посгрессом неплотно, то, возможно, изобрел совершенно ненужный велосипед. Существуют ли нормальные средства (ETL?) для пакетной вставки потока данных (необязательно файлового происхождения) в Постгресс? ... |
|||
:
Нравится:
Не нравится:
|
|||
|
13.12.2021, 20:55
|
|||
---|---|---|---|
|
|||
Bulk Insert |
|||
#18+
.Евгений Стандартный компонент вставляет построчно. Другой стандартный компонент, равно как и команда COPY, требует готового файла, расположенного на доступном с сервера ресурсе, чего очень не хотелось делать (по причинам безопасности и производительности) . COPY совершенно нормально работает с потока, т.ч. файл, в общем случае, не требуется. .Евгений Сочинил немного джава-кода (адаптировав COPY stdin) ... Java код в COPY уж точно никаких файлов не требует, вполне можно скармливать данные в поток на лету, по мере готовности. .Евгений Поскольку я знаком с Посгрессом неплотно, то, возможно, изобрел совершенно ненужный велосипед. Существуют ли нормальные средства (ETL?) для пакетной вставки потока данных (необязательно файлового происхождения) в Постгресс? Дык COPY и есть средство PostgreSQL для пакетной вставки. Т.ч. в чем заключается Ваш вопрос и проблема, не очень понятно. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
13.12.2021, 21:19
|
|||
---|---|---|---|
Bulk Insert |
|||
#18+
Leonid Kudryavtsev, проблема заключается в том, что стандартные компоненты гуевых ETL - это тык мышкой и жмяк по кнопке. На их поддержку можно сажать лиц, слабо знакомых с программированием - джуна или аналитика. Или меня спустя двадцать лет, страдающим деменцией. С кодом так не поступить. Мой вопрос - что может пакетно вставлять данные в Постгресс, настраиваться без специальных познаний в программировании и выдавать внятный лог произошедшего (а не стек вызовов). ... |
|||
:
Нравится:
Не нравится:
|
|||
|
14.12.2021, 12:31
|
|||
---|---|---|---|
|
|||
Bulk Insert |
|||
#18+
.Евгений Leonid Kudryavtsev, проблема заключается в том, что стандартные компоненты гуевых ETL - это тык мышкой и жмяк по кнопке. На их поддержку можно сажать лиц, слабо знакомых с программированием - джуна или аналитика. Или меня спустя двадцать лет, страдающим деменцией. С кодом так не поступить. Мой вопрос - что может пакетно вставлять данные в Постгресс, настраиваться без специальных познаний в программировании и выдавать внятный лог произошедшего (а не стек вызовов). Ответ: всё ... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
start [/forum/topic.php?fid=53&tablet=1&tid=1993749]: |
0ms |
get settings: |
10ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
29ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
42ms |
get tp. blocked users: |
1ms |
others: | 282ms |
total: | 394ms |
0 / 0 |