|
Bulk Insert
|
|||
---|---|---|---|
#18+
Столкнулся с задачей вставки в Постресс данных из Talend Open Studio. Стандартный компонент вставляет построчно. Другой стандартный компонент, равно как и команда COPY, требует готового файла, расположенного на доступном с сервера ресурсе, чего очень не хотелось делать (по причинам безопасности и производительности) . Сочинил немного джава-кода (адаптировав COPY stdin) и распараллелил джобу. Вставка ускорилась в 50 раз за счет кастомного джава-компонента вставки, который кому-то придется поддерживать. Поскольку я знаком с Посгрессом неплотно, то, возможно, изобрел совершенно ненужный велосипед. Существуют ли нормальные средства (ETL?) для пакетной вставки потока данных (необязательно файлового происхождения) в Постгресс? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.12.2021, 20:34 |
|
Bulk Insert
|
|||
---|---|---|---|
#18+
.Евгений Стандартный компонент вставляет построчно. Другой стандартный компонент, равно как и команда COPY, требует готового файла, расположенного на доступном с сервера ресурсе, чего очень не хотелось делать (по причинам безопасности и производительности) . COPY совершенно нормально работает с потока, т.ч. файл, в общем случае, не требуется. .Евгений Сочинил немного джава-кода (адаптировав COPY stdin) ... Java код в COPY уж точно никаких файлов не требует, вполне можно скармливать данные в поток на лету, по мере готовности. .Евгений Поскольку я знаком с Посгрессом неплотно, то, возможно, изобрел совершенно ненужный велосипед. Существуют ли нормальные средства (ETL?) для пакетной вставки потока данных (необязательно файлового происхождения) в Постгресс? Дык COPY и есть средство PostgreSQL для пакетной вставки. Т.ч. в чем заключается Ваш вопрос и проблема, не очень понятно. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.12.2021, 20:55 |
|
Bulk Insert
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev, проблема заключается в том, что стандартные компоненты гуевых ETL - это тык мышкой и жмяк по кнопке. На их поддержку можно сажать лиц, слабо знакомых с программированием - джуна или аналитика. Или меня спустя двадцать лет, страдающим деменцией. С кодом так не поступить. Мой вопрос - что может пакетно вставлять данные в Постгресс, настраиваться без специальных познаний в программировании и выдавать внятный лог произошедшего (а не стек вызовов). ... |
|||
:
Нравится:
Не нравится:
|
|||
13.12.2021, 21:19 |
|
Bulk Insert
|
|||
---|---|---|---|
#18+
.Евгений Leonid Kudryavtsev, проблема заключается в том, что стандартные компоненты гуевых ETL - это тык мышкой и жмяк по кнопке. На их поддержку можно сажать лиц, слабо знакомых с программированием - джуна или аналитика. Или меня спустя двадцать лет, страдающим деменцией. С кодом так не поступить. Мой вопрос - что может пакетно вставлять данные в Постгресс, настраиваться без специальных познаний в программировании и выдавать внятный лог произошедшего (а не стек вызовов). Ответ: всё ... |
|||
:
Нравится:
Не нравится:
|
|||
14.12.2021, 12:31 |
|
|
start [/forum/topic.php?fid=53&msg=40119754&tid=1993749]: |
0ms |
get settings: |
12ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
28ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
51ms |
get tp. blocked users: |
2ms |
others: | 249ms |
total: | 379ms |
0 / 0 |