powered by simpleCommunicator - 2.0.40     © 2025 Programmizd 02
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Bulk Insert
4 сообщений из 4, страница 1 из 1
Bulk Insert
    #40119742
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Столкнулся с задачей вставки в Постресс данных из Talend Open Studio.
Стандартный компонент вставляет построчно. Другой стандартный компонент, равно как и команда COPY, требует готового файла, расположенного на доступном с сервера ресурсе, чего очень не хотелось делать (по причинам безопасности и производительности) .
Сочинил немного джава-кода (адаптировав COPY stdin) и распараллелил джобу. Вставка ускорилась в 50 раз за счет кастомного джава-компонента вставки, который кому-то придется поддерживать.

Поскольку я знаком с Посгрессом неплотно, то, возможно, изобрел совершенно ненужный велосипед. Существуют ли нормальные средства (ETL?) для пакетной вставки потока данных (необязательно файлового происхождения) в Постгресс?
...
Рейтинг: 0 / 0
Bulk Insert
    #40119749
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.Евгений

Стандартный компонент вставляет построчно. Другой стандартный компонент, равно как и команда COPY, требует готового файла, расположенного на доступном с сервера ресурсе, чего очень не хотелось делать (по причинам безопасности и производительности) .

COPY совершенно нормально работает с потока, т.ч. файл, в общем случае, не требуется.

.Евгений

Сочинил немного джава-кода (адаптировав COPY stdin) ...

Java код в COPY уж точно никаких файлов не требует, вполне можно скармливать данные в поток на лету, по мере готовности.

.Евгений

Поскольку я знаком с Посгрессом неплотно, то, возможно, изобрел совершенно ненужный велосипед. Существуют ли нормальные средства (ETL?) для пакетной вставки потока данных (необязательно файлового происхождения) в Постгресс?

Дык COPY и есть средство PostgreSQL для пакетной вставки.

Т.ч. в чем заключается Ваш вопрос и проблема, не очень понятно.
...
Рейтинг: 0 / 0
Bulk Insert
    #40119754
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev,

проблема заключается в том, что стандартные компоненты гуевых ETL - это тык мышкой и жмяк по кнопке. На их поддержку можно сажать лиц, слабо знакомых с программированием - джуна или аналитика. Или меня спустя двадцать лет, страдающим деменцией.
С кодом так не поступить.
Мой вопрос - что может пакетно вставлять данные в Постгресс, настраиваться без специальных познаний в программировании и выдавать внятный лог произошедшего (а не стек вызовов).
...
Рейтинг: 0 / 0
Bulk Insert
    #40119893
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.Евгений
Leonid Kudryavtsev,

проблема заключается в том, что стандартные компоненты гуевых ETL - это тык мышкой и жмяк по кнопке. На их поддержку можно сажать лиц, слабо знакомых с программированием - джуна или аналитика. Или меня спустя двадцать лет, страдающим деменцией.
С кодом так не поступить.
Мой вопрос - что может пакетно вставлять данные в Постгресс, настраиваться без специальных познаний в программировании и выдавать внятный лог произошедшего (а не стек вызовов).


Ответ: всё
...
Рейтинг: 0 / 0
4 сообщений из 4, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Bulk Insert
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]