Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности

Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
13.12.2021, 20:34
|
|||
|---|---|---|---|
Bulk Insert |
|||
|
#18+
Столкнулся с задачей вставки в Постресс данных из Talend Open Studio. Стандартный компонент вставляет построчно. Другой стандартный компонент, равно как и команда COPY, требует готового файла, расположенного на доступном с сервера ресурсе, чего очень не хотелось делать (по причинам безопасности и производительности) . Сочинил немного джава-кода (адаптировав COPY stdin) и распараллелил джобу. Вставка ускорилась в 50 раз за счет кастомного джава-компонента вставки, который кому-то придется поддерживать. Поскольку я знаком с Посгрессом неплотно, то, возможно, изобрел совершенно ненужный велосипед. Существуют ли нормальные средства (ETL?) для пакетной вставки потока данных (необязательно файлового происхождения) в Постгресс? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.12.2021, 20:55
|
|||
|---|---|---|---|
|
|||
Bulk Insert |
|||
|
#18+
.Евгений Стандартный компонент вставляет построчно. Другой стандартный компонент, равно как и команда COPY, требует готового файла, расположенного на доступном с сервера ресурсе, чего очень не хотелось делать (по причинам безопасности и производительности) . COPY совершенно нормально работает с потока, т.ч. файл, в общем случае, не требуется. .Евгений Сочинил немного джава-кода (адаптировав COPY stdin) ... Java код в COPY уж точно никаких файлов не требует, вполне можно скармливать данные в поток на лету, по мере готовности. .Евгений Поскольку я знаком с Посгрессом неплотно, то, возможно, изобрел совершенно ненужный велосипед. Существуют ли нормальные средства (ETL?) для пакетной вставки потока данных (необязательно файлового происхождения) в Постгресс? Дык COPY и есть средство PostgreSQL для пакетной вставки. Т.ч. в чем заключается Ваш вопрос и проблема, не очень понятно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.12.2021, 21:19
|
|||
|---|---|---|---|
Bulk Insert |
|||
|
#18+
Leonid Kudryavtsev, проблема заключается в том, что стандартные компоненты гуевых ETL - это тык мышкой и жмяк по кнопке. На их поддержку можно сажать лиц, слабо знакомых с программированием - джуна или аналитика. Или меня спустя двадцать лет, страдающим деменцией. С кодом так не поступить. Мой вопрос - что может пакетно вставлять данные в Постгресс, настраиваться без специальных познаний в программировании и выдавать внятный лог произошедшего (а не стек вызовов). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
14.12.2021, 12:31
|
|||
|---|---|---|---|
|
|||
Bulk Insert |
|||
|
#18+
.Евгений Leonid Kudryavtsev, проблема заключается в том, что стандартные компоненты гуевых ETL - это тык мышкой и жмяк по кнопке. На их поддержку можно сажать лиц, слабо знакомых с программированием - джуна или аналитика. Или меня спустя двадцать лет, страдающим деменцией. С кодом так не поступить. Мой вопрос - что может пакетно вставлять данные в Постгресс, настраиваться без специальных познаний в программировании и выдавать внятный лог произошедшего (а не стек вызовов). Ответ: всё ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|

start [/forum/topic.php?fid=53&mobile=1&tid=1993749]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
41ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
36ms |
get tp. blocked users: |
1ms |
| others: | 13ms |
| total: | 133ms |

| 0 / 0 |
