ReSQL.ru
     
powered by simpleCommunicator - 2.0.40     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Apache Airflow для ETL
3 сообщений из 53, страница 3 из 3
  3  все
Apache Airflow для ETL
    #40138676
Ирвин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ирвин
Участник
Яков  27.06.2024, 13:09
[игнорируется]
40138674
digitalberd [игнорируется] 

Возможно, но для моей задачи не подошел. Я так и не нашел оптимального решения.

Суть задачи
Написать Dags, которые на регулярной основе будут перекачивать данные из MS SQL (сервер 1c / винда) в PostgreSql (DWH / убунта)

По логам вижу, что скорость заливки - 1000 строк в секунду. А это очень медленно.
Думаю, что коннектор, который создается в AIRFLOW, использует ODBC - драйвер.

Ни платного, ни бесплатного OLE DB драйвера для линукса под MS SQL не нашел.
Стоит попробовать из MS SQL сложить таблицу в .csv-файл утилитой bcp, затем загрузить в Postgres тоже через BULK-load
...
Рейтинг: 0 / 0
28.06.2024, 12:20
| Ответить | Цитировать | Написать  
Apache Airflow для ETL
    #40138680
чебуран
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
чебуран
Участник
Яков  27.06.2024, 13:09
[игнорируется]
40138674
Ни платного, ни бесплатного OLE DB драйвера для линукса под MS SQL не нашел.
там нужна питонячья библиотека pymssql или как-то так. И всё.
Яков  27.06.2024, 13:09
[игнорируется]
40138674
По логам вижу, что скорость заливки - 1000 строк в секунду. А это очень медленно.
Зависит от того, как вы написали код.
Если делать в питоне, то обычно загружается батч данных в питон, потом он выплевыается в постгре.
Батч может быть 100 тысяч строк и больше. Как 1000 строк получается - непонятно. Только если очень долго идёт SQL выгрузки из MS SQL.

Также можно грузить через файл. Как уже было предложено.
...
Рейтинг: 0 / 0
08.07.2024, 14:11
| Ответить | Цитировать | Написать  
Apache Airflow для ETL
    #40138710
eugeny.r
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
eugeny.r
Участник
redsunrise  10.02.2022, 20:21
[игнорируется]
40133319
А кто нить юзал apache camel? Если у кого есть опыт в продакшене расскажите пожалуйста.
Юзал, мне понравилось - очень много готовых компонентов c с большим количеством настроек, XML DSL и Java DSL использовал для написания route'ов.

Написал, отладил, настроил - лет пять проработало как часы. Сейчас народ переписывать собрался :)
...
Рейтинг: 0 / 0
23.07.2024, 15:24
| Ответить | Цитировать | Написать  
3 сообщений из 53, страница 3 из 3
  3  все
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Apache Airflow для ETL
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=49&gotolast=1&tid=1857034]:
 0ms
get settings:
 9ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 39ms
get topic data:
 12ms
get forum data:
 2ms
get page messages:
 45ms
get tp. blocked users:
 1ms
others: 288ms
total:  418ms
созд. / загр.: 418ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]