Ребят подскажите какие инструменты используете для ETL процессов, кроме SSIS.
Есть сервер MSSQL, вот SSIS конечно хороший инструмент, особенно простые вещи, а сложные уже надо думать.
Читал про Airflow - интересно.

Хочу вынести ETL отдельно, так как есть процессы типа отправить письмо, взять Excel, загрузить, отправить и скопировать в папку. Много разных процессов от получения данных по API до сложных расчетов на сервере.

Поделитесь опытом.

ETL и другие процесс по автоматизации. масштабируется - да, важный момент



Когда задач много одинаковых, начинается каша + пакеты пакеты пакеты и расписание расписание расписание, все как то и в одном, но в разных местах. Я думаю с помощью кода реализовать будет все проще.



Вы немного не понимаете, что такое ETL.
ETL , это
E Извлечение данных из произвольного источника
T Преобразование в требуемые типы и форматы
L Загрузка в базу данных
Ой я прям вот люблю таких умников, ETL (Extract, Transform, Load) — извлечение (api, excel и т.п.), преобразование (расчеты и т.п.) и загрузка(ну, а так как вы умный, сами знаете ответ)



Спасибо!



Вот, что я Вам должен ответить, вы тупой?(вопрос имеет шуточную форму как и ответ) я когда вижу такие решение, вы думали о том как их будут поддерживать после Вас?




Почитав интернет, с SSIS я только тупеть буду (как Гулин Федор), а Airflow это новое современное решение.
Спасибо, пошел устанавливать и настраивать.