powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Посоветуйте Etl tool для студентов.
30 сообщений из 30, показаны все 2 страниц
Посоветуйте Etl tool для студентов.
    #39773099
Glebanski
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
35 рыл, разбитых на 8 проектных групп, у каждой свой датасет от реального заказчика.
Попробовал информатику в cloud. У них токо 30 дней trial и миллион строк в день макс. SSIS не хочу принципиально.
Streamsets токо на линуксе.

Надо шото с низким порогом входа...
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39773105
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Glebanski,

Может пускай Python осваивают?
Или такие безперспективные дубы что обязательно визуальный GUI со стрелочками нужен?
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39773109
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нужно давать им то, что они смогут использовать в реальности, то, что може пригодиться в дальнейшей работе.
Или пусть сами выбирают, это тоже можно использовать как тест Тьюринга.
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39773126
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Glebanski,

Pentaho DI, или Talend
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39773128
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vikkiv,

Гуями со стрелочками тоже не все могут пользоваться, пытаютмя во все места напихать прямой sql.
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39773194
Glebanski
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vikkiv,

Ну я их и так уже шокировал тем, что хочу чтоб их БД в облаке каком-то крутилась и чтоб у меня доступ был. Ещё и python от них требовать внезапно - это меня в сталинских методах обвинят
. И да, пусть Etl визуальный будет: не чего устраивать "back to the 1980s" и дубовость тут не при чем.

Pentaho / Talend пожалуй подойдут. Я ещё смотрю может облачный сервис какой есть, чтоб картинки vs код было в пользу первого
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39773276
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Glebanski,

Ну тогда Azure SQL DB с Data Factory, там до года бесплатно (хотя большинство премиум-сервисов только в течении месячного триала, да и то - в узких бюджетных рамках)

Уверен что для образовательных учереждений ещё какие-то более льготные условия.

Azure SQL DB вообще копейки стоит (вот на DWH ценник тяжеловат для многих)
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39773504
Leiten
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Glebanski,
Python + airflow. Сами используем в проде.
У последнего есть веб интерфейс, где рисуется направленный граф задач со статусами выполнения.
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39773683
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
LeitenGlebanski,
Python + airflow. Сами используем в проде.
У последнего есть веб интерфейс, где рисуется направленный граф задач со статусами выполнения.
Жесть какая... И что сподвигло вас использовать питон? В чем преимущество перед традиционными etl?
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39773735
Partisan M
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
LeitenPython + airflow. Сами используем в проде.

Спрашивали про ETL и не спрашивали про Python. Зачем отвечать не про ETL и про Python.
Впрочем, ваш вариант может кому-то и подойти.

Но в основном подходящими кажутся Pentaho и Talend - по сравнению с другими ETL их преимущества: наличие бесплатных версий, хорошая документация на их сайтах и наличие книг (на английском языке). Есть ещё Jaspersoft ETL, который является упрощённым вариантом Talend, интегрированным с другими компонентами Jaspersoft.
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39773743
Leiten
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Полковник.,
У нас всё на python. DWH на clickhouse.
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39773746
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GlebanskiSSIS не хочу принципиально.
.
любопытства ради: чем вызваны такие принципы?
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39773757
Leiten
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Partisan MLeitenPython + airflow. Сами используем в проде.
Спрашивали про ETL и не спрашивали про Python. Зачем отвечать не про ETL и про Python.

...
Чтобы реализовать какую-либо логику преобразования в airflow надо написать какой-то скрипт (bash, python и пр.). Для него идеалено подходит python. К тому же сам airflow написан на python и легко с ним интегрируется.
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39773877
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
LeitenПолковник.,
У нас всё на python. DWH на clickhouse.

clikhouse поекрасно грузится pentho di, или вы смастерили потоковую загрузку в реалтайм?
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39773908
Leiten
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Полковник.LeitenПолковник.,
У нас всё на python. DWH на clickhouse.

clikhouse поекрасно грузится pentho di, или вы смастерили потоковую загрузку в реалтайм?

Уже были наработки на airflow и было проще добавлять новый функционал. Нет у нас не потоковая загрузка в реальтайме.
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39774091
lookat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Glebanski,

KNIME
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39774104
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GlebanskiПопробовал информатику в cloud. У них токо 30 дней trial и миллион строк в день макс
Так на сайте Oracle вроде есть лицензия на нормальную Informatica, все с неё начинают. Форум пошерстите
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39774505
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Glebanski,

А SSIS из бесплатного SQL Server Developer Edition ?
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39774853
Glebanski
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voronin,
Я считаю, что SSIS "too much Microsoft/Visual Studio" и этим сильно отличается от остальных. Перейти с него на что-то другое сложнее, чем после Датастейджа работать с Информатикой
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39775543
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
брехня. ссис просто как валенок - легко учится etl - осваиваются базовые принципы -

А вот дав студентам информатику или еще круче SAS - потом уже учить будует некого - все студенты разбегутся
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39775573
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Работая с ssis после ibm datastage, pentaho di я испытал тяжелейшие моральные страдания, это такой вот сам в себе продукт идеология которого далека от привычных принцыпов etl. Его юзают там, где есть стэк микрософт, и то не везде, установленный на отдельном сервере он требует отдельной лицензии.
Ну и современные тенденции мир потихоньку переползает в опенсоурс.
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39775592
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Полковник.,

В MS SQL 2000 были DTS-пакеты, предназначенные для обслуживания БД.
В версии MS SQL 2005 как-то визуализировали, переименовали в DTSX и оформили в SSIS вроде как ETL. С тех пор практически не развивали.
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39775711
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Плотно работал с Информатикой, TOS, SSIS. У каждого продукта свои (назовем это так) особенности.

Alex_496В MS SQL 2000 были DTS-пакеты, предназначенные для обслуживания БД.
В версии MS SQL 2005 как-то визуализировали, переименовали в DTSX и оформили в SSIS вроде как ETL. С тех пор практически не развивали.
Категорически не согласен. Во-первых, считаю нужным отметить упомянуть объединение в проекты (MC не первые, но и не последние). Во-вторых, доступ к потрохам ETL посредством скриптовых компонент, что позволяет творить весьма эффектные и эффективные вещи (при надлежащем умении).
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39777512
odi-usage
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Сам не пользовался, просто попалось сегодня на глаза в линкедине
https://www.etl-tools.com/online-tutorials/advanced-etl-processor-professional-and-enterprise-online-tutorials.html
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39777653
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.Евгений,

вот именно, MS предоставляет полупродукт. Рафаль Лухавецки обмолвился, что MS политика такая - не бизнес решения поставлять, а инструмент, чтобы оставлять фронт работ для 3-х сторонних компаний-партнеров, чтобы те продвигали решения. Ну и доп. заработок для ...
Потому появляются CozyRoc и собственные разтработки компонент. Это хорошо, когда время есть и политика позволяет.
А потом жеж заботиться о совместимости версий с новыми редакциями SSIS.
Task профилирования нативный - вроде как начали делать и бросили, не сравниться со спец. пролуктами этого класса.

Информатика давно уже не только ETL, а датаинграционная платформа, так лет 7 на конференциях позиционировали. Сейчас не знаю, может еще громче. И главное, не ангажирована на какую-то СУБД, коннекторов куча
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39777654
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DataTools новые релизы все еще сюрпризы выкидывает?

В Script Task можно на .Net творить многое. Но это же и минус, когда начинают через Ado.net с БД базовые операции программировать
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39777771
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_496,

я гораздо менее категоричен в оценке SSIS как средства ETL. Безусловно, спектр нативных возможностей SSIS минималистичен. Однако, на мой взгляд, полупродукт должен качественно отличаться от продукта полным отсутствием некоей базовой функции(ий), свойственной данному классу продуктов. Список базовых функций заложен в самой аббревиатуре ETL. В принципе и первое, и второе, и третье SSIS умеет.

Мне не приходилось реализовывать через скриптовые компоненты какие-то базовые вещи, обязательные для всех ETL продуктов. Я делал, например, прямой обмен рекордсетами через память или пополняемый кеш в памяти - многие ли средства ETL умеют это прямо из коробки? Обязательны ли нативные компоненты архивации и SFTP, или коннектор к RabbitMQ? Я считаю, что безусловно желательны и удобны, но не обязательны. Скриптовые компоненты обеспечивают большие производительности или удобство, но не какой-то принципиально новый функционал.

P.S. Пришлось однажды наблюдать последствия привлечения компании-партнера. У крупной компании внезапно навернулась вся ночная загрузка (10+ часов) - закончилась лицензия на компонент. Последствия описывать не стану.
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39777794
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.Евгений,

резюмируем на том, что SSIS или его преемника необходимо развивать в плане удобства, функциональности, надежности. Важно слышать дельные запросы, обратную связь пользователей, анализировать что предлагают конкуренты.
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39777860
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_496,

Очевидно, что на перечисленное вами в MS забили. Ну или почти забили (скажем, Package Parts - это попытка имитации ворклета заведомо негодными средствами). Выделить SSIS из MS, думаю, уже невозможно. Разве что вышвырнуть продакт-лидера и нанять новую большую команду? Но у MS другие заботы - миграция в облака (со своим ETL) и линукс. Поэтому я думаю, что SSIS так и останется Золушкой без принца.

P.S. Миграция на линукс - нет библиотек, кроме .Net Core. Версия 2017 не дает менять в скриптах версию .Net Framework - прощай, любимые кортежи. Нет, только массовые расстрелы спасут РодинуSSIS...
...
Рейтинг: 0 / 0
Посоветуйте Etl tool для студентов.
    #39777893
tarrus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_496.Евгений,

резюмируем на том, что SSIS или его преемника необходимо развивать в плане удобства, функциональности, надежности. Важно слышать дельные запросы, обратную связь пользователей, анализировать что предлагают конкуренты.

Поддержу Евгения. SSIS постепенно уходит в небытие. В облаках, в новых проектах, он не нужен совсем. Обратную совместимость они оставили, но смысла его использовать нет. Только ради Script Task его держать никто не будет. В облаке можно найти альтернативу, причем несколько и гораздо более удобных.

Мода на ETL ушла много лет назад. ELT удобнее и дешевле разрабатывать и поддерживать. Лично мне нравится SSIS, но все новые проекты в облаке и после них SSIS уже кажется слишком громоздким и неудобным.

Да и в новых версиях SSDT, то одно отвалится, то другое. Видно, что его отодвинули на второй план. Того гляди вообще закроют.
...
Рейтинг: 0 / 0
30 сообщений из 30, показаны все 2 страниц
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Посоветуйте Etl tool для студентов.
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]