|
|
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
35 рыл, разбитых на 8 проектных групп, у каждой свой датасет от реального заказчика. Попробовал информатику в cloud. У них токо 30 дней trial и миллион строк в день макс. SSIS не хочу принципиально. Streamsets токо на линуксе. Надо шото с низким порогом входа... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.02.2019, 00:43:34 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Glebanski, Может пускай Python осваивают? Или такие безперспективные дубы что обязательно визуальный GUI со стрелочками нужен? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.02.2019, 01:25:31 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Нужно давать им то, что они смогут использовать в реальности, то, что може пригодиться в дальнейшей работе. Или пусть сами выбирают, это тоже можно использовать как тест Тьюринга. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.02.2019, 03:06:51 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Glebanski, Pentaho DI, или Talend ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.02.2019, 07:58:21 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
vikkiv, Гуями со стрелочками тоже не все могут пользоваться, пытаютмя во все места напихать прямой sql. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.02.2019, 08:00:08 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
vikkiv, Ну я их и так уже шокировал тем, что хочу чтоб их БД в облаке каком-то крутилась и чтоб у меня доступ был. Ещё и python от них требовать внезапно - это меня в сталинских методах обвинят . И да, пусть Etl визуальный будет: не чего устраивать "back to the 1980s" и дубовость тут не при чем. Pentaho / Talend пожалуй подойдут. Я ещё смотрю может облачный сервис какой есть, чтоб картинки vs код было в пользу первого ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.02.2019, 10:22:12 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Glebanski, Ну тогда Azure SQL DB с Data Factory, там до года бесплатно (хотя большинство премиум-сервисов только в течении месячного триала, да и то - в узких бюджетных рамках) Уверен что для образовательных учереждений ещё какие-то более льготные условия. Azure SQL DB вообще копейки стоит (вот на DWH ценник тяжеловат для многих) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.02.2019, 12:29:34 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Glebanski, Python + airflow. Сами используем в проде. У последнего есть веб интерфейс, где рисуется направленный граф задач со статусами выполнения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.02.2019, 17:35:38 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
LeitenGlebanski, Python + airflow. Сами используем в проде. У последнего есть веб интерфейс, где рисуется направленный граф задач со статусами выполнения. Жесть какая... И что сподвигло вас использовать питон? В чем преимущество перед традиционными etl? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2019, 08:58:55 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
LeitenPython + airflow. Сами используем в проде. Спрашивали про ETL и не спрашивали про Python. Зачем отвечать не про ETL и про Python. Впрочем, ваш вариант может кому-то и подойти. Но в основном подходящими кажутся Pentaho и Talend - по сравнению с другими ETL их преимущества: наличие бесплатных версий, хорошая документация на их сайтах и наличие книг (на английском языке). Есть ещё Jaspersoft ETL, который является упрощённым вариантом Talend, интегрированным с другими компонентами Jaspersoft. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2019, 11:03:05 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Полковник., У нас всё на python. DWH на clickhouse. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2019, 11:18:50 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
GlebanskiSSIS не хочу принципиально. . любопытства ради: чем вызваны такие принципы? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2019, 11:23:17 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Partisan MLeitenPython + airflow. Сами используем в проде. Спрашивали про ETL и не спрашивали про Python. Зачем отвечать не про ETL и про Python. ... Чтобы реализовать какую-либо логику преобразования в airflow надо написать какой-то скрипт (bash, python и пр.). Для него идеалено подходит python. К тому же сам airflow написан на python и легко с ним интегрируется. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2019, 11:36:23 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
LeitenПолковник., У нас всё на python. DWH на clickhouse. clikhouse поекрасно грузится pentho di, или вы смастерили потоковую загрузку в реалтайм? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2019, 14:48:26 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Полковник.LeitenПолковник., У нас всё на python. DWH на clickhouse. clikhouse поекрасно грузится pentho di, или вы смастерили потоковую загрузку в реалтайм? Уже были наработки на airflow и было проще добавлять новый функционал. Нет у нас не потоковая загрузка в реальтайме. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2019, 15:27:46 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Glebanski, KNIME ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2019, 20:02:00 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
GlebanskiПопробовал информатику в cloud. У них токо 30 дней trial и миллион строк в день макс Так на сайте Oracle вроде есть лицензия на нормальную Informatica, все с неё начинают. Форум пошерстите ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2019, 20:27:42 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Glebanski, А SSIS из бесплатного SQL Server Developer Edition ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2019, 14:28:48 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
a_voronin, Я считаю, что SSIS "too much Microsoft/Visual Studio" и этим сильно отличается от остальных. Перейти с него на что-то другое сложнее, чем после Датастейджа работать с Информатикой ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2019, 11:58:07 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
брехня. ссис просто как валенок - легко учится etl - осваиваются базовые принципы - А вот дав студентам информатику или еще круче SAS - потом уже учить будует некого - все студенты разбегутся ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2019, 13:32:42 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Работая с ssis после ibm datastage, pentaho di я испытал тяжелейшие моральные страдания, это такой вот сам в себе продукт идеология которого далека от привычных принцыпов etl. Его юзают там, где есть стэк микрософт, и то не везде, установленный на отдельном сервере он требует отдельной лицензии. Ну и современные тенденции мир потихоньку переползает в опенсоурс. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2019, 14:24:15 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Полковник., В MS SQL 2000 были DTS-пакеты, предназначенные для обслуживания БД. В версии MS SQL 2005 как-то визуализировали, переименовали в DTSX и оформили в SSIS вроде как ETL. С тех пор практически не развивали. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2019, 14:46:01 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Плотно работал с Информатикой, TOS, SSIS. У каждого продукта свои (назовем это так) особенности. Alex_496В MS SQL 2000 были DTS-пакеты, предназначенные для обслуживания БД. В версии MS SQL 2005 как-то визуализировали, переименовали в DTSX и оформили в SSIS вроде как ETL. С тех пор практически не развивали. Категорически не согласен. Во-первых, считаю нужным отметить упомянуть объединение в проекты (MC не первые, но и не последние). Во-вторых, доступ к потрохам ETL посредством скриптовых компонент, что позволяет творить весьма эффектные и эффективные вещи (при надлежащем умении). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2019, 16:32:34 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Сам не пользовался, просто попалось сегодня на глаза в линкедине https://www.etl-tools.com/online-tutorials/advanced-etl-processor-professional-and-enterprise-online-tutorials.html ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.02.2019, 18:35:49 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
.Евгений, вот именно, MS предоставляет полупродукт. Рафаль Лухавецки обмолвился, что MS политика такая - не бизнес решения поставлять, а инструмент, чтобы оставлять фронт работ для 3-х сторонних компаний-партнеров, чтобы те продвигали решения. Ну и доп. заработок для ... Потому появляются CozyRoc и собственные разтработки компонент. Это хорошо, когда время есть и политика позволяет. А потом жеж заботиться о совместимости версий с новыми редакциями SSIS. Task профилирования нативный - вроде как начали делать и бросили, не сравниться со спец. пролуктами этого класса. Информатика давно уже не только ETL, а датаинграционная платформа, так лет 7 на конференциях позиционировали. Сейчас не знаю, может еще громче. И главное, не ангажирована на какую-то СУБД, коннекторов куча ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.02.2019, 23:29:46 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
DataTools новые релизы все еще сюрпризы выкидывает? В Script Task можно на .Net творить многое. Но это же и минус, когда начинают через Ado.net с БД базовые операции программировать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.02.2019, 23:35:00 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Alex_496, я гораздо менее категоричен в оценке SSIS как средства ETL. Безусловно, спектр нативных возможностей SSIS минималистичен. Однако, на мой взгляд, полупродукт должен качественно отличаться от продукта полным отсутствием некоей базовой функции(ий), свойственной данному классу продуктов. Список базовых функций заложен в самой аббревиатуре ETL. В принципе и первое, и второе, и третье SSIS умеет. Мне не приходилось реализовывать через скриптовые компоненты какие-то базовые вещи, обязательные для всех ETL продуктов. Я делал, например, прямой обмен рекордсетами через память или пополняемый кеш в памяти - многие ли средства ETL умеют это прямо из коробки? Обязательны ли нативные компоненты архивации и SFTP, или коннектор к RabbitMQ? Я считаю, что безусловно желательны и удобны, но не обязательны. Скриптовые компоненты обеспечивают большие производительности или удобство, но не какой-то принципиально новый функционал. P.S. Пришлось однажды наблюдать последствия привлечения компании-партнера. У крупной компании внезапно навернулась вся ночная загрузка (10+ часов) - закончилась лицензия на компонент. Последствия описывать не стану. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.02.2019, 10:48:45 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
.Евгений, резюмируем на том, что SSIS или его преемника необходимо развивать в плане удобства, функциональности, надежности. Важно слышать дельные запросы, обратную связь пользователей, анализировать что предлагают конкуренты. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.02.2019, 11:26:46 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Alex_496, Очевидно, что на перечисленное вами в MS забили. Ну или почти забили (скажем, Package Parts - это попытка имитации ворклета заведомо негодными средствами). Выделить SSIS из MS, думаю, уже невозможно. Разве что вышвырнуть продакт-лидера и нанять новую большую команду? Но у MS другие заботы - миграция в облака (со своим ETL) и линукс. Поэтому я думаю, что SSIS так и останется Золушкой без принца. P.S. Миграция на линукс - нет библиотек, кроме .Net Core. Версия 2017 не дает менять в скриптах версию .Net Framework - прощай, любимые кортежи. Нет, только массовые расстрелы спасут РодинуSSIS... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.02.2019, 12:32:02 |
|
||
|
Посоветуйте Etl tool для студентов.
|
|||
|---|---|---|---|
|
#18+
Alex_496.Евгений, резюмируем на том, что SSIS или его преемника необходимо развивать в плане удобства, функциональности, надежности. Важно слышать дельные запросы, обратную связь пользователей, анализировать что предлагают конкуренты. Поддержу Евгения. SSIS постепенно уходит в небытие. В облаках, в новых проектах, он не нужен совсем. Обратную совместимость они оставили, но смысла его использовать нет. Только ради Script Task его держать никто не будет. В облаке можно найти альтернативу, причем несколько и гораздо более удобных. Мода на ETL ушла много лет назад. ELT удобнее и дешевле разрабатывать и поддерживать. Лично мне нравится SSIS, но все новые проекты в облаке и после них SSIS уже кажется слишком громоздким и неудобным. Да и в новых версиях SSDT, то одно отвалится, то другое. Видно, что его отодвинули на второй план. Того гляди вообще закроют. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.02.2019, 13:30:23 |
|
||
|
|

start [/forum/topic.php?all=1&fid=49&tid=1857647]: |
0ms |
get settings: |
8ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
170ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
60ms |
get tp. blocked users: |
1ms |
| others: | 197ms |
| total: | 467ms |

| 0 / 0 |
