Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
13.02.2019, 00:43
|
|||
|---|---|---|---|
Посоветуйте Etl tool для студентов. |
|||
|
#18+
35 рыл, разбитых на 8 проектных групп, у каждой свой датасет от реального заказчика. Попробовал информатику в cloud. У них токо 30 дней trial и миллион строк в день макс. SSIS не хочу принципиально. Streamsets токо на линуксе. Надо шото с низким порогом входа... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.02.2019, 01:25
|
|||
|---|---|---|---|
Посоветуйте Etl tool для студентов. |
|||
|
#18+
Glebanski, Может пускай Python осваивают? Или такие безперспективные дубы что обязательно визуальный GUI со стрелочками нужен? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.02.2019, 03:06
|
|||
|---|---|---|---|
Посоветуйте Etl tool для студентов. |
|||
|
#18+
Нужно давать им то, что они смогут использовать в реальности, то, что може пригодиться в дальнейшей работе. Или пусть сами выбирают, это тоже можно использовать как тест Тьюринга. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.02.2019, 07:58
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
Glebanski, Pentaho DI, или Talend ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.02.2019, 08:00
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
vikkiv, Гуями со стрелочками тоже не все могут пользоваться, пытаютмя во все места напихать прямой sql. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.02.2019, 10:22
|
|||
|---|---|---|---|
Посоветуйте Etl tool для студентов. |
|||
|
#18+
vikkiv, Ну я их и так уже шокировал тем, что хочу чтоб их БД в облаке каком-то крутилась и чтоб у меня доступ был. Ещё и python от них требовать внезапно - это меня в сталинских методах обвинят . И да, пусть Etl визуальный будет: не чего устраивать "back to the 1980s" и дубовость тут не при чем. Pentaho / Talend пожалуй подойдут. Я ещё смотрю может облачный сервис какой есть, чтоб картинки vs код было в пользу первого ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.02.2019, 12:29
|
|||
|---|---|---|---|
Посоветуйте Etl tool для студентов. |
|||
|
#18+
Glebanski, Ну тогда Azure SQL DB с Data Factory, там до года бесплатно (хотя большинство премиум-сервисов только в течении месячного триала, да и то - в узких бюджетных рамках) Уверен что для образовательных учереждений ещё какие-то более льготные условия. Azure SQL DB вообще копейки стоит (вот на DWH ценник тяжеловат для многих) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.02.2019, 17:35
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
Glebanski, Python + airflow. Сами используем в проде. У последнего есть веб интерфейс, где рисуется направленный граф задач со статусами выполнения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
14.02.2019, 08:58
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
LeitenGlebanski, Python + airflow. Сами используем в проде. У последнего есть веб интерфейс, где рисуется направленный граф задач со статусами выполнения. Жесть какая... И что сподвигло вас использовать питон? В чем преимущество перед традиционными etl? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
14.02.2019, 11:03
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
LeitenPython + airflow. Сами используем в проде. Спрашивали про ETL и не спрашивали про Python. Зачем отвечать не про ETL и про Python. Впрочем, ваш вариант может кому-то и подойти. Но в основном подходящими кажутся Pentaho и Talend - по сравнению с другими ETL их преимущества: наличие бесплатных версий, хорошая документация на их сайтах и наличие книг (на английском языке). Есть ещё Jaspersoft ETL, который является упрощённым вариантом Talend, интегрированным с другими компонентами Jaspersoft. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
14.02.2019, 11:18
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
Полковник., У нас всё на python. DWH на clickhouse. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
14.02.2019, 11:23
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
GlebanskiSSIS не хочу принципиально. . любопытства ради: чем вызваны такие принципы? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
14.02.2019, 11:36
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
Partisan MLeitenPython + airflow. Сами используем в проде. Спрашивали про ETL и не спрашивали про Python. Зачем отвечать не про ETL и про Python. ... Чтобы реализовать какую-либо логику преобразования в airflow надо написать какой-то скрипт (bash, python и пр.). Для него идеалено подходит python. К тому же сам airflow написан на python и легко с ним интегрируется. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
14.02.2019, 14:48
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
LeitenПолковник., У нас всё на python. DWH на clickhouse. clikhouse поекрасно грузится pentho di, или вы смастерили потоковую загрузку в реалтайм? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
14.02.2019, 15:27
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
Полковник.LeitenПолковник., У нас всё на python. DWH на clickhouse. clikhouse поекрасно грузится pentho di, или вы смастерили потоковую загрузку в реалтайм? Уже были наработки на airflow и было проще добавлять новый функционал. Нет у нас не потоковая загрузка в реальтайме. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
14.02.2019, 20:02
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
Glebanski, KNIME ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
14.02.2019, 20:27
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
GlebanskiПопробовал информатику в cloud. У них токо 30 дней trial и миллион строк в день макс Так на сайте Oracle вроде есть лицензия на нормальную Informatica, все с неё начинают. Форум пошерстите ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
15.02.2019, 14:28
|
|||
|---|---|---|---|
Посоветуйте Etl tool для студентов. |
|||
|
#18+
Glebanski, А SSIS из бесплатного SQL Server Developer Edition ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
16.02.2019, 11:58
|
|||
|---|---|---|---|
Посоветуйте Etl tool для студентов. |
|||
|
#18+
a_voronin, Я считаю, что SSIS "too much Microsoft/Visual Studio" и этим сильно отличается от остальных. Перейти с него на что-то другое сложнее, чем после Датастейджа работать с Информатикой ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
18.02.2019, 13:32
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
брехня. ссис просто как валенок - легко учится etl - осваиваются базовые принципы - А вот дав студентам информатику или еще круче SAS - потом уже учить будует некого - все студенты разбегутся ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
18.02.2019, 14:24
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
Работая с ssis после ibm datastage, pentaho di я испытал тяжелейшие моральные страдания, это такой вот сам в себе продукт идеология которого далека от привычных принцыпов etl. Его юзают там, где есть стэк микрософт, и то не везде, установленный на отдельном сервере он требует отдельной лицензии. Ну и современные тенденции мир потихоньку переползает в опенсоурс. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
18.02.2019, 14:46
|
|||
|---|---|---|---|
Посоветуйте Etl tool для студентов. |
|||
|
#18+
Полковник., В MS SQL 2000 были DTS-пакеты, предназначенные для обслуживания БД. В версии MS SQL 2005 как-то визуализировали, переименовали в DTSX и оформили в SSIS вроде как ETL. С тех пор практически не развивали. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
18.02.2019, 16:32
|
|||
|---|---|---|---|
Посоветуйте Etl tool для студентов. |
|||
|
#18+
Плотно работал с Информатикой, TOS, SSIS. У каждого продукта свои (назовем это так) особенности. Alex_496В MS SQL 2000 были DTS-пакеты, предназначенные для обслуживания БД. В версии MS SQL 2005 как-то визуализировали, переименовали в DTSX и оформили в SSIS вроде как ETL. С тех пор практически не развивали. Категорически не согласен. Во-первых, считаю нужным отметить упомянуть объединение в проекты (MC не первые, но и не последние). Во-вторых, доступ к потрохам ETL посредством скриптовых компонент, что позволяет творить весьма эффектные и эффективные вещи (при надлежащем умении). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.02.2019, 18:35
|
|||
|---|---|---|---|
|
|||
Посоветуйте Etl tool для студентов. |
|||
|
#18+
Сам не пользовался, просто попалось сегодня на глаза в линкедине https://www.etl-tools.com/online-tutorials/advanced-etl-processor-professional-and-enterprise-online-tutorials.html ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.02.2019, 23:29
|
|||
|---|---|---|---|
Посоветуйте Etl tool для студентов. |
|||
|
#18+
.Евгений, вот именно, MS предоставляет полупродукт. Рафаль Лухавецки обмолвился, что MS политика такая - не бизнес решения поставлять, а инструмент, чтобы оставлять фронт работ для 3-х сторонних компаний-партнеров, чтобы те продвигали решения. Ну и доп. заработок для ... Потому появляются CozyRoc и собственные разтработки компонент. Это хорошо, когда время есть и политика позволяет. А потом жеж заботиться о совместимости версий с новыми редакциями SSIS. Task профилирования нативный - вроде как начали делать и бросили, не сравниться со спец. пролуктами этого класса. Информатика давно уже не только ETL, а датаинграционная платформа, так лет 7 на конференциях позиционировали. Сейчас не знаю, может еще громче. И главное, не ангажирована на какую-то СУБД, коннекторов куча ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=49&mobile=1&tid=1857647]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
166ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
57ms |
get tp. blocked users: |
2ms |
| others: | 14ms |
| total: | 283ms |
| 0 / 0 |
Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...
