ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Посоветуйте Etl tool для студентов.
25 сообщений из 30, страница 1 из 2
  1  все
Посоветуйте Etl tool для студентов.
    #39773099
Glebanski
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Glebanski
Участник
35 рыл, разбитых на 8 проектных групп, у каждой свой датасет от реального заказчика.
Попробовал информатику в cloud. У них токо 30 дней trial и миллион строк в день макс. SSIS не хочу принципиально.
Streamsets токо на линуксе.

Надо шото с низким порогом входа...
...
Рейтинг: 0 / 0
13.02.2019, 00:43
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39773105
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vikkiv
Участник
Glebanski,

Может пускай Python осваивают?
Или такие безперспективные дубы что обязательно визуальный GUI со стрелочками нужен?
...
Рейтинг: 0 / 0
13.02.2019, 01:25
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39773109
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
Нужно давать им то, что они смогут использовать в реальности, то, что може пригодиться в дальнейшей работе.
Или пусть сами выбирают, это тоже можно использовать как тест Тьюринга.
...
Рейтинг: 0 / 0
13.02.2019, 03:06
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39773126
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Полковник.
Участник
Glebanski,

Pentaho DI, или Talend
...
Рейтинг: 0 / 0
13.02.2019, 07:58
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39773128
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Полковник.
Участник
vikkiv,

Гуями со стрелочками тоже не все могут пользоваться, пытаютмя во все места напихать прямой sql.
...
Рейтинг: 0 / 0
13.02.2019, 08:00
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39773194
Glebanski
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Glebanski
Участник
vikkiv,

Ну я их и так уже шокировал тем, что хочу чтоб их БД в облаке каком-то крутилась и чтоб у меня доступ был. Ещё и python от них требовать внезапно - это меня в сталинских методах обвинят
. И да, пусть Etl визуальный будет: не чего устраивать "back to the 1980s" и дубовость тут не при чем.

Pentaho / Talend пожалуй подойдут. Я ещё смотрю может облачный сервис какой есть, чтоб картинки vs код было в пользу первого
...
Рейтинг: 0 / 0
13.02.2019, 10:22
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39773276
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vikkiv
Участник
Glebanski,

Ну тогда Azure SQL DB с Data Factory, там до года бесплатно (хотя большинство премиум-сервисов только в течении месячного триала, да и то - в узких бюджетных рамках)

Уверен что для образовательных учереждений ещё какие-то более льготные условия.

Azure SQL DB вообще копейки стоит (вот на DWH ценник тяжеловат для многих)
...
Рейтинг: 0 / 0
13.02.2019, 12:29
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39773504
Leiten
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leiten
Гость
Glebanski,
Python + airflow. Сами используем в проде.
У последнего есть веб интерфейс, где рисуется направленный граф задач со статусами выполнения.
...
Рейтинг: 0 / 0
13.02.2019, 17:35
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39773683
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Полковник.
Участник
LeitenGlebanski,
Python + airflow. Сами используем в проде.
У последнего есть веб интерфейс, где рисуется направленный граф задач со статусами выполнения.
Жесть какая... И что сподвигло вас использовать питон? В чем преимущество перед традиционными etl?
...
Рейтинг: 0 / 0
14.02.2019, 08:58
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39773735
Partisan M
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Partisan M
Участник
LeitenPython + airflow. Сами используем в проде.

Спрашивали про ETL и не спрашивали про Python. Зачем отвечать не про ETL и про Python.
Впрочем, ваш вариант может кому-то и подойти.

Но в основном подходящими кажутся Pentaho и Talend - по сравнению с другими ETL их преимущества: наличие бесплатных версий, хорошая документация на их сайтах и наличие книг (на английском языке). Есть ещё Jaspersoft ETL, который является упрощённым вариантом Talend, интегрированным с другими компонентами Jaspersoft.
...
Рейтинг: 0 / 0
14.02.2019, 11:03
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39773743
Leiten
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leiten
Гость
Полковник.,
У нас всё на python. DWH на clickhouse.
...
Рейтинг: 0 / 0
14.02.2019, 11:18
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39773746
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
StarikNavy
Участник
GlebanskiSSIS не хочу принципиально.
.
любопытства ради: чем вызваны такие принципы?
...
Рейтинг: 0 / 0
14.02.2019, 11:23
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39773757
Leiten
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leiten
Гость
Partisan MLeitenPython + airflow. Сами используем в проде.
Спрашивали про ETL и не спрашивали про Python. Зачем отвечать не про ETL и про Python.

...
Чтобы реализовать какую-либо логику преобразования в airflow надо написать какой-то скрипт (bash, python и пр.). Для него идеалено подходит python. К тому же сам airflow написан на python и легко с ним интегрируется.
...
Рейтинг: 0 / 0
14.02.2019, 11:36
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39773877
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Полковник.
Участник
LeitenПолковник.,
У нас всё на python. DWH на clickhouse.

clikhouse поекрасно грузится pentho di, или вы смастерили потоковую загрузку в реалтайм?
...
Рейтинг: 0 / 0
14.02.2019, 14:48
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39773908
Leiten
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leiten
Гость
Полковник.LeitenПолковник.,
У нас всё на python. DWH на clickhouse.

clikhouse поекрасно грузится pentho di, или вы смастерили потоковую загрузку в реалтайм?

Уже были наработки на airflow и было проще добавлять новый функционал. Нет у нас не потоковая загрузка в реальтайме.
...
Рейтинг: 0 / 0
14.02.2019, 15:27
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39774091
lookat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
lookat
Гость
Glebanski,

KNIME
...
Рейтинг: 0 / 0
14.02.2019, 20:02
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39774104
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SpellBuilder
Участник
GlebanskiПопробовал информатику в cloud. У них токо 30 дней trial и миллион строк в день макс
Так на сайте Oracle вроде есть лицензия на нормальную Informatica, все с неё начинают. Форум пошерстите
...
Рейтинг: 0 / 0
14.02.2019, 20:27
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39774505
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Glebanski,

А SSIS из бесплатного SQL Server Developer Edition ?
...
Рейтинг: 0 / 0
15.02.2019, 14:28
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39774853
Glebanski
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Glebanski
Участник
a_voronin,
Я считаю, что SSIS "too much Microsoft/Visual Studio" и этим сильно отличается от остальных. Перейти с него на что-то другое сложнее, чем после Датастейджа работать с Информатикой
...
Рейтинг: 0 / 0
16.02.2019, 11:58
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39775543
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
брехня. ссис просто как валенок - легко учится etl - осваиваются базовые принципы -

А вот дав студентам информатику или еще круче SAS - потом уже учить будует некого - все студенты разбегутся
...
Рейтинг: 0 / 0
18.02.2019, 13:32
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39775573
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Полковник.
Участник
Работая с ssis после ibm datastage, pentaho di я испытал тяжелейшие моральные страдания, это такой вот сам в себе продукт идеология которого далека от привычных принцыпов etl. Его юзают там, где есть стэк микрософт, и то не везде, установленный на отдельном сервере он требует отдельной лицензии.
Ну и современные тенденции мир потихоньку переползает в опенсоурс.
...
Рейтинг: 0 / 0
18.02.2019, 14:24
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39775592
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_496
Участник
Полковник.,

В MS SQL 2000 были DTS-пакеты, предназначенные для обслуживания БД.
В версии MS SQL 2005 как-то визуализировали, переименовали в DTSX и оформили в SSIS вроде как ETL. С тех пор практически не развивали.
...
Рейтинг: 0 / 0
18.02.2019, 14:46
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39775711
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.Евгений
Участник
Плотно работал с Информатикой, TOS, SSIS. У каждого продукта свои (назовем это так) особенности.

Alex_496В MS SQL 2000 были DTS-пакеты, предназначенные для обслуживания БД.
В версии MS SQL 2005 как-то визуализировали, переименовали в DTSX и оформили в SSIS вроде как ETL. С тех пор практически не развивали.
Категорически не согласен. Во-первых, считаю нужным отметить упомянуть объединение в проекты (MC не первые, но и не последние). Во-вторых, доступ к потрохам ETL посредством скриптовых компонент, что позволяет творить весьма эффектные и эффективные вещи (при надлежащем умении).
...
Рейтинг: 0 / 0
18.02.2019, 16:32
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39777512
odi-usage
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
odi-usage
Гость
Сам не пользовался, просто попалось сегодня на глаза в линкедине
https://www.etl-tools.com/online-tutorials/advanced-etl-processor-professional-and-enterprise-online-tutorials.html
...
Рейтинг: 0 / 0
21.02.2019, 18:35
| Ответить | Цитировать | Написать  
Посоветуйте Etl tool для студентов.
    #39777653
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_496
Участник
.Евгений,

вот именно, MS предоставляет полупродукт. Рафаль Лухавецки обмолвился, что MS политика такая - не бизнес решения поставлять, а инструмент, чтобы оставлять фронт работ для 3-х сторонних компаний-партнеров, чтобы те продвигали решения. Ну и доп. заработок для ...
Потому появляются CozyRoc и собственные разтработки компонент. Это хорошо, когда время есть и политика позволяет.
А потом жеж заботиться о совместимости версий с новыми редакциями SSIS.
Task профилирования нативный - вроде как начали делать и бросили, не сравниться со спец. пролуктами этого класса.

Информатика давно уже не только ETL, а датаинграционная платформа, так лет 7 на конференциях позиционировали. Сейчас не знаю, может еще громче. И главное, не ангажирована на какую-то СУБД, коннекторов куча
...
Рейтинг: 0 / 0
21.02.2019, 23:29
| Ответить | Цитировать | Написать  
25 сообщений из 30, страница 1 из 2
  1  все
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Посоветуйте Etl tool для студентов.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?desktop=1&fid=49&tid=1857647]:
 0ms
get settings:
 10ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 173ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 59ms
get tp. blocked users:
 2ms
others: 253ms
total:  530ms
созд. / загр.: 530ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]