|
ETL for hadoop
|
|||
---|---|---|---|
#18+
Всем привет! Зоопарк систем растет, нужен хороший ETL который умеет из csv, баз, веб сервисов складывать в hdfs Хороши ли talend, spoon ? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.06.2017, 08:54 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
мигель1, Только unix shell, только хардкор! Можешь еще посмотреть бесплатные StreamSets / NiFi, для простых задач они довольно неплохи. Но с ростом сложности приходится куски дописывать на shell-е. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.06.2017, 13:18 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
мигель1нужен хороший ETL который умеет из csv, баз, веб сервисов складывать в hdfs Informatica, SSIS ... ... |
|||
:
Нравится:
Не нравится:
|
|||
26.06.2017, 17:00 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
Дедушкамигель1нужен хороший ETL который умеет из csv, баз, веб сервисов складывать в hdfs Informatica, SSIS ... Ой! А с каких пор SSIS работает с веб сервисами и hdfs??? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.06.2017, 21:44 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
мигель1, сервисы с 2005го, хдфс с 2016го ... |
|||
:
Нравится:
Не нравится:
|
|||
26.06.2017, 21:53 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
Дедушка, А можно ссылочку. Я пытался сделать, но он потребовал какой-то wsdl и на этом я стопорнулся ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2017, 09:01 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
StreamSets Data Collector ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2017, 16:33 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
мигель1, WSDL файл используется для описания интерфейса для доступа к Web-службе, то есть фактически говорит нам, что она может ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2017, 01:02 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
мигель1Хороши ли talend, spoon ? Предыдущие ответы лишены всякого смысла, так как их авторы не поняли вопрос. То, что вы имели ввиду под spoon, это Pentaho Data Integration, оно же PDI, оно же Kettle. В общем, в переводе на русский язык, PDI. spoon - это компонент PDI, а именно, визуальный редактор процессов интеграции. PDI имеет готовый соединитель для Hadoop (а также возможность запуска Job-ов Hadoop), про Talend Open Studio не помню, но вы можете это легко узнать, например, установив его. Есть много систем ETL, из них PDI и Talend привлекают тем, что имеют бесплатные варианты, хорошую документацию и по ним есть много книг на английском языке. Наряду с Talend можно рассмотреть Jaspersoft ETL , который является упрощённым вариантом Talend, но имеет соединители для других компонентов Jaspersoft. Лучше сравнить PDI и Talend самостоятельно. Мне показалось, что PDI легче для первоначального изучения. Но у Talend даже в бесплатном варианте поддерживаются транзакции базы данных. впрочем вам важнее узнать, есть ли соединитель (connector, adapter) для Hadoop. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2017, 09:48 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
Partisan MЛучше сравнить PDI и Talend самостоятельно. Мне показалось, что PDI легче для первоначального изучения. Но у Talend даже в бесплатном варианте поддерживаются транзакции базы данных. впрочем вам важнее узнать, есть ли соединитель (connector, adapter) для Hadoop. мало узнать, есть ли он. Надо узнать подходит ли он (по производительности) У SAS тоже есть конектор для хадупа, но пришлось писать самопальный экпорт-импорт, чтобы хоть как-то быстро работало. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2017, 10:39 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
Критик https://www.mssqltips.com/sqlservertip/3272/example-using-web-services-with-sql-server-integration-services/ я это видел, списибо, но там есть пункт In the Server URL textbox, specify the web service address: " http://www.webservicex.net/globalweather.asmx?WSDL" and press Перевод с сайта "скачайте WSDL файл", а если у меня нет его? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2017, 21:25 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
мигель1, запросите у того, кто поддерживает сервис ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2017, 21:44 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
мигель1а если у меня нет его? How to get the wsdl file from a webservice's URL ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2017, 22:26 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
Дедушка, Спасибо попробую. Как я понимаю на выходе будет Xml, который надо преобразовать уже в таблицу )) 7 кругов ада )) ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2017, 23:16 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
Коллеги! Подскажите насколько безумна мысль использовать Apache/Airbnb Airflow для ETL над "этими хадупами"? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2017, 14:31 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
Jack Carver, А что мешает попробовать, чай бесплатно) ... |
|||
:
Нравится:
Не нравится:
|
|||
28.09.2017, 21:51 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
Jack CarverКоллеги! Подскажите насколько безумна мысль использовать Apache/Airbnb Airflow для ETL над "этими хадупами"? если не пугают расходы на зоопарк... в РФ мало кто с таким работает ... |
|||
:
Нравится:
Не нравится:
|
|||
04.10.2017, 07:24 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
Критик, А в чем расходы? В любом случае хадуп - это уже зоопарк. Airflow же достаточно понятен и легко поддается допиливанию как нутра, так и операторов. Сравнивая Airflow и NiFi - выбор пока в пользу первого. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.10.2017, 08:50 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
Jack CarverКоллеги! Подскажите насколько безумна мысль использовать Apache/Airbnb Airflow для ETL над "этими хадупами"? Мысль вполне нормальная. Единственное, что нужно обратить внимание на недоразвитый функционал разграничения прав и привелегий и проверить как оно будет работать с источниками данных вне Hadoop. А так, на мой вгляд вполе разумное решение. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2017, 20:54 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
Вот я что я принес ) https://kylo.io/ Kylo is an open source enterprise-ready data lake management software platform for self-service data ingest and data preparation with integrated metadata management, governance, security and best practices inspired by Think Big's 150+ big data implementation projects. Кто нить пробовал? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2017, 22:23 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
мигель1, Kylo успел уже пощупать? ... |
|||
:
Нравится:
Не нравится:
|
|||
31.01.2018, 15:27 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
kaldorey, Нет пока. в ближайшее время как раз будем пробовать 3 системы Airbnb Airflow Apache Nifi Kylo ... |
|||
:
Нравится:
Не нравится:
|
|||
31.01.2018, 21:21 |
|
ETL for hadoop
|
|||
---|---|---|---|
#18+
мигель1kaldorey, Нет пока. в ближайшее время как раз будем пробовать 3 системы Airbnb Airflow Apache Nifi Kylo отпишись потом обязательно. Всем интересно ... |
|||
:
Нравится:
Не нравится:
|
|||
02.02.2018, 17:58 |
|
|
start [/forum/topic.php?fid=48&fpage=3&tid=1856609]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
61ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
64ms |
get tp. blocked users: |
2ms |
others: | 13ms |
total: | 184ms |
0 / 0 |