|
Действия ...
|
17.09.2014, 10:21
|
|||
|---|---|---|---|
|
|||
Загрузка данных из MS SQL в HADOOP |
|||
|
|
|
18.09.2014, 13:36
|
|||
|---|---|---|---|
|
|||
Загрузка данных из MS SQL в HADOOP |
|||
|
|
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
13.09.2014, 18:41
|
|||
|---|---|---|---|
Загрузка данных из MS SQL в HADOOP |
|||
|
#18+
Появилась необходимость загрузить данные из базы MS SQL 2005 в HADOOP. Размер данных, которые необходимо перегрузить - ~600 GB. Как наиболее оптимально сделать такое? Пока что ничего более умного как выгрузить данные утилитой BCP в файл и загрузить в HADOOP не придумали. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
14.09.2014, 10:32
|
|||
|---|---|---|---|
Загрузка данных из MS SQL в HADOOP |
|||
|
#18+
flexgenПоявилась необходимость загрузить данные из базы MS SQL 2005 в HADOOP. Размер данных, которые необходимо перегрузить - ~600 GB. Как наиболее оптимально сделать такое? Пока что ничего более умного как выгрузить данные утилитой BCP в файл и загрузить в HADOOP не придумали. Можно воспользоваться sqoop, хотя не факт, что получится быстрее. Но то, что получится удобнее, ИМХО - факт. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
17.09.2014, 10:21
|
|||
|---|---|---|---|
Загрузка данных из MS SQL в HADOOP |
|||
|
#18+
Что касательно удобства, можно посмотреть Talend BigData Community версию. Там и ETL и джобы Хадупа рисовать можно достаточно просто. А можно просто PIG сверху Хадупа накатить и в нем маленьким скриптом подцепится к МССКУЛю и затянуть запросами на HDFS сразу данные в нужном формате (том же AVRO). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
17.09.2014, 22:22
|
|||
|---|---|---|---|
Загрузка данных из MS SQL в HADOOP |
|||
|
#18+
ASCRUSЧто касательно удобства, можно посмотреть Talend BigData Community версию. Там и ETL и джобы Хадупа рисовать можно достаточно просто. А можно просто PIG сверху Хадупа накатить и в нем маленьким скриптом подцепится к МССКУЛю и затянуть запросами на HDFS сразу данные в нужном формате (том же AVRO). Когда я в последний раз на него смотрел оно не умело загружать данные в хадуп, не приземляя их на локальный диск перед этим. Этот недостаток устранен? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
18.09.2014, 13:36
|
|||
|---|---|---|---|
Загрузка данных из MS SQL в HADOOP |
|||
|
#18+
ApexASCRUSЧто касательно удобства, можно посмотреть Talend BigData Community версию. Там и ETL и джобы Хадупа рисовать можно достаточно просто. А можно просто PIG сверху Хадупа накатить и в нем маленьким скриптом подцепится к МССКУЛю и затянуть запросами на HDFS сразу данные в нужном формате (том же AVRO). Когда я в последний раз на него смотрел оно не умело загружать данные в хадуп, не приземляя их на локальный диск перед этим. Этот недостаток устранен? Привет. Вопрос про PIG или Talend ? :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
18.09.2014, 20:10
|
|||
|---|---|---|---|
Загрузка данных из MS SQL в HADOOP |
|||
|
#18+
В конечном итоге решили делать экспорт при помощи BCP, как это будут грузить в HADOOP - уже не моя проблема, для этого у нас специально обученный человек имеется. Всем спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
22.09.2014, 22:54
|
|||
|---|---|---|---|
Загрузка данных из MS SQL в HADOOP |
|||
|
#18+
ASCRUSApexпропущено... Когда я в последний раз на него смотрел оно не умело загружать данные в хадуп, не приземляя их на локальный диск перед этим. Этот недостаток устранен? Привет. Вопрос про PIG или Talend ? :) Про Talend конечно, причем здесь Pig то?:) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
07.10.2014, 14:46
|
|||
|---|---|---|---|
|
|||
Загрузка данных из MS SQL в HADOOP |
|||
|
#18+
Дело, конечно, хозяйское, но через файло гемору полюбому больше чем через sqoop. Производительность sqoop вполне на уровне. Давеча гоняли достаточно большие объёмы. Вопросы могут быть с подключением по JDBC ну и настраивать надо, да. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=48&mobile=1&tid=1856871]: |
0ms |
get settings: |
8ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
160ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
43ms |
get tp. blocked users: |
1ms |
| others: | 11ms |
| total: | 259ms |
| 0 / 0 |
