|
|
|
Загрузка данных из MS SQL в HADOOP
|
|||
|---|---|---|---|
|
#18+
Появилась необходимость загрузить данные из базы MS SQL 2005 в HADOOP. Размер данных, которые необходимо перегрузить - ~600 GB. Как наиболее оптимально сделать такое? Пока что ничего более умного как выгрузить данные утилитой BCP в файл и загрузить в HADOOP не придумали. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.09.2014, 18:41 |
|
||
|
Загрузка данных из MS SQL в HADOOP
|
|||
|---|---|---|---|
|
#18+
flexgenПоявилась необходимость загрузить данные из базы MS SQL 2005 в HADOOP. Размер данных, которые необходимо перегрузить - ~600 GB. Как наиболее оптимально сделать такое? Пока что ничего более умного как выгрузить данные утилитой BCP в файл и загрузить в HADOOP не придумали. Можно воспользоваться sqoop, хотя не факт, что получится быстрее. Но то, что получится удобнее, ИМХО - факт. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.09.2014, 10:32 |
|
||
|
Загрузка данных из MS SQL в HADOOP
|
|||
|---|---|---|---|
|
#18+
Что касательно удобства, можно посмотреть Talend BigData Community версию. Там и ETL и джобы Хадупа рисовать можно достаточно просто. А можно просто PIG сверху Хадупа накатить и в нем маленьким скриптом подцепится к МССКУЛю и затянуть запросами на HDFS сразу данные в нужном формате (том же AVRO). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.09.2014, 10:21 |
|
||
|
Загрузка данных из MS SQL в HADOOP
|
|||
|---|---|---|---|
|
#18+
ASCRUSЧто касательно удобства, можно посмотреть Talend BigData Community версию. Там и ETL и джобы Хадупа рисовать можно достаточно просто. А можно просто PIG сверху Хадупа накатить и в нем маленьким скриптом подцепится к МССКУЛю и затянуть запросами на HDFS сразу данные в нужном формате (том же AVRO). Когда я в последний раз на него смотрел оно не умело загружать данные в хадуп, не приземляя их на локальный диск перед этим. Этот недостаток устранен? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.09.2014, 22:22 |
|
||
|
Загрузка данных из MS SQL в HADOOP
|
|||
|---|---|---|---|
|
#18+
ApexASCRUSЧто касательно удобства, можно посмотреть Talend BigData Community версию. Там и ETL и джобы Хадупа рисовать можно достаточно просто. А можно просто PIG сверху Хадупа накатить и в нем маленьким скриптом подцепится к МССКУЛю и затянуть запросами на HDFS сразу данные в нужном формате (том же AVRO). Когда я в последний раз на него смотрел оно не умело загружать данные в хадуп, не приземляя их на локальный диск перед этим. Этот недостаток устранен? Привет. Вопрос про PIG или Talend ? :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.09.2014, 13:36 |
|
||
|
Загрузка данных из MS SQL в HADOOP
|
|||
|---|---|---|---|
|
#18+
В конечном итоге решили делать экспорт при помощи BCP, как это будут грузить в HADOOP - уже не моя проблема, для этого у нас специально обученный человек имеется. Всем спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.09.2014, 20:10 |
|
||
|
Загрузка данных из MS SQL в HADOOP
|
|||
|---|---|---|---|
|
#18+
ASCRUSApexпропущено... Когда я в последний раз на него смотрел оно не умело загружать данные в хадуп, не приземляя их на локальный диск перед этим. Этот недостаток устранен? Привет. Вопрос про PIG или Talend ? :) Про Talend конечно, причем здесь Pig то?:) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2014, 22:54 |
|
||
|
Загрузка данных из MS SQL в HADOOP
|
|||
|---|---|---|---|
|
#18+
Дело, конечно, хозяйское, но через файло гемору полюбому больше чем через sqoop. Производительность sqoop вполне на уровне. Давеча гоняли достаточно большие объёмы. Вопросы могут быть с подключением по JDBC ну и настраивать надо, да. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.10.2014, 14:46 |
|
||
|
|
start [/forum/topic.php?fid=48&fpage=10&tid=1856871]: |
0ms |
get settings: |
9ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
91ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
51ms |
get tp. blocked users: |
2ms |
| others: | 237ms |
| total: | 420ms |
| 0 / 0 |
