мигель1Коллеги . Прочитал на хабре
"При наличии 4 узлов эта операция займет более 20 минут, а при наличии 8 узлов — 8 минут 55 секунд"

Что подразумевается под словом "узел"?
сервер?

Это может быть и виртуалкой :)
Так что называют "узел".

мигель1haXbatпропущено...

Это про линейное горизонтальное масштабирование. Ввел в два раз больше нод, получил в два раза выигрыш в скорости. Ноды, разумеется, одинаковой конфигурации.

Понятно т.е теоритически для оценки я могу взять 1 стандартный сервер (Single-Node Cluster) просчитать на нем данные за час и сказать, что если купите 4 таких сервера (Multi-Node Cluster) то получите прирост в 4 раза?
Так?

Но есть ньюанс :)
Не надо забывать, в map/reduce не 2 шага, а 3.
Промежуточный (переупорядочивание данных между узлами перед reduce) занимает некоторое время.
И оно не будет снижаться при увеличении числа узлов.
Поэтому рост будет не линейным, причём чем дальше- тем хуже.

Сравнение же с одним узлом, особенно без использование хадупа, ещё сложнее- т.к. у него накладных расходов своих очень много. Даже просто переход од одного узла к двум не даст *2 по скорости :)
Вообще для хадупа 4 узла- это по сути минимальная конфигурация. Меньше- это не показательно вообще (из-за особенностей хранения данных).

PS: а ещё не забываем, что хадуп запускает много больше потоков, чем узлов, и это тоже может принести как выигрыш по скорости, так и проблемы.

кириллkкириллk,
прочитал документацию, я думаю можно решить проблему через sqoop-job

Только надо понимать, что внтри всё одно mr-job запускается в большинстве случаев. И он может быть очень не оптимильным.
Не так давно переделывал hive-скрипт на mr-job - где-то в 8 раз выграл по ресурсам.

ApexAlexey Tominпропущено...


Только надо понимать, что внтри всё одно mr-job запускается в большинстве случаев. И он может быть очень не оптимильным.
Не так давно переделывал hive-скрипт на mr-job - где-то в 8 раз выграл по ресурсам.
А по времени?

По времени в 4 раза, потому что изначальной задачей было не занимать полностью кластер :)

кириллkApexпропущено...

Hive - это просто программа на java, которая парсит SQL-запрос и транслирует его в серию MR-Job'ов. Делает она это не всегда оптимально.

А где можно прочитать про эти MR-Job?

В гугле забанили? Вот , например.

кириллkКак я понял смысл спарка уйти от методологии map reduce (могу ошибаться)

Уйти от движка mr, который хоть и неплохо едет, но запрягает уж ОЧЕНЬ долго.
Плюс Спарк умеет в памяти хранить данные...

mishanya3624И подскажите какого еще вендора можно попробовать, кроме hortonworks?

Для меня Cloudera - это вариант по-умолчанию. Не видел других вариантов в использовании.
Ставится предельно просто- типа "хочу" и получаешь хадуп.
Правда я пробовал это только под linux - собственно в окружающей меня действительности очень много разработчиков перешли на linux, чтобы не иметь проблем с hadoop - например, можно гонять unit-test'ы на локальной машине без установленного хадупа, но в нём (и почти всё работает так же- я нашёл только один небольшой ньюанс).

mishanya3624А ставил кто-нибудь Cloudera на vmware я про esxi а не workstation?

Ставил

mishanya3624Alexey Tomin,

Что-то у меня не складывается с вендорами:)
качаю это: http://www.cloudera.com/downloads/quickstart_vms/5-7.html
дальше пытаюсь открыть на workstation или player на секунду начинает грузиться и вся нагрузка исчезает
закачиваю все на esxi он все жесткие конвертит в один размером 8 гб, делаю инвент виртуалки, запускаю, и вылетает ошибка, что не видит виртуальный диск, хотя он там есть :)
мзговынос какой-то, а не hadoop, конечно руки бы попримее, но довольствуемся, что есть...
Кто сталкивался с такой ерунддой?
У hortonwork все проще, скачиваешь готовый шаблон ovf и запускаешь, все проблем нет.

Мда. Всё же насколько проще жизнь в мире linux

mishanya3624Alexey Tomin,

если не трудно накидайте план установки.

А вот же он.

А для отладки ещё проще- для linux после подключения зависимостей хадупа через maven можно запускать m/r задачу вообще без установленного хадупа- понятное дело, что single mode, но windows почему-то лишена этого вообще.
Зато насколько упрощается отладка- это просто чудо! И map-задачи тебе, и UDF'ки для pig-скриптом- пошаговое исполнение, логи- всё есть.

mishanya3624Alexey Tomin,

блин, мне аж сегодня приснился разговор про Hadoop с тобой

так, я может не то пытался поставить, надо Cloudera Manager ставить, quiсkstart это не то?

Честно говоря, я обхожусь тем, который работает без установки вообще.
"Однонодовый" ставил, но как - уже забыл.

mishanya3624дальше хочу забубенить кластер
ставлю еще 1 HDP2.4, но они по умолчанию ставятся с кластером по дефолту и уже своим Hostname, меняю hostname чтобы подвязать к кластеру, все сервисы падают, так как походу где-то есть глобальная привязка Hadoopa к старому Hostname

Путь самурая.
А что, CDH на linux никак не ставится?
Hadoop предполагает забыть про винду :)

mishanya3624Шел 4 день:)
В итоге завел я кластер пока из 2 нодов(еще 3 планирую накинуть), все ок, кроме 1 нюанса,
в статусе мониторинга висит 1 ошибка :
авторBad : 703 under replicated blocks in the cluster. 706 total blocks in the cluster. Percentage under replicated blocks: 99.58%. Critical threshold: 60.00%.

что-то обгуглился ниче не помогает, может кто сталкивался?

Вроде как меньше трёх нод это не кластер. Каждый блок должен быть на трёх разных нодах, иначе hdfs обижается.

mishanya36241.И еще кто как грузит данные, с помощью hue и sqoop?
2.Как вытаскивать данные из hadoop например в системе Cognos так же с помощью jdbc драйвера?
3.Как делать бекапы данных?

В hdfs их можно залить чем угодно- просто открываешь файл в hdfs клиентом и пишешь. Дальше- по вкусу.