мигель1Коллеги . Прочитал на хабре
"При наличии 4 узлов эта операция займет более 20 минут, а при наличии 8 узлов — 8 минут 55 секунд"

Что подразумевается под словом "узел"?
сервер?

Это может быть и виртуалкой :)
Так что называют "узел".

мигель1haXbatпропущено...

Это про линейное горизонтальное масштабирование. Ввел в два раз больше нод, получил в два раза выигрыш в скорости. Ноды, разумеется, одинаковой конфигурации.

Понятно т.е теоритически для оценки я могу взять 1 стандартный сервер (Single-Node Cluster) просчитать на нем данные за час и сказать, что если купите 4 таких сервера (Multi-Node Cluster) то получите прирост в 4 раза?
Так?

Но есть ньюанс :)
Не надо забывать, в map/reduce не 2 шага, а 3.
Промежуточный (переупорядочивание данных между узлами перед reduce) занимает некоторое время.
И оно не будет снижаться при увеличении числа узлов.
Поэтому рост будет не линейным, причём чем дальше- тем хуже.

Сравнение же с одним узлом, особенно без использование хадупа, ещё сложнее- т.к. у него накладных расходов своих очень много. Даже просто переход од одного узла к двум не даст *2 по скорости :)
Вообще для хадупа 4 узла- это по сути минимальная конфигурация. Меньше- это не показательно вообще (из-за особенностей хранения данных).

PS: а ещё не забываем, что хадуп запускает много больше потоков, чем узлов, и это тоже может принести как выигрыш по скорости, так и проблемы.

кириллkкириллk,
прочитал документацию, я думаю можно решить проблему через sqoop-job

Только надо понимать, что внтри всё одно mr-job запускается в большинстве случаев. И он может быть очень не оптимильным.
Не так давно переделывал hive-скрипт на mr-job - где-то в 8 раз выграл по ресурсам.

ApexAlexey Tominпропущено...


Только надо понимать, что внтри всё одно mr-job запускается в большинстве случаев. И он может быть очень не оптимильным.
Не так давно переделывал hive-скрипт на mr-job - где-то в 8 раз выграл по ресурсам.
А по времени?

По времени в 4 раза, потому что изначальной задачей было не занимать полностью кластер :)

кириллkApexпропущено...

Hive - это просто программа на java, которая парсит SQL-запрос и транслирует его в серию MR-Job'ов. Делает она это не всегда оптимально.

А где можно прочитать про эти MR-Job?

В гугле забанили? Вот , например.

кириллkКак я понял смысл спарка уйти от методологии map reduce (могу ошибаться)

Уйти от движка mr, который хоть и неплохо едет, но запрягает уж ОЧЕНЬ долго.
Плюс Спарк умеет в памяти хранить данные...