Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Java [игнор отключен] [закрыт для гостей] / Реализация структуры параллельного алгоритма / 4 сообщений из 4, страница 1 из 1
20.05.2013, 10:12:56
    #38264086
ZeD.ORA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Реализация структуры параллельного алгоритма
Всем привет, по правде говоря речь пойдет о шаблоне MapReduce.
Вопрос задавал на другой ветке форума(NOSQL) и мне посоветовали спросить отсюда.
вот ссылка на вопрос 14316129 . Вопрос заключается в правильности реализации параллелизма.
...
Рейтинг: 0 / 0
20.05.2013, 16:44:17
    #38264824
АлексейС
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Реализация структуры параллельного алгоритма
ZeD.ORA,

Честно говоря времени не очень много, код посмотрел по диагонали, выглядит странно.

В целом всё просто, для файла:

1) берём файл, режем его на куски по N байт. (если взять hdfs, то файл уже разделён на блоки по N байт, по умолчанию, 128 мб или 256 мб, не помню )

2) каждую строку мы скармливаем методу Mapper.map(Key, Value), где что-то делаем c данными.

3) после работы map у нас накапливается список каких-то результирующих Key-Value строк.

3*) мы можем использовать Combiner, это маленький reducer, который может подготовить данные перед передачей на reduce. В целом предназначен для уменьшения сетевого трафика и ускорения.

4) мы их копируем на ноды, где будет происходить reduce, причём разделяем их по результату некой хеш-функции, которую мы можем переопределять

5) на каждой ноде происходит сортировка входных данных

6) собственно Reducer.reduce(Key, Value), где Key, Value - это результаты работы Mapper.map
...
Рейтинг: 0 / 0
20.05.2013, 17:46:51
    #38264965
ZeD.ORA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Реализация структуры параллельного алгоритма
АлексейС,
Спасибо за пошаговое разъяснение, в целом технологию понял.
...
Рейтинг: 0 / 0
20.05.2013, 18:19:13
    #38265038
АлексейС
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Реализация структуры параллельного алгоритма
ZeD.ORA,

Кстати, важный нюанс - есть map-only задачи. То есть задачи, в которых только первые 3 пункта.
...
Рейтинг: 0 / 0
Форумы / Java [игнор отключен] [закрыт для гостей] / Реализация структуры параллельного алгоритма / 4 сообщений из 4, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]