powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Реализация структуры параллельного алгоритма
4 сообщений из 4, страница 1 из 1
Реализация структуры параллельного алгоритма
    #38264086
Фотография ZeD.ORA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Всем привет, по правде говоря речь пойдет о шаблоне MapReduce.
Вопрос задавал на другой ветке форума(NOSQL) и мне посоветовали спросить отсюда.
вот ссылка на вопрос 14316129 . Вопрос заключается в правильности реализации параллелизма.
...
Рейтинг: 0 / 0
Реализация структуры параллельного алгоритма
    #38264824
АлексейС
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ZeD.ORA,

Честно говоря времени не очень много, код посмотрел по диагонали, выглядит странно.

В целом всё просто, для файла:

1) берём файл, режем его на куски по N байт. (если взять hdfs, то файл уже разделён на блоки по N байт, по умолчанию, 128 мб или 256 мб, не помню )

2) каждую строку мы скармливаем методу Mapper.map(Key, Value), где что-то делаем c данными.

3) после работы map у нас накапливается список каких-то результирующих Key-Value строк.

3*) мы можем использовать Combiner, это маленький reducer, который может подготовить данные перед передачей на reduce. В целом предназначен для уменьшения сетевого трафика и ускорения.

4) мы их копируем на ноды, где будет происходить reduce, причём разделяем их по результату некой хеш-функции, которую мы можем переопределять

5) на каждой ноде происходит сортировка входных данных

6) собственно Reducer.reduce(Key, Value), где Key, Value - это результаты работы Mapper.map
...
Рейтинг: 0 / 0
Реализация структуры параллельного алгоритма
    #38264965
Фотография ZeD.ORA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АлексейС,
Спасибо за пошаговое разъяснение, в целом технологию понял.
...
Рейтинг: 0 / 0
Реализация структуры параллельного алгоритма
    #38265038
АлексейС
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ZeD.ORA,

Кстати, важный нюанс - есть map-only задачи. То есть задачи, в которых только первые 3 пункта.
...
Рейтинг: 0 / 0
4 сообщений из 4, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Реализация структуры параллельного алгоритма
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]