Гость
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Зачем хадуп выполняет сортировку? / 3 сообщений из 3, страница 1 из 1
24.05.2016, 17:18
    #39242554
Alexey Tomin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зачем хадуп выполняет сортировку?
Добрый день!

После выполнения map и Shuffle хадуп зачем-то выполняет сортировку по ключу.
Зачем это надо, если на входе reducer'а достаточно сгруппировать данные? ВРоде как без сортировки было бы быстрее?
Кстати, группировку хадуп выполняет если compareTo == 0

Кроме того, что делает (и долго делает) mapper, если он пустой? Т.е. на вход задаче подан выхлоп reducer'а в виде ключ/значение и надо сделать ещё один reducer именно по этому ключу. Я указываю постой map, но реально он работает и это может занять час...

--
Алексей.
...
Рейтинг: 0 / 0
24.05.2016, 20:33
    #39242712
Alexey Tomin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зачем хадуп выполняет сортировку?
Оказывается, они сами не знают, зачем
Ну и ещё в тему .
...
Рейтинг: 0 / 0
03.06.2016, 14:46
    #39250155
jsa54513
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зачем хадуп выполняет сортировку?
Сортировка лежит в основе такой вещи, как SSTable. А это лежит в основе транспорта данных в современном BigData из-за того, что передавать данные удобнее и дешевле большими блоками. Большие дёшевы потому, что потенциал дисков по скорости (любые, даже SSD) хорошо раскрывается только на больших последовательных записях, типа там по 128 мегабайт. Когда редьюсер редьюсит ключ, ему проще последовательно глянуть в 3 блока (в пределах которых лежат все экземпляры этого ключа), держа значение ключа в ОЗУ, чем сканить весь объём данных бесконечно откладывая новые блоки.

Короче - так быстрее с учётом текущей физики аппаратуры хранения.
...
Рейтинг: 0 / 0
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Зачем хадуп выполняет сортировку? / 3 сообщений из 3, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]