powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Зачем хадуп выполняет сортировку?
3 сообщений из 3, страница 1 из 1
Зачем хадуп выполняет сортировку?
    #39242554
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрый день!

После выполнения map и Shuffle хадуп зачем-то выполняет сортировку по ключу.
Зачем это надо, если на входе reducer'а достаточно сгруппировать данные? ВРоде как без сортировки было бы быстрее?
Кстати, группировку хадуп выполняет если compareTo == 0

Кроме того, что делает (и долго делает) mapper, если он пустой? Т.е. на вход задаче подан выхлоп reducer'а в виде ключ/значение и надо сделать ещё один reducer именно по этому ключу. Я указываю постой map, но реально он работает и это может занять час...

--
Алексей.
...
Рейтинг: 0 / 0
Зачем хадуп выполняет сортировку?
    #39242712
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Оказывается, они сами не знают, зачем
Ну и ещё в тему .
...
Рейтинг: 0 / 0
Зачем хадуп выполняет сортировку?
    #39250155
Фотография jsa54513
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сортировка лежит в основе такой вещи, как SSTable. А это лежит в основе транспорта данных в современном BigData из-за того, что передавать данные удобнее и дешевле большими блоками. Большие дёшевы потому, что потенциал дисков по скорости (любые, даже SSD) хорошо раскрывается только на больших последовательных записях, типа там по 128 мегабайт. Когда редьюсер редьюсит ключ, ему проще последовательно глянуть в 3 блока (в пределах которых лежат все экземпляры этого ключа), держа значение ключа в ОЗУ, чем сканить весь объём данных бесконечно откладывая новые блоки.

Короче - так быстрее с учётом текущей физики аппаратуры хранения.
...
Рейтинг: 0 / 0
3 сообщений из 3, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Зачем хадуп выполняет сортировку?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]