powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Консистентное хеширование?
12 сообщений из 12, страница 1 из 1
Консистентное хеширование?
    #39519080
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть описание
https://4gophers.ru/articles/konsistentnoe-heshirovanie/#.WbKd5sgjEuU

В принципе понятно, но что-то торможу:

Я так понимаю, что ключи распределяются по разным нодам согласно каким-то фукнциям, хэшам, ок.

Если упал узел Н, то далее все новые ключи будут попадать на следующий по кругу узел. Хорошо.

Но что будет с ключами, хранившимися на упавшем узле? Накрылись?
А если упадет еще и еще один узел?
...
Рейтинг: 0 / 0
Консистентное хеширование?
    #39519095
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ролг ХупинНо что будет с ключами, хранившимися на упавшем узле? Накрылись?
Накрылись. Если откуда восстановить? От настроек резервного копирования зависит. Эта тема в статье никак не затрагивается.
Статья про распределение обработки, а не про хранение.
...
Рейтинг: 0 / 0
Консистентное хеширование?
    #39519097
kealon(Ruslan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ролг Хупин,

данные сохраняются сразу на нескольких нодах, если одна упадёт - в идеале должно сработать перераспределение
...
Рейтинг: 0 / 0
Консистентное хеширование?
    #39519156
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dima TРолг ХупинНо что будет с ключами, хранившимися на упавшем узле? Накрылись?
Накрылись. Если откуда восстановить? От настроек резервного копирования зависит. Эта тема в статье никак не затрагивается.
Статья про распределение обработки, а не про хранение.

в том и вопрос, что писатели умалчивают об этом моменте, задорно рассказывая, что новые будут распередляться по новым узлам.

Но если юзер будт запрашивать ключи с накрывшегося узла, то по алгоритму его запросы будут перенаправляться на следующий по часовой стрелке узел.
Следовательно, если ключи-значения реплицировались, то он должны находиться на том самом следующем узле, куда будет перенаправляться запрос юзера?

Получается, что сам алгоритм репликации-копирования тоже непростой.
...
Рейтинг: 0 / 0
Консистентное хеширование?
    #39519213
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ролг Хупинв том и вопрос, что писатели умалчивают об этом моменте, задорно рассказывая, что новые будут распередляться по новым узлам.

Но если юзер будт запрашивать ключи с накрывшегося узла, то по алгоритму его запросы будут перенаправляться на следующий по часовой стрелке узел.
Следовательно, если ключи-значения реплицировались, то он должны находиться на том самом следующем узле, куда будет перенаправляться запрос юзера?

Получается, что сам алгоритм репликации-копирования тоже непростой.
Там же не пишут куда конкретно запрос перенаправляется. Скорее всего в NoSQL БД какую-нибудь, а там есть встроенные средства репликации.

В принципе если каждая нода будет постоянно реплицировать свое состояние на следующую, куда произойдет переключение в случае отказа, то переключить можно мгновенно, но после надо репликацию перенастроить.
...
Рейтинг: 0 / 0
Консистентное хеширование?
    #39519297
kealon(Ruslan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ролг ХупинDima Tпропущено...

Накрылись. Если откуда восстановить? От настроек резервного копирования зависит. Эта тема в статье никак не затрагивается.
Статья про распределение обработки, а не про хранение.

в том и вопрос, что писатели умалчивают об этом моменте, задорно рассказывая, что новые будут распередляться по новым узлам.

Но если юзер будт запрашивать ключи с накрывшегося узла, то по алгоритму его запросы будут перенаправляться на следующий по часовой стрелке узел.
Следовательно, если ключи-значения реплицировались, то он должны находиться на том самом следующем узле, куда будет перенаправляться запрос юзера?

Получается, что сам алгоритм репликации-копирования тоже непростой.
само собой . Ели нужно расковырять как, смотришь исходники, надёжнее источника нет
...
Рейтинг: 0 / 0
Консистентное хеширование?
    #39519342
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот тут еще нашел старую статью с комментариями
https://habrahabr.ru/post/42972/

Тот же вопрос, пишут
авторНет, тут есть один существенный момент. Ну пусть было 100 ключей, по 25 на каждом, пусть хэш каждого ключа соответствует его номеру. Функция распределения ключей: ключ % 4 + 1.

Тогда ключи 0, 4, 8,… лежат на 1-м сервере, 1, 5, 9,… — на 2-м, 2, 6, 10,… — на 3-м и 3, 7, 11,… — на 4-м.

Пусть 4-й сервер выходит из строя, теперь функция распределения ключей: ключ % 3 + 1.

И теперь ключи 3, 7, 11,… — их значения потеряны (т. к. лежали на упавшем сервере), это 25%.

Далее, берем ключ 6 — он лежал на 3-м сервере, теперь он лежит на 1-м, берем ключ 5 — раньше на 1-м, теперь на на 3-м сервере. Ну и т. д. Сколько ключей сохранили своё расположение?
...

Примечание: изменили расположение — изменили расположения с точки зрения клиента, то есть он за ним обратится на другой сервер, где такого ключа нет, сервера об этой перетасовке ничего не знают, поэтому для клиента переместившийся ключ == потеряный ключ.
...
Рейтинг: 0 / 0
Консистентное хеширование?
    #39519382
kealon(Ruslan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ролг Хупин,

в этой логике одно неправильно, зачем им стучаться на все сервера? есть мастер же - он и распределяет запросы по рабочим лошадкам
...
Рейтинг: 0 / 0
Консистентное хеширование?
    #39519394
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kealon(Ruslan)в этой логике одно неправильно, зачем им стучаться на все сервера?
+1

Клиент понятия не имеет как оно там внутри размазано, обращается в центральную точку входа, а дальше его перенаправляют в нужное место.
...
Рейтинг: 0 / 0
Консистентное хеширование?
    #39519404
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dima Tkealon(Ruslan)в этой логике одно неправильно, зачем им стучаться на все сервера?
+1

Клиент понятия не имеет как оно там внутри размазано, обращается в центральную точку входа, а дальше его перенаправляют в нужное место.

Так по этим описаниям получается, что центральной точки входа нет, т.е. нет какого-то центрального сервера, а есть множество равноправных серверов, организованных в виде кольца.
Собственно, в качестве одного из примеров использования консистентного хеша приводятся peer-to-peer сети.
Вот это и вызывает какие-то непонятки у меня.
...
Рейтинг: 0 / 0
Консистентное хеширование?
    #39519444
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ролг ХупинТак по этим описаниям получается, что центральной точки входа нет, т.е. нет какого-то центрального сервера, а есть множество равноправных серверов, организованных в виде кольца.
Я такого там не увидел.
Ролг ХупинСобственно, в качестве одного из примеров использования консистентного хеша приводятся peer-to-peer сети.
Вот это и вызывает какие-то непонятки у меня.
В случае неизменяемых данных возможно. Один раз залили файл на ноду А, она забэкапилась на ноду Б, А умерла, клиент скачал с Б.

Для изменяемых данных такая схема не подойдет, т.к. должна быть нода ответственная за изменение данных. Например если А не успела ответить клиенту и он отвалился по таймауту и слил изменения на Б, то дальше что делать?
...
Рейтинг: 0 / 0
Консистентное хеширование?
    #39519449
kealon(Ruslan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ролг ХупинСобственно, в качестве одного из примеров использования консистентного хеша приводятся peer-to-peer сети.
Вот это и вызывает какие-то непонятки у меня.
Новости пересмотрелись что ли.
Когда нет мастер-сервера, то решить, что данных однозначно нет или они не согласованы из опроса одного сервера - нельзя, чудес не бывает. Нужны дополнительные механизмы проверки согласованности и доступности данных + дополнительная избыточность при хранении.

Н-р, у тоже же bitcoin база валидации уже под сотню гигов
...
Рейтинг: 0 / 0
12 сообщений из 12, страница 1 из 1
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Консистентное хеширование?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]