Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Консистентное хеширование?
|
|||
|---|---|---|---|
|
#18+
Есть описание https://4gophers.ru/articles/konsistentnoe-heshirovanie/#.WbKd5sgjEuU В принципе понятно, но что-то торможу: Я так понимаю, что ключи распределяются по разным нодам согласно каким-то фукнциям, хэшам, ок. Если упал узел Н, то далее все новые ключи будут попадать на следующий по кругу узел. Хорошо. Но что будет с ключами, хранившимися на упавшем узле? Накрылись? А если упадет еще и еще один узел? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 11:57 |
|
||
|
Консистентное хеширование?
|
|||
|---|---|---|---|
|
#18+
Ролг ХупинНо что будет с ключами, хранившимися на упавшем узле? Накрылись? Накрылись. Если откуда восстановить? От настроек резервного копирования зависит. Эта тема в статье никак не затрагивается. Статья про распределение обработки, а не про хранение. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 12:22 |
|
||
|
Консистентное хеширование?
|
|||
|---|---|---|---|
|
#18+
Ролг Хупин, данные сохраняются сразу на нескольких нодах, если одна упадёт - в идеале должно сработать перераспределение ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 12:25 |
|
||
|
Консистентное хеширование?
|
|||
|---|---|---|---|
|
#18+
Dima TРолг ХупинНо что будет с ключами, хранившимися на упавшем узле? Накрылись? Накрылись. Если откуда восстановить? От настроек резервного копирования зависит. Эта тема в статье никак не затрагивается. Статья про распределение обработки, а не про хранение. в том и вопрос, что писатели умалчивают об этом моменте, задорно рассказывая, что новые будут распередляться по новым узлам. Но если юзер будт запрашивать ключи с накрывшегося узла, то по алгоритму его запросы будут перенаправляться на следующий по часовой стрелке узел. Следовательно, если ключи-значения реплицировались, то он должны находиться на том самом следующем узле, куда будет перенаправляться запрос юзера? Получается, что сам алгоритм репликации-копирования тоже непростой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 13:50 |
|
||
|
Консистентное хеширование?
|
|||
|---|---|---|---|
|
#18+
Ролг Хупинв том и вопрос, что писатели умалчивают об этом моменте, задорно рассказывая, что новые будут распередляться по новым узлам. Но если юзер будт запрашивать ключи с накрывшегося узла, то по алгоритму его запросы будут перенаправляться на следующий по часовой стрелке узел. Следовательно, если ключи-значения реплицировались, то он должны находиться на том самом следующем узле, куда будет перенаправляться запрос юзера? Получается, что сам алгоритм репликации-копирования тоже непростой. Там же не пишут куда конкретно запрос перенаправляется. Скорее всего в NoSQL БД какую-нибудь, а там есть встроенные средства репликации. В принципе если каждая нода будет постоянно реплицировать свое состояние на следующую, куда произойдет переключение в случае отказа, то переключить можно мгновенно, но после надо репликацию перенастроить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 14:34 |
|
||
|
Консистентное хеширование?
|
|||
|---|---|---|---|
|
#18+
Ролг ХупинDima Tпропущено... Накрылись. Если откуда восстановить? От настроек резервного копирования зависит. Эта тема в статье никак не затрагивается. Статья про распределение обработки, а не про хранение. в том и вопрос, что писатели умалчивают об этом моменте, задорно рассказывая, что новые будут распередляться по новым узлам. Но если юзер будт запрашивать ключи с накрывшегося узла, то по алгоритму его запросы будут перенаправляться на следующий по часовой стрелке узел. Следовательно, если ключи-значения реплицировались, то он должны находиться на том самом следующем узле, куда будет перенаправляться запрос юзера? Получается, что сам алгоритм репликации-копирования тоже непростой. само собой . Ели нужно расковырять как, смотришь исходники, надёжнее источника нет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 16:16 |
|
||
|
Консистентное хеширование?
|
|||
|---|---|---|---|
|
#18+
Вот тут еще нашел старую статью с комментариями https://habrahabr.ru/post/42972/ Тот же вопрос, пишут авторНет, тут есть один существенный момент. Ну пусть было 100 ключей, по 25 на каждом, пусть хэш каждого ключа соответствует его номеру. Функция распределения ключей: ключ % 4 + 1. Тогда ключи 0, 4, 8,… лежат на 1-м сервере, 1, 5, 9,… — на 2-м, 2, 6, 10,… — на 3-м и 3, 7, 11,… — на 4-м. Пусть 4-й сервер выходит из строя, теперь функция распределения ключей: ключ % 3 + 1. И теперь ключи 3, 7, 11,… — их значения потеряны (т. к. лежали на упавшем сервере), это 25%. Далее, берем ключ 6 — он лежал на 3-м сервере, теперь он лежит на 1-м, берем ключ 5 — раньше на 1-м, теперь на на 3-м сервере. Ну и т. д. Сколько ключей сохранили своё расположение? ... Примечание: изменили расположение — изменили расположения с точки зрения клиента, то есть он за ним обратится на другой сервер, где такого ключа нет, сервера об этой перетасовке ничего не знают, поэтому для клиента переместившийся ключ == потеряный ключ. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 17:01 |
|
||
|
Консистентное хеширование?
|
|||
|---|---|---|---|
|
#18+
Ролг Хупин, в этой логике одно неправильно, зачем им стучаться на все сервера? есть мастер же - он и распределяет запросы по рабочим лошадкам ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 17:35 |
|
||
|
Консистентное хеширование?
|
|||
|---|---|---|---|
|
#18+
kealon(Ruslan)в этой логике одно неправильно, зачем им стучаться на все сервера? +1 Клиент понятия не имеет как оно там внутри размазано, обращается в центральную точку входа, а дальше его перенаправляют в нужное место. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 17:48 |
|
||
|
Консистентное хеширование?
|
|||
|---|---|---|---|
|
#18+
Dima Tkealon(Ruslan)в этой логике одно неправильно, зачем им стучаться на все сервера? +1 Клиент понятия не имеет как оно там внутри размазано, обращается в центральную точку входа, а дальше его перенаправляют в нужное место. Так по этим описаниям получается, что центральной точки входа нет, т.е. нет какого-то центрального сервера, а есть множество равноправных серверов, организованных в виде кольца. Собственно, в качестве одного из примеров использования консистентного хеша приводятся peer-to-peer сети. Вот это и вызывает какие-то непонятки у меня. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 17:58 |
|
||
|
Консистентное хеширование?
|
|||
|---|---|---|---|
|
#18+
Ролг ХупинТак по этим описаниям получается, что центральной точки входа нет, т.е. нет какого-то центрального сервера, а есть множество равноправных серверов, организованных в виде кольца. Я такого там не увидел. Ролг ХупинСобственно, в качестве одного из примеров использования консистентного хеша приводятся peer-to-peer сети. Вот это и вызывает какие-то непонятки у меня. В случае неизменяемых данных возможно. Один раз залили файл на ноду А, она забэкапилась на ноду Б, А умерла, клиент скачал с Б. Для изменяемых данных такая схема не подойдет, т.к. должна быть нода ответственная за изменение данных. Например если А не успела ответить клиенту и он отвалился по таймауту и слил изменения на Б, то дальше что делать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 18:41 |
|
||
|
Консистентное хеширование?
|
|||
|---|---|---|---|
|
#18+
Ролг ХупинСобственно, в качестве одного из примеров использования консистентного хеша приводятся peer-to-peer сети. Вот это и вызывает какие-то непонятки у меня. Новости пересмотрелись что ли. Когда нет мастер-сервера, то решить, что данных однозначно нет или они не согласованы из опроса одного сервера - нельзя, чудес не бывает. Нужны дополнительные механизмы проверки согласованности и доступности данных + дополнительная избыточность при хранении. Н-р, у тоже же bitcoin база валидации уже под сотню гигов ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 18:48 |
|
||
|
|

start [/forum/topic.php?fid=16&msg=39519394&tid=1340293]: |
0ms |
get settings: |
7ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
190ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
48ms |
get tp. blocked users: |
1ms |
| others: | 279ms |
| total: | 558ms |

| 0 / 0 |
