powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / А объясните пожалуйста "3 кита" на которых стоит механизм транзакций в кластерах?
9 сообщений из 9, страница 1 из 1
А объясните пожалуйста "3 кита" на которых стоит механизм транзакций в кластерах?
    #39189499
Фотография Reciprocated
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Под кластером я подразумеваю KV-хранилку пошарденную на 10 узлов, например.
Допустим, каждый узел у нас:
- является "мастером" для 1/10 части пространства ключей (имеет право их менять)
- является "репликой" для какой-то части ключей (тупо читая журнал каких-то других нод и вылавливая там то, что реплицируем). Ну, какой-то там коэффициент репликации есть.

Интересует возможная физическая реализация транзакции, затрагивающей изменения ключей, мастером для которых являются разные ноды.
Читать исходники не предлагать, предлагать презенташки-видосики или лучше краткое изложение ключевого механизма на 1 абзац своими словами.

Я понимаю, решений зоопарк (где-то даже свалили всё на клиента). Зоопарк и интересует. Онтология распределённого коммита.
Хотя, вроде как в серьёзных местах он сам по себе считается ересью. Но это мои слухи.
...
Рейтинг: 0 / 0
А объясните пожалуйста "3 кита" на которых стоит механизм транзакций в кластерах?
    #39189565
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ReciprocatedПод кластером я подразумеваю KV-хранилку пошарденную на 10 узлов, например.
Допустим, каждый узел у нас:
- является "мастером" для 1/10 части пространства ключей (имеет право их менять)
- является "репликой" для какой-то части ключей (тупо читая журнал каких-то других нод и вылавливая там то, что реплицируем). Ну, какой-то там коэффициент репликации есть.

Интересует возможная физическая реализация транзакции, затрагивающей изменения ключей, мастером для которых являются разные ноды.
Читать исходники не предлагать, предлагать презенташки-видосики или лучше краткое изложение ключевого механизма на 1 абзац своими словами.

Я понимаю, решений зоопарк (где-то даже свалили всё на клиента). Зоопарк и интересует. Онтология распределённого коммита.
Хотя, вроде как в серьёзных местах он сам по себе считается ересью. Но это мои слухи.Насколько я знаю, в шардингах обычно кросс-узловые транзакции не поддерживаются. А частенько не поддерживаются и в рамках одного узла: Cassandra , MongoDB .
Ну там знаете CRUD и бла-бла.
Как вариант всякие распределенные транзакции и двухфазные Commit.

P.S. в этом плане интересны слухи про шардинг в Oracle 12.2 - будет ли там полный ACID?
...
Рейтинг: 0 / 0
А объясните пожалуйста "3 кита" на которых стоит механизм транзакций в кластерах?
    #39189915
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander RyndinReciprocatedПод кластером я подразумеваю KV-хранилку пошарденную на 10 узлов, например.
Допустим, каждый узел у нас:
- является "мастером" для 1/10 части пространства ключей (имеет право их менять)
- является "репликой" для какой-то части ключей (тупо читая журнал каких-то других нод и вылавливая там то, что реплицируем). Ну, какой-то там коэффициент репликации есть.

Интересует возможная физическая реализация транзакции, затрагивающей изменения ключей, мастером для которых являются разные ноды.
Читать исходники не предлагать, предлагать презенташки-видосики или лучше краткое изложение ключевого механизма на 1 абзац своими словами.

Я понимаю, решений зоопарк (где-то даже свалили всё на клиента). Зоопарк и интересует. Онтология распределённого коммита.
Хотя, вроде как в серьёзных местах он сам по себе считается ересью. Но это мои слухи.Насколько я знаю, в шардингах обычно кросс-узловые транзакции не поддерживаются. А частенько не поддерживаются и в рамках одного узла: Cassandra , MongoDB .
Ну там знаете CRUD и бла-бла.
Как вариант всякие распределенные транзакции и двухфазные Commit.

P.S. в этом плане интересны слухи про шардинг в Oracle 12.2 - будет ли там полный ACID?

хмм.. вряд ли они сделают полнофункциональное чудо
...
Рейтинг: 0 / 0
А объясните пожалуйста "3 кита" на которых стоит механизм транзакций в кластерах?
    #39190350
КБС4
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ReciprocatedПод кластером я подразумеваю KV-хранилку пошарденную на 10 узлов, например.
Допустим, каждый узел у нас:
- является "мастером" для 1/10 части пространства ключей (имеет право их менять)
- является "репликой" для какой-то части ключей (тупо читая журнал каких-то других нод и вылавливая там то, что реплицируем). Ну, какой-то там коэффициент репликации есть.

Интересует возможная физическая реализация транзакции, затрагивающей изменения ключей, мастером для которых являются разные ноды.
Читать исходники не предлагать, предлагать презенташки-видосики или лучше краткое изложение ключевого механизма на 1 абзац своими словами.

Я понимаю, решений зоопарк (где-то даже свалили всё на клиента). Зоопарк и интересует. Онтология распределённого коммита.
Хотя, вроде как в серьёзных местах он сам по себе считается ересью. Но это мои слухи.

Можно и короче абзаца.
Key: Двухфазный коммит
...
Рейтинг: 0 / 0
А объясните пожалуйста "3 кита" на которых стоит механизм транзакций в кластерах?
    #39191035
Астронавт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Reciprocated,

В кассандре нет мастер ноды. Все ноды одинаковые.
Dml с клиента приходит на одну из нод. Она будет координатором для этого запроса (отвечает за выполнение дмл). В кластере установлен RF (replication factor) - сколько успешных реплик должно быть, чтобы операция считалась успешно завершенной. Скажем -3. Координатор вычисляет по значению главного ключа номер ноды куда пойдет первая реплика, а по заданной стратегии - номера нод для остальных реплик. Координатор отправляет туда данные и время начала операции и ждет 2 успешных ответа ( > 50%). Если пришло меньше 2 ответов - на клиента отправляется ошибка. Данные не откатываются, потому что ...

Правильно - читатель потом разберется. При чтении задается уровень согласованности реплик.

Когда клиент отправляет запрос, координатор определяет ноды где лежат реплики и запрашивает данные и время последнего обновления. Если пришло количество реплик с одинаковым временем обновления равное уровню консистентности - то это последняя версия успешно записанных данных.

Там еще в бэкграунде бегает процесс который сравнивает времена обновлений колонок и значения от неуспешных операций перезаписывает на успешные.

Могут быть неточности - только разбираюсь с этим чудом.
Курсы с деталями - https://academy.datastax.com/courses/ds201-cassandra-core-concepts
...
Рейтинг: 0 / 0
А объясните пожалуйста "3 кита" на которых стоит механизм транзакций в кластерах?
    #39191221
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АстронавтReciprocated,

В кассандре нет мастер ноды. Все ноды одинаковые.
Dml с клиента приходит на одну из нод. Она будет координатором для этого запроса (отвечает за выполнение дмл). В кластере установлен RF (replication factor) - сколько успешных реплик должно быть, чтобы операция считалась успешно завершенной. Скажем -3. Координатор вычисляет по значению главного ключа номер ноды куда пойдет первая реплика, а по заданной стратегии - номера нод для остальных реплик. Координатор отправляет туда данные и время начала операции и ждет 2 успешных ответа ( > 50%). Если пришло меньше 2 ответов - на клиента отправляется ошибка. Данные не откатываются, потому что ...

Правильно - читатель потом разберется. При чтении задается уровень согласованности реплик.

Когда клиент отправляет запрос, координатор определяет ноды где лежат реплики и запрашивает данные и время последнего обновления. Если пришло количество реплик с одинаковым временем обновления равное уровню консистентности - то это последняя версия успешно записанных данных.

Там еще в бэкграунде бегает процесс который сравнивает времена обновлений колонок и значения от неуспешных операций перезаписывает на успешные.

Могут быть неточности - только разбираюсь с этим чудом.
Курсы с деталями - https://academy.datastax.com/courses/ds201-cassandra-core-concepts

Одно из решений у кассандры, но свсем не двухфазная транзакция
...
Рейтинг: 0 / 0
А объясните пожалуйста "3 кита" на которых стоит механизм транзакций в кластерах?
    #39191357
Фотография Станислав Клевцов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АстронавтReciprocated,

В кассандре нет мастер ноды. Все ноды одинаковые.
Dml с клиента приходит на одну из нод. Она будет координатором для этого запроса (отвечает за выполнение дмл). В кластере установлен RF (replication factor) - сколько успешных реплик должно быть, чтобы операция считалась успешно завершенной. Скажем -3. Координатор вычисляет по значению главного ключа номер ноды куда пойдет первая реплика, а по заданной стратегии - номера нод для остальных реплик. Координатор отправляет туда данные и время начала операции и ждет 2 успешных ответа ( > 50%). Если пришло меньше 2 ответов - на клиента отправляется ошибка. Данные не откатываются, потому что ...

Правильно - читатель потом разберется. При чтении задается уровень согласованности реплик.

Когда клиент отправляет запрос, координатор определяет ноды где лежат реплики и запрашивает данные и время последнего обновления. Если пришло количество реплик с одинаковым временем обновления равное уровню консистентности - то это последняя версия успешно записанных данных.

Там еще в бэкграунде бегает процесс который сравнивает времена обновлений колонок и значения от неуспешных операций перезаписывает на успешные.

Могут быть неточности - только разбираюсь с этим чудом.
Курсы с деталями - https://academy.datastax.com/courses/ds201-cassandra-core-concepts

спасибо за наводку на источник !
...
Рейтинг: 0 / 0
А объясните пожалуйста "3 кита" на которых стоит механизм транзакций в кластерах?
    #39210068
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Астронавт на клиента отправляется ошибка. Данные не откатываются, потому что ...

Правильно - читатель потом разберется. При чтении задается уровень согласованности реплик.

а делиты как? версионируются чтоли?? или там нет делитов?
...
Рейтинг: 0 / 0
А объясните пожалуйста "3 кита" на которых стоит механизм транзакций в кластерах?
    #39210069
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ReciprocatedПод кластером я подразумеваю KV-хранилку пошарденную на 10 узлов, например.
Допустим, каждый узел у нас:
- является "мастером" для 1/10 части пространства ключей (имеет право их менять)
- является "репликой" для какой-то части ключей (тупо читая журнал каких-то других нод и вылавливая там то, что реплицируем). Ну, какой-то там коэффициент репликации есть.

Интересует возможная физическая реализация транзакции, затрагивающей изменения ключей, мастером для которых являются разные ноды.
Читать исходники не предлагать, предлагать презенташки-видосики или лучше краткое изложение ключевого механизма на 1 абзац своими словами.

Я понимаю, решений зоопарк (где-то даже свалили всё на клиента). Зоопарк и интересует. Онтология распределённого коммита.
Хотя, вроде как в серьёзных местах он сам по себе считается ересью. Но это мои слухи.
Все так же как при синхронной репликации.
...
Рейтинг: 0 / 0
9 сообщений из 9, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / А объясните пожалуйста "3 кита" на которых стоит механизм транзакций в кластерах?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]