powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / HQbird Enterprise и репликация
25 сообщений из 52, страница 2 из 3
HQbird Enterprise и репликация
    #39336104
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Gallemar,

а она где-нибудь есть? Репликация master-slave предполагает отсутствие конфликтов на уровне данных. Репликация master-master предполагает наличие разных конфликтов, некоторые из которых решаются только вручную. Иначе запись на уровне sql-операторов должна синхронно идти в обе БД. Выигрыш по производительности тут получить нельзя, а значит это дело с успехом заменит синхронная или асинхронная репликация мастер-слейв.
Так что определись терминологически, что ты имеешь в виду. СУБД не может обеспечивать репликацию мастер-мастер на отдельных серверах. Такое решение может быть только программным (триггерным, дублирование потока команд из клиента, и т.д.), о чем я и сказал выше.
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336109
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvТакое решение может быть только программным
А, типа, log shipping у вас делается аппаратно?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336112
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvGallemar,

а она где-нибудь есть?
в PostgreSQL, вернее Postgres-XC http://wiki.postgresql.org/wiki/Postgres-XC
Но пользоваться пока не рекомендуют
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336127
Anonimus111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry SibiryakovПервичный ключ это и есть уникальный номер записи. Другого не существует.

Я имел ввиду что-то наподобие table.RDB$DB_KEY, но нет, это из другой оперы.
Идея такая: у каждой записи должен быть свой id, независимо от того, есть PK или нет, и по нему делать репликацию. Но есть один фатальный недостаток: избыточность. Т.к. как правило все таблицы имеют pk, добавлять еще один на уровне ядра смысла, наверное, нет. Проще добавить недостающие искусственные pk.
В общем, сам на свой вопрос и ответил...
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336192
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Gallemar,

да понятно, что multi-master write-scalable cluster. Но про запись я как раз и говорил
"More than 3× scalability performance speedup with five servers, compared with pure PostgreSQL".
То есть, либо мы берем 5 адски дорогих серверов, и получаем трехкратную адскую производительность,
или мы берем 5 дешевых серверов, и получаем ... производительность как у одного дорогого сервера.
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336290
KreatorXXI
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv,

Получается аналог бэкап-рестор на другом сервере. Только поумнее. В 4.0 планируется такая? Неужели на рынке востребована реплика read-only?
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336298
Filippov Dmitry
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
KreatorXXI,

я вам не скажу за весь рынок, но
такая вещь как сервер отчетов вполне реальная вещь, встречается во множестве видимых мной компаний.
Read only mode вполне устраивает в данном случае.
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336354
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
KreatorXXIПолучается аналог бэкап-рестор на другом сервере. Только поумнее. В 4.0 планируется такая?
это не бэкап-рестор. База копируется на реплику, стартует мастер, затем реплика, после чего с мастера данные передаются в реплику. Это асинхронное. С синхронной репликацией сначала стартует реплика.

Тут уже несколько раз говорили, что эта репликация и будет в 4.0. И якобы уже есть - репликация через nbackup -b guid. В этом случае репликация асинхронная, изменения накатываются через регулярный инкремент.

KreatorXXIНеужели на рынке востребована реплика read-only?
вы не читаете, что я пишу про мастер-мастер. Такую репликацию можно сделать хоть сейчас через IBPhoenix Replicator, триггерно.
Но вы понимаете, как ваши данные будут ходить из одного мастера в другой и обратно? Если же вы хотите чтобы мастеры были вообще синхронными - то для чего вы этого хотите? Как у вас будет происходить параллельное оформление заказов в обоих мастерах?
А... Идентификаторы надо разнести? А как этим будет сам сервер заниматься? Типа, в мастер1 генераторы одни, в мастер2 другие?
И что будет при падении одного из мастеров, как будет продолжаться работа? Каков будет процесс восстановления?
Неточная терминология плюс собственные фантазии (неподкрепленные технологически) приводят к неверному обозначению проблемы, или неверным попыткам решения проблемы.

Сколько я слышу про репликацию, так все хотят чтобы "из всех баз везде чтобы волшебно синхронизировалось". При этом, казалось бы, дофига статей про специфику репликации, конфликты обновлений, и прочее. Может, мне просто повезло, что я эту репликацию мастер-мастер в Lotus Notes увидел еще в 90х? :-)
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336364
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
KreatorXXIНеужели на рынке востребована реплика read-only?
Те, кто не хомячки, понимают ограничение Active-Active кластера по DML и обойти которое
можно только шардингом.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336373
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
KreatorXXIНеужели на рынке востребована реплика read-only?
и еще про это добавлю. На рынке масштабирование производительности отчетов, например, востребовано давно, только все его делают по разному. Кто-то простым бэкап-рестором, кто-то через нбэкап, кто-то через on external, через сервера отчетов, и т.д.
Но больше востребована надежность после сбоя. А read-only реплика этому соответствует, да еще и позволяет масштабирование. И легко превращается в read-write в случае сбоя мастера.
В результате простой сильно сокращается, что и требовалось.
А чего вы хотите от полной репликации мастер-мастер, я не знаю.
Это как в 2008-2009, вдруг внезапно людям захотелось кластер на Firebird. Когда началась разработка, выяснилось, что решение дорогое, и клиенты не особо горят желанием за кластер платить. Соответственно заглохло, по крайней мере на 8 лет.

Я не говорю что мастер-мастер не нужен. Он нужен, вопрос только зачем, и кому.
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336382
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakovи обойти которое можно только шардингом.
А шардинг это не мастер-мастер, а по факту или тэйблспэйс на разных серверах, или партиционирование на разных серверах.
Я может утрирую, но опять же, это вопрос терминологии.
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336408
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvвы не читаете, что я пишу про мастер-мастер. Такую репликацию можно сделать хоть сейчас
через IBPhoenix Replicator, триггерно.

Ой, шо ты к этим триггерам прицепился? Способ реализации CDC абсолютно иррелевантен.
Единственное, что стоит между Диминой репликацией и мультимастером, это процесс apply
через хакерский прямой доступ к христу за пазуху базе, которым он воспользовался
чисто из-за недостатка времени на разработку.

kdvЕсли же вы хотите чтобы мастеры были вообще синхронными - то для чего вы этого хотите?

Ох, Дим, для чего вообще можно хотеть синхронный мультимастер? HA - нифига не выйдет. FT -
совершенно избыточно. Что остаётся? Правильно, LB для тех, кто не может отделить rw
нагрузку от ro.

kdvКак у вас будет происходить параллельное оформление заказов в обоих мастерах?

Вот как раз этот-то случай в синхронном мультимастере не вызывает ни малейших проблем. В
отличии от асинхронного.

kdvИдентификаторы надо разнести? А как этим будет сам сервер заниматься? Типа, в мастер1
генераторы одни, в мастер2 другие? И что будет при падении одного из мастеров, как будет
продолжаться работа?

UUID рулят и бибикают.

kdvКаков будет процесс восстановления?

А вот это - очень и очень интересный вопрос, на который на практике, в общем-то, ни у кого
нет даже сферического ответа. Ибо способов падения уж больно много.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336415
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvИ якобы уже есть - репликация через nbackup -b guidНикаких якобов :)
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336430
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladНикаких якобов :)
Напомни: она позволяет работать с приёмником во время применения дельты?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336484
KreatorXXI
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvНо вы понимаете, как ваши данные будут ходить из одного мастера в другой и обратно? Если же вы хотите чтобы мастеры были вообще синхронными - то для чего вы этого хотите? Как у вас будет происходить параллельное оформление заказов в обоих мастерах?

Меня пугает, когда Вы говорите "невозможно", "ни у кого нет". Мастер-мастер давным-давно реализован. Я сам в начале нулевых пытался сделать репликацию на SQLAnywhere. Теоретически всё просто. Ведутся логи транзакций, синхронизируются логи по времени, потом каскадные форейн ключи и т.д. Как-то так. Давно, правда, это было. Уже не помню. Наверняка наука уже далеко уехала за 15 лет.
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336565
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
KreatorXXI,

я как раз в начале 2000 видел, как люди сами сделали мульти-мастер репликацию на IB - триггеры плюс их софт. Но они это все делали к своей базе. Т.е. база была разработана с учетом репликации. И таких решений - полно. Но чтобы вот прямо master-master на любой базе взял и заработал - я не верю именно в это.

Когда начинаешь тыкать пальцем всякие серверные решения, на поверку оно так и оказывается - там недоделано, тут ограничения, это не работает, и т.д.
https://en.wikipedia.org/wiki/Multi-master_replication

sql anywhere? не вижу. Но да, у него есть SQL Replication, транслируются логи транзакций. PostgreSQL? про него тут уже упоминали.
MySQL? только сегодня специально на хабре нашел описание, там...
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336569
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvНо чтобы вот прямо master-master на любой базе взял и заработал - я не верю именно в это.

А, ну так и говори: "серебряной пули нет", кэп...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336596
Фотография Alexey Kovyazin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть только посеребренные пули, и усилия шайтан-маркетологов "кручу-верчу-реплицирую", которые упорно пользуются неверной терминологией, потому что так вот принято.
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336749
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Filippov DmitryKreatorXXI,

я вам не скажу за весь рынок, но
такая вещь как сервер отчетов вполне реальная вещь, встречается во множестве видимых мной компаний.
Read only mode вполне устраивает в данном случае.
Не скажу за всех, но я часто сталкиваюсь с тем,что приложение хранит в БД ещё и свои настройки и таблицы для работы с интерфейсом, так что read only без исключения отдельных таблиц не пойдет.
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336750
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey KovyazinЕсть только посеребренные пули, и усилия шайтан-маркетологов "кручу-верчу-реплицирую", которые упорно пользуются неверной терминологией, потому что так вот принято.
https://habrahabr.ru/company/oleg-bunin/blog/312494/
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336793
DelphiZ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Anonimus111Dimitry SibiryakovПервичный ключ это и есть уникальный номер записи. Другого не существует.

Я имел ввиду что-то наподобие table.RDB$DB_KEY, но нет, это из другой оперы.
Идея такая: у каждой записи должен быть свой id, независимо от того, есть PK или нет, и по нему делать репликацию. Но есть один фатальный недостаток: избыточность. Т.к. как правило все таблицы имеют pk, добавлять еще один на уровне ядра смысла, наверное, нет. Проще добавить недостающие искусственные pk.
В общем, сам на свой вопрос и ответил...

ага
a rowid у oracle избыточность???
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336794
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DelphiZa rowid у oracle избыточность??? http://google.ru/search?q=oracle+rowid]ROWID Pseudocolumn .
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336962
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
репликация на основе rownum/dbkey сильно ограничена. Во-первых, это завязка на физическое представление данных, т.е. реплику можно создать только файловым копированием, но не gbak-ом. Во-вторых, в мультимастере при активной работе я вообще с трудом представляю, что там будет реплицироваться (один и тот же dbkey в разных базах может быть назначен разным записям).
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39336973
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Gallemar https://habrahabr.ru/company/oleg-bunin/blog/312494/
в основном маркетинговая чешуя и адский трэш про 2PC.
...
Рейтинг: 0 / 0
HQbird Enterprise и репликация
    #39352839
Фотография artemana
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисAnonimus111,

нет не через триггеры. Репликация сделана на уровне ядра.
Хотел уточнить, кто формирует журнал изменений, непосредственно код HQbird? Существует ли способ настроить "обычный" Firebird 2.5 или 3.0 на ведение аналогичного журнала?
...
Рейтинг: 0 / 0
25 сообщений из 52, страница 2 из 3
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / HQbird Enterprise и репликация
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]