powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Как сделать репликацию данных на Mysql в разных ДЦ
37 сообщений из 37, показаны все 2 страниц
Как сделать репликацию данных на Mysql в разных ДЦ
    #38381404
ОлегН
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Есть три ДЦ
есть MySQL
в каждую базу пишется данные из локального ДЦ, и локальный ДЦ с ним работает. Но данные в нём должны быть и из других двух.
всего данных около 300ГБ
если падает канал, то локальная БД должна быть доступна, при возобновлении канала данные реплицироваться.

т.е. синхронная репликация нам не подходит. galera не подходит, mmm не подходит

чем можно такое реализовать?

у postressql есть какие-либо решения для такого?
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38381441
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОлегНвсего данных около 300ГБ
А куда делись оставшиеся 4.7 террабайта?..

У Firebird и Oracle есть средства для этого. Остальные сервера лично я бы вообще не
рассматривал.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38381492
ОлегН
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry SibiryakovОлегНвсего данных около 300ГБ
А куда делись оставшиеся 4.7 террабайта?..

У Firebird и Oracle есть средства для этого. Остальные сервера лично я бы вообще не
рассматривал.


как это сделать на Firebird?
как это сделать на oracle ? сколько это будет стоить? нужно EE ?

пока только 0.3ТБ рассматривает
приоритет всё-таки к mysql, postressql

кто-нибудь работал с MySQL Cluster Carrier Grade Edition ? можно на нём такое реализовать?
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38381653
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОлегНкак это сделать на Firebird?
как это сделать на oracle ? сколько это будет стоить? нужно EE ?
IBPhoenix Replicator для обоих, Golden Gate для Oracle. EE не нужен.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38381993
ОлегН
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry SibiryakovОлегНкак это сделать на Firebird?
как это сделать на oracle ? сколько это будет стоить? нужно EE ?
IBPhoenix Replicator для обоих, Golden Gate для Oracle. EE не нужен.

спасибо, посмотрю на них.

А разве Firebird не для небольших проектов?


Хотелось бы ещё услышать, кто делал подобное на mysql или posgre
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38382356
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОлегНА разве Firebird не для небольших проектов?
Ваш проект и есть небольшой.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38382483
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОлегНЕсть три ДЦ
есть MySQL
в каждую базу пишется данные из локального ДЦ, и локальный ДЦ с ним работает. Но данные в нём должны быть и из других двух.
всего данных около 300ГБ
если падает канал, то локальная БД должна быть доступна, при возобновлении канала данные реплицироваться.

т.е. синхронная репликация нам не подходит. galera не подходит, mmm не подходит

чем можно такое реализовать?

у postressql есть какие-либо решения для такого?Продолжаете использовать MySQL и ставить GG от Oracle. Технология опробованная и есть примеры использования именно в таком варианте как у вас. Базу данных Oracle DB EE покупать для этого не надо.
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38382542
Фотография OYM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОлегНЕсть три ДЦ
есть MySQL
в каждую базу пишется данные из локального ДЦ, и локальный ДЦ с ним работает. Но данные в нём должны быть и из других двух.
всего данных около 300ГБ
если падает канал, то локальная БД должна быть доступна, при возобновлении канала данные реплицироваться.

т.е. синхронная репликация нам не подходит. galera не подходит, mmm не подходит

чем можно такое реализовать?

у postressql есть какие-либо решения для такого?

MS SQL Server имеет функцию mirroring.
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38382556
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
OYMMS SQL Server имеет функцию mirroring.
И она работает в мультимастер режиме?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383000
lookat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ОлегН,

nuodb.com
см. у них на сайте geo-distribution.

Удачи
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383201
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovИ она работает в мультимастер режиме?..


Peer-to-Peer Transactional Replication подойдет? http://technet.microsoft.com/ru-ru/library/ms151196.aspx

ЗЫ. Правда, боюсь у ТС денег не хватит для этого решения.

ЗЫЗЫ. Странно, как-то, ТС рассуждать о трех датацентрах и искать решение из области наколенных поделок.
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383225
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinDimitry SibiryakovИ она работает в мультимастер режиме?..


Peer-to-Peer Transactional Replication подойдет? http://technet.microsoft.com/ru-ru/library/ms151196.aspx Фигня какая-то :)
http://technet.microsoft.com/ru-ru/library/ms151196.aspx Хотя одноранговая репликация позволяет масштабировать операции чтения, производительность операций записи для топологии такая же, как для одного узла.
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383242
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander RyndinФигня какая-то :)
Это не фигня, это объективная реальность. Просто обычно о ней не упоминают.
На каждый из узлов льются изменения со всех остальных. Если общий поток изменений превысит
входную пропускную способность узла - он захлебнётся.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383253
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovAlexander RyndinФигня какая-то :)
Это не фигня, это объективная реальность. Просто обычно о ней не упоминают.
На каждый из узлов льются изменения со всех остальных. Если общий поток изменений превысит
входную пропускную способность узла - он захлебнётся.
:) Это не всегда так. В GoldenGate есть параметр BATCHSQL, который:
1) делает более крупные транзакции (падает нагрузка на Log Writer)
2) группирует одиночные операции в операции с массивами
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383257
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander RyndinВ GoldenGate есть параметр BATCHSQL, который:
....повышает плотность потока реплицируемых данных, но не более того.

Если одиночная нода с оптимально написанного приложения способна всосать Х гигабайт в
секунду, то кластер из любого числа таких нод в штатном режиме будет способен всосать всё
те же Х гигабайт в секунду. Дальше он либо ограничит входной поток тормозами, либо из
штатного режима выйдет в надежде, что когда-нибудь в него вернётся после того как входной
поток упадёт. Нет серебряной пули.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383259
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander Ryndin,

Вы можете привести примеры, баллансирующите операции записи?
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383261
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovAlexander RyndinВ GoldenGate есть параметр BATCHSQL, который:
....повышает плотность потока реплицируемых данных, но не более того.

Если одиночная нода с оптимально написанного приложения способна всосать Х гигабайт в
секунду, то кластер из любого числа таких нод в штатном режиме будет способен всосать всё
те же Х гигабайт в секунду. Дальше он либо ограничит входной поток тормозами, либо из
штатного режима выйдет в надежде, что когда-нибудь в него вернётся после того как входной
поток упадёт. Нет серебряной пули.
Серебряной пули не существует, но выполнение пакетных DML вместо одиночных DML повышает пропускную способность сервера для большинства OLTP-приложений. Это факт. Иначе какой смысл в пакетных операциях? :)
Естественно, масштабировать записей репликацией не получится бесконечно.
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383264
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinAlexander Ryndin,

Вы можете привести примеры, баллансирующите операции записи?Да. Знаю о случае 16-way репликации в одном большом нероссийском телекоме.
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383265
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander Ryndinпакетных DML вместо одиночных DML повышает пропускную способность сервера

Терминалогию озвучьте в части "пакетных DML".
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383267
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander RyndinДа. Знаю о случае 16-way репликации в одном большом нероссийском телекоме.

Пенсионер на приеме у врача жалуется на снижение потенции.
Врач:- А сколько вам лет?
Пациент:- 72. Ну и что. А вот у меня приятель, ему 74, так вот он говорит ...
Врач:- И вы. И вы говорите.
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383270
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinAlexander Ryndinпакетных DML вместо одиночных DML повышает пропускную способность сервера

Терминалогию озвучьте в части "пакетных DML".Вот для Java http://docs.oracle.com/cd/B28359_01/java.111/b31224/oraperf.htm
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383275
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander Ryndin,

Причем здесь Java, если мы говорим о репликации силами СУБД?!

Задача простая. На одной из нод выполнено 10 000 инструкций UPDATE. Упакетируйте их для трансляции на остальные 15 нод.
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383276
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinAlexander RyndinДа. Знаю о случае 16-way репликации в одном большом нероссийском телекоме.

Пенсионер на приеме у врача жалуется на снижение потенции.
Врач:- А сколько вам лет?
Пациент:- 72. Ну и что. А вот у меня приятель, ему 74, так вот он говорит ...
Врач:- И вы. И вы говорите.Хаха.Смешно.
Вот еще пример с 4-way репликацией. . Кстати, для MSSQL. С целью отказоустойчивости и масштабируемости.
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383278
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander Ryndin,

А можно попросить маркетинговый булшит здесь больше не постить?! Из "опыта работы" пример "под рукой" есть?
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383280
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinAlexander Ryndin,

Причем здесь Java, если мы говорим о репликации силами СУБД?!

Задача простая. На одной из нод выполнено 10 000 инструкций UPDATE. Упакетируйте их для трансляции на остальные 15 нод.Ссылку на Java я приведел исключительно для целей "Терминалогию озвучьте в части "пакетных DML".
И вы все-таки почитайте ссылку про Java, а то получается "не читал, но осуждаю".

Ну и да, что касается GoldenGate, то читайте вот здесь на странице 129 о параметре BATCHSQL.
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383282
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinAlexander Ryndin,

А можно попросить маркетинговый булшит здесь больше не постить?! Из "опыта работы" пример "под рукой" есть?Это не маркетинговый булшит. И опыт работы под рукой есть.
Но вы в данном случае ведете себя как воинствующий чайник, т.е. ламер.
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383283
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander RyndinИ вы все-таки почитайте ссылку про Java, а то получается "не читал, но осуждаю".

Чукча не читатель. Пример пакетирования 10 000 инструкий UPDATE всё еще ожидается...
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383284
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander RyndinНо вы в данном случае ведете себя как воинствующий чайник, т.е. ламер.

Держите, пожалуйста, себя в руках, пока от Вас кроме каких-то ссылок на какие-то доки и маркетинговый булшит ничего не последовало. Специально для Вас я могу снять трассу из 10 000 инструкций UPDATE на "публикаторе", а Вы мне ее упакетируете для "подписчиоков". Ок?
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383292
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinAlexander RyndinНо вы в данном случае ведете себя как воинствующий чайник, т.е. ламер.

Держите, пожалуйста, себя в руках, пока от Вас кроме каких-то ссылок на какие-то доки и маркетинговый булшит ничего не последовало. Специально для Вас я могу снять трассу из 10 000 инструкций UPDATE на "публикаторе", а Вы мне ее упакетируете для "подписчиоков". Ок?По поводу ваших трасс - берите GoldenGate, делайте репликацию, включайте параметр BatchSQL и будет вам счастье. Мне больше нечего делать как возиться с вашими трассами.

Пример пакетной операции выглядит вот так (естественно, GoldenGate это делает на OCI и пихает в одну пакетную операцию только однотипные DML, предварительно отсортирторав и сгрупировав их в памяти):
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
String dml = "UPDATE EMPLOYEES SET SALARY = ?"
+" WHERE EMPLOYEE_ID = ?";
pstmt = connection.prepareStatement(dml);
((OraclePreparedStatement)pstmt).setExecuteBatch(UPDATE_COUNT);
for(int i = 0; i < UPDATE_COUNT; ++i)
{
pstmt.setInt(1, generateNumber(MIN_SALARY, MAX_SALARY));
pstmt.setInt(2, generateNumber(min, max));
pstmt.executeUpdate();
completedOp++;
}
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383293
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander Ryndinвыполнение пакетных DML вместо одиночных DML повышает пропускную
способность сервера для большинства OLTP-приложений. Это факт. Иначе какой смысл в
пакетных операциях? :)
Сокращение сетевых round-trip-ов, на которые и тратится большая часть времени в обычном DML-е.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383294
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander RyndinoldenGate это делает на OCI и пихает в одну пакетную операцию только однотипные DML, предварительно отсортирторав и сгрупировав их в памяти

А хто ж ему дал право на такую задержку? На группировку и сортировку? Однотипные? Вот это вот:

авторUPDATE EMPLOYEES SET SALARY = ?"
+" WHERE EMPLOYEE_ID = ?"

Ну никак на пекетную операцию не тянет. А приведенный кусок говнокода - обычный цикл, который приведет к получению на получателе атомарной инструкции UPDATE.

Пакетирование то где?!
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383296
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinА хто ж ему дал право на такую задержку? На группировку и сортировку? Однотипные? Вот это вот:

Ну никак на пекетную операцию не тянет. А приведенный кусок говнокода - обычный цикл, который приведет к получению на получателе атомарной инструкции UPDATE.Мда... когда вы говорили, что чукча не читатель - вы имели в виду себя? Я для вас повторю 3 раза:
Код: java
1.
2.
3.
((OraclePreparedStatement)pstmt).setExecuteBatch(UPDATE_COUNT);
((OraclePreparedStatement)pstmt).setExecuteBatch(UPDATE_COUNT);
((OraclePreparedStatement)pstmt).setExecuteBatch(UPDATE_COUNT);


Право на такую задержку даю я - она не будет более 3-5 секунд. Ни один другой инструмент по репликации даже близко к этой задержке не приближается. В режиме BATCHSQL GoldenGate гарантирует сохранение транзакционной целостности.

Pkarklin, я вам дал достаточно информации для самостоятельного изучения - вам оно все равно не надо, т.к. для вас тут главное развести flame. Я прекращаю дискуссию.
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383299
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovAlexander Ryndinвыполнение пакетных DML вместо одиночных DML повышает пропускную
способность сервера для большинства OLTP-приложений. Это факт. Иначе какой смысл в
пакетных операциях? :)
Сокращение сетевых round-trip-ов, на которые и тратится большая часть времени в обычном DML-е.
:) И это тоже. Есть еще накладные расходы самого сервера.
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383300
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander RyndinPkarklin, я вам дал достаточно информации для самостоятельного изучения - вам оно все равно не надо, т.к. для вас тут главное развести flame. Я прекращаю дискуссию.

Вы далеки от понятия транзакционной репликации. Никаких пакетных операций в приведенном Вами говнокоде нет. Задержки в 3-5 секунд недопустимы, иначе это не стоит всех этих городушек. Вы не сможете ну никак победить физику процесса, хоть Голден, хоть Гейт там будет. Вообщем, пока, Вы не в теме, и дискутировать с Вами, действительно, бесперспективно...
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383305
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinAlexander RyndinPkarklin, я вам дал достаточно информации для самостоятельного изучения - вам оно все равно не надо, т.к. для вас тут главное развести flame. Я прекращаю дискуссию.

Вы далеки от понятия транзакционной репликации. Никаких пакетных операций в приведенном Вами говнокоде нет. Задержки в 3-5 секунд недопустимы, иначе это не стоит всех этих городушек. Вы не сможете ну никак победить физику процесса, хоть Голден, хоть Гейт там будет. Вообщем, пока, Вы не в теме, и дискутировать с Вами, действительно, бесперспективно...Да-да. Все что нарушает вашу идеальную модельку мира вы называете говнокодом и, зажмурившись, считаете не существующим :)
3-5 секунд обычно приемлемы для бизнеса, но это настраиваемая вещь, опускаемая до менее 1 секунды, но тут нужно понимать, что эффективность BATCHSQL будет зависеть от допустимого объема буферизации. :)
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38383380
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Модератор: Коллеги, я настойчиво предлагаю обсуждать сам вопрос а не собеседников
...
Рейтинг: 0 / 0
Как сделать репликацию данных на Mysql в разных ДЦ
    #38385229
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОлегНЕсть три ДЦ
т.е. синхронная репликация нам не подходит. galera не подходит, mmm не подходит

А раскройте почему именно по каждому пункту. Не уверен, что вы правильно понимаете работу этих механизмов.

Например, я вижу, что даже банальнейшая конфигурация репликации "по кругу" реализуемая вообще на любой версии mysql подходит. Конечно, я понимаю, что уже при падении одного линка останавливается весь "круг", но вы ничего про это не написали.

автор кто-нибудь работал с MySQL Cluster Carrier Grade Edition ? можно на нём такое реализовать?
Раз уж вам знакома Galera, то сообщу, что по свойствам это что-то близкое, но при вашем объеме данных вероятно потребуется довольно много RAM. Там все очень специфично.
...
Рейтинг: 0 / 0
37 сообщений из 37, показаны все 2 страниц
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Как сделать репликацию данных на Mysql в разных ДЦ
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]