Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Как сделать репликацию данных на Mysql в разных ДЦ / 25 сообщений из 37, страница 1 из 2
29.08.2013, 16:43
    #38381404
ОлегН
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
Есть три ДЦ
есть MySQL
в каждую базу пишется данные из локального ДЦ, и локальный ДЦ с ним работает. Но данные в нём должны быть и из других двух.
всего данных около 300ГБ
если падает канал, то локальная БД должна быть доступна, при возобновлении канала данные реплицироваться.

т.е. синхронная репликация нам не подходит. galera не подходит, mmm не подходит

чем можно такое реализовать?

у postressql есть какие-либо решения для такого?
...
Рейтинг: 0 / 0
29.08.2013, 16:58
    #38381441
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
ОлегНвсего данных около 300ГБ
А куда делись оставшиеся 4.7 террабайта?..

У Firebird и Oracle есть средства для этого. Остальные сервера лично я бы вообще не
рассматривал.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
29.08.2013, 17:22
    #38381492
ОлегН
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
Dimitry SibiryakovОлегНвсего данных около 300ГБ
А куда делись оставшиеся 4.7 террабайта?..

У Firebird и Oracle есть средства для этого. Остальные сервера лично я бы вообще не
рассматривал.


как это сделать на Firebird?
как это сделать на oracle ? сколько это будет стоить? нужно EE ?

пока только 0.3ТБ рассматривает
приоритет всё-таки к mysql, postressql

кто-нибудь работал с MySQL Cluster Carrier Grade Edition ? можно на нём такое реализовать?
...
Рейтинг: 0 / 0
29.08.2013, 19:43
    #38381653
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
ОлегНкак это сделать на Firebird?
как это сделать на oracle ? сколько это будет стоить? нужно EE ?
IBPhoenix Replicator для обоих, Golden Gate для Oracle. EE не нужен.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
30.08.2013, 10:04
    #38381993
ОлегН
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
Dimitry SibiryakovОлегНкак это сделать на Firebird?
как это сделать на oracle ? сколько это будет стоить? нужно EE ?
IBPhoenix Replicator для обоих, Golden Gate для Oracle. EE не нужен.

спасибо, посмотрю на них.

А разве Firebird не для небольших проектов?


Хотелось бы ещё услышать, кто делал подобное на mysql или posgre
...
Рейтинг: 0 / 0
30.08.2013, 14:15
    #38382356
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
ОлегНА разве Firebird не для небольших проектов?
Ваш проект и есть небольшой.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
30.08.2013, 15:23
    #38382483
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
ОлегНЕсть три ДЦ
есть MySQL
в каждую базу пишется данные из локального ДЦ, и локальный ДЦ с ним работает. Но данные в нём должны быть и из других двух.
всего данных около 300ГБ
если падает канал, то локальная БД должна быть доступна, при возобновлении канала данные реплицироваться.

т.е. синхронная репликация нам не подходит. galera не подходит, mmm не подходит

чем можно такое реализовать?

у postressql есть какие-либо решения для такого?Продолжаете использовать MySQL и ставить GG от Oracle. Технология опробованная и есть примеры использования именно в таком варианте как у вас. Базу данных Oracle DB EE покупать для этого не надо.
...
Рейтинг: 0 / 0
30.08.2013, 15:51
    #38382542
OYM
OYM
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
ОлегНЕсть три ДЦ
есть MySQL
в каждую базу пишется данные из локального ДЦ, и локальный ДЦ с ним работает. Но данные в нём должны быть и из других двух.
всего данных около 300ГБ
если падает канал, то локальная БД должна быть доступна, при возобновлении канала данные реплицироваться.

т.е. синхронная репликация нам не подходит. galera не подходит, mmm не подходит

чем можно такое реализовать?

у postressql есть какие-либо решения для такого?

MS SQL Server имеет функцию mirroring.
...
Рейтинг: 0 / 0
30.08.2013, 16:04
    #38382556
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
OYMMS SQL Server имеет функцию mirroring.
И она работает в мультимастер режиме?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
30.08.2013, 23:47
    #38383000
lookat
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
ОлегН,

nuodb.com
см. у них на сайте geo-distribution.

Удачи
...
Рейтинг: 0 / 0
31.08.2013, 17:05
    #38383201
pkarklin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
Dimitry SibiryakovИ она работает в мультимастер режиме?..


Peer-to-Peer Transactional Replication подойдет? http://technet.microsoft.com/ru-ru/library/ms151196.aspx

ЗЫ. Правда, боюсь у ТС денег не хватит для этого решения.

ЗЫЗЫ. Странно, как-то, ТС рассуждать о трех датацентрах и искать решение из области наколенных поделок.
...
Рейтинг: 0 / 0
31.08.2013, 18:35
    #38383225
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
pkarklinDimitry SibiryakovИ она работает в мультимастер режиме?..


Peer-to-Peer Transactional Replication подойдет? http://technet.microsoft.com/ru-ru/library/ms151196.aspx Фигня какая-то :)
http://technet.microsoft.com/ru-ru/library/ms151196.aspx Хотя одноранговая репликация позволяет масштабировать операции чтения, производительность операций записи для топологии такая же, как для одного узла.
...
Рейтинг: 0 / 0
31.08.2013, 19:32
    #38383242
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
Alexander RyndinФигня какая-то :)
Это не фигня, это объективная реальность. Просто обычно о ней не упоминают.
На каждый из узлов льются изменения со всех остальных. Если общий поток изменений превысит
входную пропускную способность узла - он захлебнётся.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
31.08.2013, 20:11
    #38383253
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
Dimitry SibiryakovAlexander RyndinФигня какая-то :)
Это не фигня, это объективная реальность. Просто обычно о ней не упоминают.
На каждый из узлов льются изменения со всех остальных. Если общий поток изменений превысит
входную пропускную способность узла - он захлебнётся.
:) Это не всегда так. В GoldenGate есть параметр BATCHSQL, который:
1) делает более крупные транзакции (падает нагрузка на Log Writer)
2) группирует одиночные операции в операции с массивами
...
Рейтинг: 0 / 0
31.08.2013, 20:21
    #38383257
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
Alexander RyndinВ GoldenGate есть параметр BATCHSQL, который:
....повышает плотность потока реплицируемых данных, но не более того.

Если одиночная нода с оптимально написанного приложения способна всосать Х гигабайт в
секунду, то кластер из любого числа таких нод в штатном режиме будет способен всосать всё
те же Х гигабайт в секунду. Дальше он либо ограничит входной поток тормозами, либо из
штатного режима выйдет в надежде, что когда-нибудь в него вернётся после того как входной
поток упадёт. Нет серебряной пули.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
31.08.2013, 20:36
    #38383259
pkarklin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
Alexander Ryndin,

Вы можете привести примеры, баллансирующите операции записи?
...
Рейтинг: 0 / 0
31.08.2013, 20:40
    #38383261
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
Dimitry SibiryakovAlexander RyndinВ GoldenGate есть параметр BATCHSQL, который:
....повышает плотность потока реплицируемых данных, но не более того.

Если одиночная нода с оптимально написанного приложения способна всосать Х гигабайт в
секунду, то кластер из любого числа таких нод в штатном режиме будет способен всосать всё
те же Х гигабайт в секунду. Дальше он либо ограничит входной поток тормозами, либо из
штатного режима выйдет в надежде, что когда-нибудь в него вернётся после того как входной
поток упадёт. Нет серебряной пули.
Серебряной пули не существует, но выполнение пакетных DML вместо одиночных DML повышает пропускную способность сервера для большинства OLTP-приложений. Это факт. Иначе какой смысл в пакетных операциях? :)
Естественно, масштабировать записей репликацией не получится бесконечно.
...
Рейтинг: 0 / 0
31.08.2013, 20:43
    #38383264
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
pkarklinAlexander Ryndin,

Вы можете привести примеры, баллансирующите операции записи?Да. Знаю о случае 16-way репликации в одном большом нероссийском телекоме.
...
Рейтинг: 0 / 0
31.08.2013, 20:44
    #38383265
pkarklin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
Alexander Ryndinпакетных DML вместо одиночных DML повышает пропускную способность сервера

Терминалогию озвучьте в части "пакетных DML".
...
Рейтинг: 0 / 0
31.08.2013, 20:47
    #38383267
pkarklin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
Alexander RyndinДа. Знаю о случае 16-way репликации в одном большом нероссийском телекоме.

Пенсионер на приеме у врача жалуется на снижение потенции.
Врач:- А сколько вам лет?
Пациент:- 72. Ну и что. А вот у меня приятель, ему 74, так вот он говорит ...
Врач:- И вы. И вы говорите.
...
Рейтинг: 0 / 0
31.08.2013, 21:01
    #38383270
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
pkarklinAlexander Ryndinпакетных DML вместо одиночных DML повышает пропускную способность сервера

Терминалогию озвучьте в части "пакетных DML".Вот для Java http://docs.oracle.com/cd/B28359_01/java.111/b31224/oraperf.htm
...
Рейтинг: 0 / 0
31.08.2013, 21:08
    #38383275
pkarklin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
Alexander Ryndin,

Причем здесь Java, если мы говорим о репликации силами СУБД?!

Задача простая. На одной из нод выполнено 10 000 инструкций UPDATE. Упакетируйте их для трансляции на остальные 15 нод.
...
Рейтинг: 0 / 0
31.08.2013, 21:10
    #38383276
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
pkarklinAlexander RyndinДа. Знаю о случае 16-way репликации в одном большом нероссийском телекоме.

Пенсионер на приеме у врача жалуется на снижение потенции.
Врач:- А сколько вам лет?
Пациент:- 72. Ну и что. А вот у меня приятель, ему 74, так вот он говорит ...
Врач:- И вы. И вы говорите.Хаха.Смешно.
Вот еще пример с 4-way репликацией. . Кстати, для MSSQL. С целью отказоустойчивости и масштабируемости.
...
Рейтинг: 0 / 0
31.08.2013, 21:13
    #38383278
pkarklin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
Alexander Ryndin,

А можно попросить маркетинговый булшит здесь больше не постить?! Из "опыта работы" пример "под рукой" есть?
...
Рейтинг: 0 / 0
31.08.2013, 21:18
    #38383280
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как сделать репликацию данных на Mysql в разных ДЦ
pkarklinAlexander Ryndin,

Причем здесь Java, если мы говорим о репликации силами СУБД?!

Задача простая. На одной из нод выполнено 10 000 инструкций UPDATE. Упакетируйте их для трансляции на остальные 15 нод.Ссылку на Java я приведел исключительно для целей "Терминалогию озвучьте в части "пакетных DML".
И вы все-таки почитайте ссылку про Java, а то получается "не читал, но осуждаю".

Ну и да, что касается GoldenGate, то читайте вот здесь на странице 129 о параметре BATCHSQL.
...
Рейтинг: 0 / 0
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Как сделать репликацию данных на Mysql в разных ДЦ / 25 сообщений из 37, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]