|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Есть три ДЦ есть MySQL в каждую базу пишется данные из локального ДЦ, и локальный ДЦ с ним работает. Но данные в нём должны быть и из других двух. всего данных около 300ГБ если падает канал, то локальная БД должна быть доступна, при возобновлении канала данные реплицироваться. т.е. синхронная репликация нам не подходит. galera не подходит, mmm не подходит чем можно такое реализовать? у postressql есть какие-либо решения для такого? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.08.2013, 16:43 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
ОлегНвсего данных около 300ГБ А куда делись оставшиеся 4.7 террабайта?.. У Firebird и Oracle есть средства для этого. Остальные сервера лично я бы вообще не рассматривал. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
29.08.2013, 16:58 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovОлегНвсего данных около 300ГБ А куда делись оставшиеся 4.7 террабайта?.. У Firebird и Oracle есть средства для этого. Остальные сервера лично я бы вообще не рассматривал. как это сделать на Firebird? как это сделать на oracle ? сколько это будет стоить? нужно EE ? пока только 0.3ТБ рассматривает приоритет всё-таки к mysql, postressql кто-нибудь работал с MySQL Cluster Carrier Grade Edition ? можно на нём такое реализовать? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.08.2013, 17:22 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
ОлегНкак это сделать на Firebird? как это сделать на oracle ? сколько это будет стоить? нужно EE ? IBPhoenix Replicator для обоих, Golden Gate для Oracle. EE не нужен. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
29.08.2013, 19:43 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovОлегНкак это сделать на Firebird? как это сделать на oracle ? сколько это будет стоить? нужно EE ? IBPhoenix Replicator для обоих, Golden Gate для Oracle. EE не нужен. спасибо, посмотрю на них. А разве Firebird не для небольших проектов? Хотелось бы ещё услышать, кто делал подобное на mysql или posgre ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2013, 10:04 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
ОлегНА разве Firebird не для небольших проектов? Ваш проект и есть небольшой. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2013, 14:15 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
ОлегНЕсть три ДЦ есть MySQL в каждую базу пишется данные из локального ДЦ, и локальный ДЦ с ним работает. Но данные в нём должны быть и из других двух. всего данных около 300ГБ если падает канал, то локальная БД должна быть доступна, при возобновлении канала данные реплицироваться. т.е. синхронная репликация нам не подходит. galera не подходит, mmm не подходит чем можно такое реализовать? у postressql есть какие-либо решения для такого?Продолжаете использовать MySQL и ставить GG от Oracle. Технология опробованная и есть примеры использования именно в таком варианте как у вас. Базу данных Oracle DB EE покупать для этого не надо. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2013, 15:23 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
ОлегНЕсть три ДЦ есть MySQL в каждую базу пишется данные из локального ДЦ, и локальный ДЦ с ним работает. Но данные в нём должны быть и из других двух. всего данных около 300ГБ если падает канал, то локальная БД должна быть доступна, при возобновлении канала данные реплицироваться. т.е. синхронная репликация нам не подходит. galera не подходит, mmm не подходит чем можно такое реализовать? у postressql есть какие-либо решения для такого? MS SQL Server имеет функцию mirroring. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2013, 15:51 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
OYMMS SQL Server имеет функцию mirroring. И она работает в мультимастер режиме?.. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2013, 16:04 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
ОлегН, nuodb.com см. у них на сайте geo-distribution. Удачи ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2013, 23:47 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovИ она работает в мультимастер режиме?.. Peer-to-Peer Transactional Replication подойдет? http://technet.microsoft.com/ru-ru/library/ms151196.aspx ЗЫ. Правда, боюсь у ТС денег не хватит для этого решения. ЗЫЗЫ. Странно, как-то, ТС рассуждать о трех датацентрах и искать решение из области наколенных поделок. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 17:05 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
pkarklinDimitry SibiryakovИ она работает в мультимастер режиме?.. Peer-to-Peer Transactional Replication подойдет? http://technet.microsoft.com/ru-ru/library/ms151196.aspx Фигня какая-то :) http://technet.microsoft.com/ru-ru/library/ms151196.aspx Хотя одноранговая репликация позволяет масштабировать операции чтения, производительность операций записи для топологии такая же, как для одного узла. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 18:35 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Alexander RyndinФигня какая-то :) Это не фигня, это объективная реальность. Просто обычно о ней не упоминают. На каждый из узлов льются изменения со всех остальных. Если общий поток изменений превысит входную пропускную способность узла - он захлебнётся. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 19:32 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovAlexander RyndinФигня какая-то :) Это не фигня, это объективная реальность. Просто обычно о ней не упоминают. На каждый из узлов льются изменения со всех остальных. Если общий поток изменений превысит входную пропускную способность узла - он захлебнётся. :) Это не всегда так. В GoldenGate есть параметр BATCHSQL, который: 1) делает более крупные транзакции (падает нагрузка на Log Writer) 2) группирует одиночные операции в операции с массивами ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 20:11 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Alexander RyndinВ GoldenGate есть параметр BATCHSQL, который: ....повышает плотность потока реплицируемых данных, но не более того. Если одиночная нода с оптимально написанного приложения способна всосать Х гигабайт в секунду, то кластер из любого числа таких нод в штатном режиме будет способен всосать всё те же Х гигабайт в секунду. Дальше он либо ограничит входной поток тормозами, либо из штатного режима выйдет в надежде, что когда-нибудь в него вернётся после того как входной поток упадёт. Нет серебряной пули. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 20:21 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Alexander Ryndin, Вы можете привести примеры, баллансирующите операции записи? ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 20:36 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovAlexander RyndinВ GoldenGate есть параметр BATCHSQL, который: ....повышает плотность потока реплицируемых данных, но не более того. Если одиночная нода с оптимально написанного приложения способна всосать Х гигабайт в секунду, то кластер из любого числа таких нод в штатном режиме будет способен всосать всё те же Х гигабайт в секунду. Дальше он либо ограничит входной поток тормозами, либо из штатного режима выйдет в надежде, что когда-нибудь в него вернётся после того как входной поток упадёт. Нет серебряной пули. Серебряной пули не существует, но выполнение пакетных DML вместо одиночных DML повышает пропускную способность сервера для большинства OLTP-приложений. Это факт. Иначе какой смысл в пакетных операциях? :) Естественно, масштабировать записей репликацией не получится бесконечно. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 20:40 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
pkarklinAlexander Ryndin, Вы можете привести примеры, баллансирующите операции записи?Да. Знаю о случае 16-way репликации в одном большом нероссийском телекоме. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 20:43 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Alexander Ryndinпакетных DML вместо одиночных DML повышает пропускную способность сервера Терминалогию озвучьте в части "пакетных DML". ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 20:44 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Alexander RyndinДа. Знаю о случае 16-way репликации в одном большом нероссийском телекоме. Пенсионер на приеме у врача жалуется на снижение потенции. Врач:- А сколько вам лет? Пациент:- 72. Ну и что. А вот у меня приятель, ему 74, так вот он говорит ... Врач:- И вы. И вы говорите. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 20:47 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
pkarklinAlexander Ryndinпакетных DML вместо одиночных DML повышает пропускную способность сервера Терминалогию озвучьте в части "пакетных DML".Вот для Java http://docs.oracle.com/cd/B28359_01/java.111/b31224/oraperf.htm ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 21:01 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Alexander Ryndin, Причем здесь Java, если мы говорим о репликации силами СУБД?! Задача простая. На одной из нод выполнено 10 000 инструкций UPDATE. Упакетируйте их для трансляции на остальные 15 нод. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 21:08 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
pkarklinAlexander RyndinДа. Знаю о случае 16-way репликации в одном большом нероссийском телекоме. Пенсионер на приеме у врача жалуется на снижение потенции. Врач:- А сколько вам лет? Пациент:- 72. Ну и что. А вот у меня приятель, ему 74, так вот он говорит ... Врач:- И вы. И вы говорите.Хаха.Смешно. Вот еще пример с 4-way репликацией. . Кстати, для MSSQL. С целью отказоустойчивости и масштабируемости. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 21:10 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Alexander Ryndin, А можно попросить маркетинговый булшит здесь больше не постить?! Из "опыта работы" пример "под рукой" есть? ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 21:13 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
pkarklinAlexander Ryndin, Причем здесь Java, если мы говорим о репликации силами СУБД?! Задача простая. На одной из нод выполнено 10 000 инструкций UPDATE. Упакетируйте их для трансляции на остальные 15 нод.Ссылку на Java я приведел исключительно для целей "Терминалогию озвучьте в части "пакетных DML". И вы все-таки почитайте ссылку про Java, а то получается "не читал, но осуждаю". Ну и да, что касается GoldenGate, то читайте вот здесь на странице 129 о параметре BATCHSQL. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 21:18 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
pkarklinAlexander Ryndin, А можно попросить маркетинговый булшит здесь больше не постить?! Из "опыта работы" пример "под рукой" есть?Это не маркетинговый булшит. И опыт работы под рукой есть. Но вы в данном случае ведете себя как воинствующий чайник, т.е. ламер. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 21:20 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Alexander RyndinИ вы все-таки почитайте ссылку про Java, а то получается "не читал, но осуждаю". Чукча не читатель. Пример пакетирования 10 000 инструкий UPDATE всё еще ожидается... ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 21:20 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Alexander RyndinНо вы в данном случае ведете себя как воинствующий чайник, т.е. ламер. Держите, пожалуйста, себя в руках, пока от Вас кроме каких-то ссылок на какие-то доки и маркетинговый булшит ничего не последовало. Специально для Вас я могу снять трассу из 10 000 инструкций UPDATE на "публикаторе", а Вы мне ее упакетируете для "подписчиоков". Ок? ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 21:23 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
pkarklinAlexander RyndinНо вы в данном случае ведете себя как воинствующий чайник, т.е. ламер. Держите, пожалуйста, себя в руках, пока от Вас кроме каких-то ссылок на какие-то доки и маркетинговый булшит ничего не последовало. Специально для Вас я могу снять трассу из 10 000 инструкций UPDATE на "публикаторе", а Вы мне ее упакетируете для "подписчиоков". Ок?По поводу ваших трасс - берите GoldenGate, делайте репликацию, включайте параметр BatchSQL и будет вам счастье. Мне больше нечего делать как возиться с вашими трассами. Пример пакетной операции выглядит вот так (естественно, GoldenGate это делает на OCI и пихает в одну пакетную операцию только однотипные DML, предварительно отсортирторав и сгрупировав их в памяти): Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11.
... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 21:37 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Alexander Ryndinвыполнение пакетных DML вместо одиночных DML повышает пропускную способность сервера для большинства OLTP-приложений. Это факт. Иначе какой смысл в пакетных операциях? :) Сокращение сетевых round-trip-ов, на которые и тратится большая часть времени в обычном DML-е. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 21:43 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Alexander RyndinoldenGate это делает на OCI и пихает в одну пакетную операцию только однотипные DML, предварительно отсортирторав и сгрупировав их в памяти А хто ж ему дал право на такую задержку? На группировку и сортировку? Однотипные? Вот это вот: авторUPDATE EMPLOYEES SET SALARY = ?" +" WHERE EMPLOYEE_ID = ?" Ну никак на пекетную операцию не тянет. А приведенный кусок говнокода - обычный цикл, который приведет к получению на получателе атомарной инструкции UPDATE. Пакетирование то где?! ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 21:45 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
pkarklinА хто ж ему дал право на такую задержку? На группировку и сортировку? Однотипные? Вот это вот: Ну никак на пекетную операцию не тянет. А приведенный кусок говнокода - обычный цикл, который приведет к получению на получателе атомарной инструкции UPDATE.Мда... когда вы говорили, что чукча не читатель - вы имели в виду себя? Я для вас повторю 3 раза: Код: java 1. 2. 3.
Право на такую задержку даю я - она не будет более 3-5 секунд. Ни один другой инструмент по репликации даже близко к этой задержке не приближается. В режиме BATCHSQL GoldenGate гарантирует сохранение транзакционной целостности. Pkarklin, я вам дал достаточно информации для самостоятельного изучения - вам оно все равно не надо, т.к. для вас тут главное развести flame. Я прекращаю дискуссию. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 21:53 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovAlexander Ryndinвыполнение пакетных DML вместо одиночных DML повышает пропускную способность сервера для большинства OLTP-приложений. Это факт. Иначе какой смысл в пакетных операциях? :) Сокращение сетевых round-trip-ов, на которые и тратится большая часть времени в обычном DML-е. :) И это тоже. Есть еще накладные расходы самого сервера. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 21:54 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Alexander RyndinPkarklin, я вам дал достаточно информации для самостоятельного изучения - вам оно все равно не надо, т.к. для вас тут главное развести flame. Я прекращаю дискуссию. Вы далеки от понятия транзакционной репликации. Никаких пакетных операций в приведенном Вами говнокоде нет. Задержки в 3-5 секунд недопустимы, иначе это не стоит всех этих городушек. Вы не сможете ну никак победить физику процесса, хоть Голден, хоть Гейт там будет. Вообщем, пока, Вы не в теме, и дискутировать с Вами, действительно, бесперспективно... ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 22:02 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
pkarklinAlexander RyndinPkarklin, я вам дал достаточно информации для самостоятельного изучения - вам оно все равно не надо, т.к. для вас тут главное развести flame. Я прекращаю дискуссию. Вы далеки от понятия транзакционной репликации. Никаких пакетных операций в приведенном Вами говнокоде нет. Задержки в 3-5 секунд недопустимы, иначе это не стоит всех этих городушек. Вы не сможете ну никак победить физику процесса, хоть Голден, хоть Гейт там будет. Вообщем, пока, Вы не в теме, и дискутировать с Вами, действительно, бесперспективно...Да-да. Все что нарушает вашу идеальную модельку мира вы называете говнокодом и, зажмурившись, считаете не существующим :) 3-5 секунд обычно приемлемы для бизнеса, но это настраиваемая вещь, опускаемая до менее 1 секунды, но тут нужно понимать, что эффективность BATCHSQL будет зависеть от допустимого объема буферизации. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2013, 22:17 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
Модератор: Коллеги, я настойчиво предлагаю обсуждать сам вопрос а не собеседников ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2013, 01:57 |
|
Как сделать репликацию данных на Mysql в разных ДЦ
|
|||
---|---|---|---|
#18+
ОлегНЕсть три ДЦ т.е. синхронная репликация нам не подходит. galera не подходит, mmm не подходит А раскройте почему именно по каждому пункту. Не уверен, что вы правильно понимаете работу этих механизмов. Например, я вижу, что даже банальнейшая конфигурация репликации "по кругу" реализуемая вообще на любой версии mysql подходит. Конечно, я понимаю, что уже при падении одного линка останавливается весь "круг", но вы ничего про это не написали. автор кто-нибудь работал с MySQL Cluster Carrier Grade Edition ? можно на нём такое реализовать? Раз уж вам знакома Galera, то сообщу, что по свойствам это что-то близкое, но при вашем объеме данных вероятно потребуется довольно много RAM. Там все очень специфично. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.09.2013, 12:04 |
|
|
start [/forum/topic.php?all=1&fid=35&tid=1552442]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
46ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
64ms |
get tp. blocked users: |
2ms |
others: | 13ms |
total: | 174ms |
0 / 0 |