|
|
|
Что сейчас модно на вырост?
|
|||
|---|---|---|---|
|
#18+
Имеется простой мастер-слейв. Весело растет нагрузка. Иногда падают серверы (блин, вчерась упал). Прокоментируйте, пожалуйста, варинаты на вырост: 1. Мастер-слейв. перекинуть на слейв часть чтения Это самое легкое но не решает проблему стабильности. 2. мастер-мастер. Как оно? пишут что плохо если разойдутся данные -- трудно синхронизировать. 3. Кластер от Оракла -- пишут что все будет солидно и красиво. Хотят десяткИ килодолларов в год. 4. есть ли другие бесплатные или недорогие кластерные решения? 5. Перкона вроде имеет какойто НДБ Кластер но сами пишут что это не для обшего пользования. Сапсибо заранее за на водки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2013, 07:15:07 |
|
||
|
Что сейчас модно на вырост?
|
|||
|---|---|---|---|
|
#18+
javajdbc, если "растет нагрузка" по чтению, то перекинуть всё чтение на слейв - вполне решение. При дальнейшем росте - увеличиваем кол-во слейвов и распределяем "чтение" между ними. если растет "запись" ... наверное Оракл. И десятки килобаксов - того стоят. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2013, 07:42:40 |
|
||
|
Что сейчас модно на вырост?
|
|||
|---|---|---|---|
|
#18+
В моей практике в большинстве случаев проблемы решаются прицельным расширением железа либо устранением проблем с существующим железом. Сейчас же есть SSD, а уж процессора завсегда mysql хватает кроме случаев с агрегацией. Так что утверждать "мы это используем многие годы и все работает ", наверное, просто некому, за исключением простых конфигураций или поехавших на надежности индивидуалов. Конфигурацию с обычной репликацией многие используют хотя бы для сохранности данных. javajdbcИмеется простой мастер-слейв. Весело растет нагрузка. Иногда падают серверы (блин, вчерась упал). Упал? Под стол? Ну вы то куда ? Всегда есть более точные формулировки. 1. Мастер-слейв. перекинуть на слейв часть чтения Это самое легкое но не решает проблему стабильности. Зато надежно и точно нет таких ситуаций, которые привели бы к расхождению данных. В master-master по-моему все-таки есть. 2. мастер-мастер. Как оно? пишут что плохо если разойдутся данные -- трудно синхронизировать. Оно как в документации - если делать странные запросы типа select max(id)+1 , то получится расхождение данных. Синхронизировать проблемы никакой нет. Просто нужно весь объем данных перелить. 3. Кластер от Оракла -- пишут что все будет солидно и красиво. Хотят десяткИ килодолларов в год. Видимо, речь про continuent. совсем редкое решение. наверное, для золотых партнеров золотого оракла. автор4. есть ли другие бесплатные или недорогие кластерные решения? Забыли классический NDB. Как видно из описания, работает не для всех. Памяти требует много. Но оно довольно старое и проверенное. Еще есть tungsten replicator - приложение на яве. автор5. Перкона вроде имеет какойто НДБ Кластер но сами пишут что это не для обшего пользования. Правильно пишут - это тот же самый NDB. Percona любят некую galera replication в собственной обертке и преподносят как Xtradb Cluster. Выглядит круто. Почему вы ее не нашли ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2013, 12:44:01 |
|
||
|
Что сейчас модно на вырост?
|
|||
|---|---|---|---|
|
#18+
авторИногда падают серверы (блин, вчерась упал). можно купить взрослый сервер со взрослым Юниксом. IBM с Parallel Sysplex переживает даже взрыв одного из датацентров. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2013, 14:36:42 |
|
||
|
Что сейчас модно на вырост?
|
|||
|---|---|---|---|
|
#18+
Arhat109javajdbc, если "растет нагрузка" по чтению, то перекинуть всё чтение на слейв - вполне решение. При дальнейшем росте - увеличиваем кол-во слейвов и распределяем "чтение" между ними. если растет "запись" ... наверное Оракл. И десятки килобаксов - того стоят. пока наш стартап на вышел на черное, десятки килобаксов за одну ноду в год как-то не смотрятся... Конечно хочется "всего и шоб красиво"... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2013, 22:15:30 |
|
||
|
Что сейчас модно на вырост?
|
|||
|---|---|---|---|
|
#18+
netwind, Спасибо за коментарии: Сервер но то чтоб упал. Мы запросили удвоить память. датацентр сказал Ок, потушили сервер, добавили в конфигурации памяти и он во сне умер -- второй день лучшие специалисты сего милого заведения (щоб они были здоровы!) не могу его оживить. Оракловский кластер: http://www.mysql.com/products/cluster/ Я Ораклю доверяю, очевидно продукт нормальный, но 10К за ноду в год... может через годик и дорастем. на Галеру посмотрю, спасибо за на водку. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2013, 22:21:57 |
|
||
|
Что сейчас модно на вырост?
|
|||
|---|---|---|---|
|
#18+
ScareCrowавторИногда падают серверы (блин, вчерась упал). можно купить взрослый сервер со взрослым Юниксом. IBM с Parallel Sysplex переживает даже взрыв одного из датацентров. да-да, блейды, рейды, реданданси, оптоволокна..... видел такой ОРКЛ на предыдушей работе ... где-то 2М$ в первый год . Я бы не возразил... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2013, 22:26:52 |
|
||
|
Что сейчас модно на вырост?
|
|||
|---|---|---|---|
|
#18+
Оракловский кластер: http://www.mysql.com/products/cluster/ Я Ораклю доверяю, очевидно продукт нормальный, но 10К за ноду в год... может через годик и дорастем. Так это ж все тот же NDB от Mysql под новым названием. Это можно и просто так поставить да изучить. oracle.comNoSQL APIs. Молодцы, назвали примитивное NDB Api как NoSQL. Чуваки в тренде. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2013, 22:37:26 |
|
||
|
Что сейчас модно на вырост?
|
|||
|---|---|---|---|
|
#18+
Я Ораклю доверяю, очевидно продукт нормальный, но спорный вопрос, кстати. Вот вы пытаетесь доверять, а там ведь почти что ничего от Оракла нет. Все преимущества и проблемы от NDB. стандартные проблемы для NDB : - не всегда работающий condition pushdown, из-за чего быстро работающие запросы в обычной конфигурации начнут между нодами в гонять трафик и тормозить. Т.е. при программировании нужно это держать в уме, а зачастую все происходит наоборот : сначала программируем, а потом пытаемся масштабировать. - нужно достаточно памяти чтобы влезли все индексы. такая вот архитектура. Раньше еще хуже было - требовалось что просто данные в памяти были. скачать бесплатно без смс http://dev.mysql.com/downloads/cluster/#downloads ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2013, 22:53:36 |
|
||
|
Что сейчас модно на вырост?
|
|||
|---|---|---|---|
|
#18+
netwind, OK, интересно , спасибо! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2013, 23:44:52 |
|
||
|
Что сейчас модно на вырост?
|
|||
|---|---|---|---|
|
#18+
javajdbcИмеется простой мастер-слейв. Весело растет нагрузка. Ключевой вопрос - какая нагрузка растет. Чтение - это одна разница, а запись - другая. Поэтому, прежде чем куда-то бежать, собираете slow log со временем long_query_time=0, анализируете с помощью pt-query-digest, и делаете выводы. javajdbc1. Мастер-слейв. перекинуть на слейв часть чтения Это самое легкое но не решает проблему стабильности. Для масштабирования чтения - самое стабильное решение. Репликации уже сто лет в обед, странно, что Вы называете это нестабильным решением. javajdbc2. мастер-мастер. Как оно? пишут что плохо если разойдутся данные -- трудно синхронизировать. Для масштабирования записи это не годится. Для чтения - ничем не отличается от №1. javajdbc4. есть ли другие бесплатные или недорогие кластерные решения? 5. Перкона вроде имеет какойто НДБ Кластер но сами пишут что это не для обшего пользования. Percona XtraDB Cluster не решает задачу масштабирования записи по определению. Итого. Для масштабирования чтения - read_only реплики. Для масштабирования записи: * Больше RAM (i.e. InnoDB buffer pool) * SSD * Sharding ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.01.2014, 04:21:38 |
|
||
|
Что сейчас модно на вырост?
|
|||
|---|---|---|---|
|
#18+
>> Ключевой вопрос - какая нагрузка растет. весь спектр: финансовая контора, сейлсы, заявки, анализ документов, загрузка и анализ кредитных историй в реальном маштабе времени, ежедневные банковские батчи, полсоти репортов, регулярные KPI дашборды >> Поэтому, прежде чем куда-то бежать, собираете slow log со временем long_query_time=0, анализируете с помощью pt-query-digest, и делаете выводы. Спасибо за наводку на pt-query-digest. Собствено, примерно так и делается: появился хороший монитор/онлайн дашборд от нашего провайдера, выдается нагрузка на веб сервера, на базу, медленые квери видны через 3 минуты в прямой подвязке к апликационному коду который это все сделал. После некоторых релизов просто полдня проходилось ловить грубые запросы и оптимизировать налету. Причем иногда тормоза связаны с N+1 проблемой выдачи информации на экран, т.е. надо чинить апликацию тоже. В результате жалобы на тормоза просто прекратились, хотя нагрузка продолжает весело расти >> Для масштабирования чтения - самое стабильное решение. >> Репликации уже сто лет в обед, странно, что Вы называете это нестабильным решением. Я имел ввиду 4то мастер все равно один. Раз 3 месяца у провайдера кто-то "наступает на шнур" и мы идем курить на минут 20-30 javajdbc2. мастер-мастер. Как оно? пишут что плохо если разойдутся данные -- трудно синхронизировать. >> Для масштабирования записи это не годится. Для чтения - ничем не отличается от №1. ок, понятно javajdbc4. есть ли другие бесплатные или недорогие кластерные решения? 5. Перкона вроде имеет какойто НДБ Кластер но сами пишут что это не для обшего пользования. >> Percona XtraDB Cluster не решает задачу масштабирования записи по определению. >> Итого. >> Для масштабирования чтения - read_only реплики. Угу, вот думаю как КПИ-дашбоард на слейв переводить для начала >> Для масштабирования записи: >> * Больше RAM (i.e. InnoDB buffer pool) Угу, хостинг виртуальнуй, опция добавки памяти всегда есть >> * SSD дорого (для нас) пока, но идея хорошая >> Sharding Уж очень данные завязаны друг на друге, что в базе, а в апликационном коде -- вообше макаронная фабрика. ############# Спасибо за советы! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.01.2014, 04:58:03 |
|
||
|
|

start [/forum/topic.php?fid=47&msg=38461158&tid=1835331]: |
0ms |
get settings: |
5ms |
get forum list: |
18ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
49ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
32ms |
get tp. blocked users: |
1ms |
| others: | 199ms |
| total: | 319ms |

| 0 / 0 |
