powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Что сейчас модно на вырост?
12 сообщений из 12, страница 1 из 1
Что сейчас модно на вырост?
    #38459784
Фотография javajdbc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Имеется простой мастер-слейв. Весело растет нагрузка.
Иногда падают серверы (блин, вчерась упал).
Прокоментируйте, пожалуйста, варинаты на вырост:

1. Мастер-слейв. перекинуть на слейв часть чтения
Это самое легкое но не решает проблему стабильности.

2. мастер-мастер. Как оно? пишут что плохо если
разойдутся данные -- трудно синхронизировать.

3. Кластер от Оракла -- пишут что все будет солидно и красиво.
Хотят десяткИ килодолларов в год.

4. есть ли другие бесплатные или недорогие кластерные решения?

5. Перкона вроде имеет какойто НДБ Кластер но сами пишут что
это не для обшего пользования.

Сапсибо заранее за на водки.
...
Рейтинг: 0 / 0
Что сейчас модно на вырост?
    #38459800
Arhat109
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
javajdbc,

если "растет нагрузка" по чтению, то перекинуть всё чтение на слейв - вполне решение. При дальнейшем росте - увеличиваем кол-во слейвов и распределяем "чтение" между ними.

если растет "запись" ... наверное Оракл. И десятки килобаксов - того стоят.
...
Рейтинг: 0 / 0
Что сейчас модно на вырост?
    #38460182
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В моей практике в большинстве случаев проблемы решаются прицельным расширением железа либо устранением проблем с существующим железом. Сейчас же есть SSD, а уж процессора завсегда mysql хватает кроме случаев с агрегацией.
Так что утверждать "мы это используем многие годы и все работает ", наверное, просто некому, за исключением простых конфигураций или поехавших на надежности индивидуалов.
Конфигурацию с обычной репликацией многие используют хотя бы для сохранности данных.

javajdbcИмеется простой мастер-слейв. Весело растет нагрузка.
Иногда падают серверы (блин, вчерась упал).

Упал? Под стол? Ну вы то куда ? Всегда есть более точные формулировки.



1. Мастер-слейв. перекинуть на слейв часть чтения
Это самое легкое но не решает проблему стабильности.

Зато надежно и точно нет таких ситуаций, которые привели бы к расхождению данных.
В master-master по-моему все-таки есть.

2. мастер-мастер. Как оно? пишут что плохо если
разойдутся данные -- трудно синхронизировать.

Оно как в документации - если делать странные запросы типа select max(id)+1 , то получится расхождение данных.
Синхронизировать проблемы никакой нет. Просто нужно весь объем данных перелить.

3. Кластер от Оракла -- пишут что все будет солидно и красиво.
Хотят десяткИ килодолларов в год.

Видимо, речь про continuent. совсем редкое решение. наверное, для золотых партнеров золотого оракла.


автор4. есть ли другие бесплатные или недорогие кластерные решения?
Забыли классический NDB. Как видно из описания, работает не для всех. Памяти требует много.
Но оно довольно старое и проверенное.

Еще есть tungsten replicator - приложение на яве.

автор5. Перкона вроде имеет какойто НДБ Кластер но сами пишут что
это не для обшего пользования.

Правильно пишут - это тот же самый NDB.
Percona любят некую galera replication в собственной обертке и преподносят как Xtradb Cluster. Выглядит круто.
Почему вы ее не нашли ?
...
Рейтинг: 0 / 0
Что сейчас модно на вырост?
    #38460432
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторИногда падают серверы (блин, вчерась упал).
можно купить взрослый сервер со взрослым Юниксом. IBM с Parallel Sysplex переживает даже взрыв одного из датацентров.
...
Рейтинг: 0 / 0
Что сейчас модно на вырост?
    #38461144
Фотография javajdbc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Arhat109javajdbc,

если "растет нагрузка" по чтению, то перекинуть всё чтение на слейв - вполне решение. При дальнейшем росте - увеличиваем кол-во слейвов и распределяем "чтение" между ними.

если растет "запись" ... наверное Оракл. И десятки килобаксов - того стоят.

пока наш стартап на вышел на черное, десятки килобаксов
за одну ноду в год как-то не смотрятся...
Конечно хочется "всего и шоб красиво"...
...
Рейтинг: 0 / 0
Что сейчас модно на вырост?
    #38461149
Фотография javajdbc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
netwind,

Спасибо за коментарии:

Сервер но то чтоб упал. Мы запросили удвоить память.
датацентр сказал Ок, потушили сервер, добавили в конфигурации
памяти и он во сне умер -- второй день лучшие специалисты
сего милого заведения (щоб они были здоровы!) не могу его оживить.

Оракловский кластер:
http://www.mysql.com/products/cluster/
Я Ораклю доверяю, очевидно продукт нормальный, но
10К за ноду в год... может через годик и дорастем.

на Галеру посмотрю, спасибо за на водку.
...
Рейтинг: 0 / 0
Что сейчас модно на вырост?
    #38461158
Фотография javajdbc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ScareCrowавторИногда падают серверы (блин, вчерась упал).
можно купить взрослый сервер со взрослым Юниксом. IBM с Parallel Sysplex переживает даже взрыв одного из датацентров.

да-да, блейды, рейды, реданданси, оптоволокна..... видел такой
ОРКЛ на предыдушей работе ... где-то 2М$ в первый год .
Я бы не возразил...
...
Рейтинг: 0 / 0
Что сейчас модно на вырост?
    #38461163
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Оракловский кластер:
http://www.mysql.com/products/cluster/
Я Ораклю доверяю, очевидно продукт нормальный, но
10К за ноду в год... может через годик и дорастем.

Так это ж все тот же NDB от Mysql под новым названием. Это можно и просто так поставить да изучить.


oracle.comNoSQL APIs.
Молодцы, назвали примитивное NDB Api как NoSQL. Чуваки в тренде.
...
Рейтинг: 0 / 0
Что сейчас модно на вырост?
    #38461174
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я Ораклю доверяю, очевидно продукт нормальный, но

спорный вопрос, кстати. Вот вы пытаетесь доверять, а там ведь почти что ничего от Оракла нет. Все преимущества и проблемы от NDB.

стандартные проблемы для NDB :
- не всегда работающий condition pushdown, из-за чего быстро работающие запросы в обычной конфигурации начнут между нодами в гонять трафик и тормозить. Т.е. при программировании нужно это держать в уме, а зачастую все происходит наоборот : сначала программируем, а потом пытаемся масштабировать.
- нужно достаточно памяти чтобы влезли все индексы. такая вот архитектура. Раньше еще хуже было - требовалось что просто данные в памяти были.

скачать бесплатно без смс http://dev.mysql.com/downloads/cluster/#downloads
...
Рейтинг: 0 / 0
Что сейчас модно на вырост?
    #38461194
Фотография javajdbc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
netwind,

OK, интересно , спасибо!
...
Рейтинг: 0 / 0
Что сейчас модно на вырост?
    #38539887
Aleksandr Kuzminsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
javajdbcИмеется простой мастер-слейв. Весело растет нагрузка.


Ключевой вопрос - какая нагрузка растет.
Чтение - это одна разница, а запись - другая.

Поэтому, прежде чем куда-то бежать, собираете slow log со временем long_query_time=0,
анализируете с помощью pt-query-digest, и делаете выводы.

javajdbc1. Мастер-слейв. перекинуть на слейв часть чтения
Это самое легкое но не решает проблему стабильности.


Для масштабирования чтения - самое стабильное решение.
Репликации уже сто лет в обед, странно, что Вы называете это нестабильным решением.

javajdbc2. мастер-мастер. Как оно? пишут что плохо если
разойдутся данные -- трудно синхронизировать.


Для масштабирования записи это не годится. Для чтения - ничем не отличается от №1.


javajdbc4. есть ли другие бесплатные или недорогие кластерные решения?

5. Перкона вроде имеет какойто НДБ Кластер но сами пишут что
это не для обшего пользования.


Percona XtraDB Cluster не решает задачу масштабирования записи по определению.


Итого.
Для масштабирования чтения - read_only реплики.
Для масштабирования записи:
* Больше RAM (i.e. InnoDB buffer pool)
* SSD
* Sharding
...
Рейтинг: 0 / 0
Что сейчас модно на вырост?
    #38539889
Фотография javajdbc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
>> Ключевой вопрос - какая нагрузка растет.

весь спектр: финансовая контора, сейлсы, заявки,
анализ документов, загрузка и анализ кредитных историй
в реальном маштабе времени, ежедневные банковские батчи,
полсоти репортов, регулярные KPI дашборды

>> Поэтому, прежде чем куда-то бежать, собираете slow log со временем long_query_time=0,
анализируете с помощью pt-query-digest, и делаете выводы.

Спасибо за наводку на pt-query-digest.
Собствено, примерно так и делается:
появился хороший монитор/онлайн дашборд от нашего провайдера,
выдается нагрузка на веб сервера, на базу, медленые квери
видны через 3 минуты в прямой подвязке к апликационному коду
который это все сделал. После некоторых релизов просто полдня проходилось
ловить грубые запросы и оптимизировать налету.
Причем иногда тормоза связаны с N+1 проблемой
выдачи информации на экран, т.е. надо чинить апликацию тоже.

В результате жалобы на тормоза просто прекратились,
хотя нагрузка продолжает весело расти

>> Для масштабирования чтения - самое стабильное решение.
>> Репликации уже сто лет в обед, странно, что Вы называете это нестабильным решением.

Я имел ввиду 4то мастер все равно один. Раз 3 месяца
у провайдера кто-то "наступает на шнур" и мы
идем курить на минут 20-30


javajdbc2. мастер-мастер. Как оно? пишут что плохо если
разойдутся данные -- трудно синхронизировать.


>> Для масштабирования записи это не годится. Для чтения - ничем не отличается от №1.

ок, понятно

javajdbc4. есть ли другие бесплатные или недорогие кластерные решения?

5. Перкона вроде имеет какойто НДБ Кластер но сами пишут что
это не для обшего пользования.


>> Percona XtraDB Cluster не решает задачу масштабирования записи по определению.
>> Итого.
>> Для масштабирования чтения - read_only реплики.

Угу, вот думаю как КПИ-дашбоард на слейв переводить для начала

>> Для масштабирования записи:
>> * Больше RAM (i.e. InnoDB buffer pool)

Угу, хостинг виртуальнуй, опция добавки памяти всегда есть

>> * SSD

дорого (для нас) пока, но идея хорошая

>> Sharding

Уж очень данные завязаны друг на друге, что
в базе, а в апликационном коде -- вообше макаронная фабрика.

#############

Спасибо за советы!
...
Рейтинг: 0 / 0
12 сообщений из 12, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Что сейчас модно на вырост?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]