Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Шардинг для бедных / 10 сообщений из 10, страница 1 из 1
07.09.2016, 17:29
    #39305386
xoid
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг для бедных
предположим у нас есть стандартный сервер MySQL который не справляется с нагрузкой. БД 5 Тбайт.
Мы останавливаем его, запускаем там вместо одной десять баз MYSQL (как вариант, для каждой из них VM или Docker)
и дописываем в код приложения шардинг между ними.

Можно ли получить выигрыш в производительности за счет уменьшения размера баз, за счет как бы ещё одного уровня индексирования?
...
Рейтинг: 0 / 0
07.09.2016, 17:36
    #39305394
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг для бедных
Ну можно. А можно и не получить. Конь в вакууме - он ведь не всегда сферический...
...
Рейтинг: 0 / 0
07.09.2016, 17:40
    #39305399
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг для бедных
xoidМожно ли получить выигрыш в производительности за счет уменьшения размера баз, за счет как бы ещё одного уровня индексирования?На том же железе, без его увеличения?
Вряд ли...

И этот "уровень индексирования" сам по себе ничего не даст, его можно заменить с куда меньшими накладными расходами разбиением данных на секции, таблицы, инстансы.
...
Рейтинг: 0 / 0
07.09.2016, 18:20
    #39305431
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг для бедных
xoidпредположим у нас есть стандартный сервер MySQL который не справляется с нагрузкой. БД 5 Тбайт.
Мы останавливаем его, запускаем там вместо одной десять баз MYSQL (как вариант, для каждой из них VM или Docker)
и дописываем в код приложения шардинг между ними.

Можно ли получить выигрыш в производительности за счет уменьшения размера баз, за счет как бы ещё одного уровня индексирования?

А какой у тебя размер баз ?

Сколько записей в каждой из основных таблиц ? (5ти самых важных хватит)
...
Рейтинг: 0 / 0
07.09.2016, 18:24
    #39305433
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг для бедных
xoidМожно ли получить выигрыш в производительности за счет уменьшения размера баз, за счет как бы ещё одного уровня индексирования?

выигрых будет только за счёт разделения ресурсов , затрачиваемых на выполнение запросов.
Раньше было N пользователей на одну машину, теперь будет N/k пользователей на одну машину.
(k = 10).

Если у тебя нехватало ранее ресурсов для выполнения запросов (что в БД приложениях достаточно редко бывает),
то ок, будет улучшение. Если у тебя производительность упиралась в плохие времена выполнения запросов (плохие планы, плохие расклады данных и т.п. => времена выполнения запросов большие), то и после разделения на 10 нод
у тебя будет то же самое, только "работать" будут 10 серверов вместо одного (т.е. в 10 раз дороже).
...
Рейтинг: 0 / 0
07.09.2016, 18:28
    #39305437
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг для бедных
MasterZivу тебя будет то же самое, только "работать" будут 10 серверов вместо одногоСудя по фразе "для каждой из них VM или Docker" топикстартер хочет остаться на одном физическом сервере, разделив БД только виртуально.
...
Рейтинг: 0 / 0
09.09.2016, 17:23
    #39306786
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг для бедных
miksoft,

А смысл? TCP-сокетов к БД нехватает разве что...
Но это тогда клиника, уже нично не спасёт.
...
Рейтинг: 0 / 0
11.09.2016, 12:24
    #39307173
netwind
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг для бедных
MasterZiv, допустим, это можно оправдать попытками достичь параллельного выполнения одного запроса сразу на нескольких ядрах.
Слишком много факторов и тестирование на конкретной нагрузке было бы лучшим способом проверить.
...
Рейтинг: 0 / 0
11.09.2016, 13:02
    #39307177
akalend
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг для бедных
netwind,

я использовал следующий пакет https://github.com/akalend/mysql_shard
базы были по несколько теробайт, разбили на 12 баз, пока использовали два физических сервера,
когда они вырастут, то мы их разнесем на несколько серверов (4 или 6). Принципиально, можно расширить до 12...
Сконфигурировать шардинг можно по разному.
...
Рейтинг: 0 / 0
11.09.2016, 13:46
    #39307186
netwind
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг для бедных
а, ну да , есть еще одно оправдание для педального шардинга :
хостеры предлагают в аренду основном типовые сервера. По два диска по два ГБ.
На нетиповые ценник сильно завышен.
...
Рейтинг: 0 / 0
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Шардинг для бедных / 10 сообщений из 10, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]