Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / MySQL и 1 млрд записей / 17 сообщений из 17, страница 1 из 1
26.09.2012, 12:12
    #37972695
Dmitriy Nikolaevich
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
Доброго врмени суток, коллеги!

Встал вопрос о замене БД. Есть основная таблица(20 полей) в которую идут данные. Не быстро, может быть макс 20-50 в секунду. Записей на данный момент 120млн. Ожидается рост до 1-1,5 млрд. То есть пиковая сумма записей будет на этом уровне, старые будут удаляться каким-то образом, пока не решили. В связи с этим вопрос: стоит ли заморачиваться менять БД на что-то более серьезное, или выдержит? И если менять, то что взять(в финансах не ограничены)?
...
Рейтинг: 0 / 0
26.09.2012, 12:37
    #37972745
tanglir
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
Dmitriy Nikolaevich, а какие у системы задачи? какие запросы идут к базе? какие к ним требования (по времени выполнения, например)?
...
Рейтинг: 0 / 0
26.09.2012, 12:56
    #37972778
Dmitriy Nikolaevich
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
tanglir,

Запросы идут только на выборку по дате, за 1-2 недели в общем случае. Остальное - только вставка. А по требованиям - в принципе, подождать пару секунд клиент вполне может. Запросы идут с сайта, так что это, по идее, не критично.
...
Рейтинг: 0 / 0
26.09.2012, 13:08
    #37972796
tanglir
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
Dmitriy Nikolaevich,

индекс по дате и не заморачиваться. Или купить оракл и не заморачиваться :)
...
Рейтинг: 0 / 0
26.09.2012, 13:10
    #37972801
Dmitriy Nikolaevich
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
tanglir,

То есть для мускула 1,5 миллиарда - вполне по силам?
...
Рейтинг: 0 / 0
26.09.2012, 13:17
    #37972817
tanglir
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
Dmitriy Nikolaevich, да вопрос не в количестве записей, а в запросах, что будут к этим данным идти... хотя "данные за 1-2 недели" это 30-60млн. записей, вроде немало для отдельного запроса...
В общем, пока не будет конкретных требований/запросов/таблиц, единственное, что можно сказать - если есть лишние деньги, купите оракл/мсскл, а если нет, не покупайте .
А хранение полутора миллиардов записей мускль потянет, почему нет?
...
Рейтинг: 0 / 0
26.09.2012, 13:28
    #37972825
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
Dmitriy NikolaevichЗапросы идут с сайта, так что это, по идее, не критично.

Да? Обычно наоборот, сайтостроители вопят "любой запрос должен исполняться не дольше 150
миллисекунд, иначе всё пропало"...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
26.09.2012, 13:32
    #37972832
Dmitriy Nikolaevich
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
tanglir,

Ну лишних-то нет :) В общем, спасибо за ответы, понял я вас.
...
Рейтинг: 0 / 0
26.09.2012, 13:32
    #37972835
Dmitriy Nikolaevich
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
Dimitry Sibiryakov,

Ну там не критично. Это просто выборка, отчет.
...
Рейтинг: 0 / 0
26.09.2012, 15:23
    #37973036
ScareCrow
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
сделать секционирование по дате и периодически дровать старые секции.
...
Рейтинг: 0 / 0
09.10.2012, 22:54
    #37990782
Gallagher
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
Насколько часто по базе будут крутиться SQL на фетчинг упомянутых 30 - 50 млн записей за неделю?
Если часто (в параллели) я бы сразу смотрел в сторону возможных увеличений read capacity путём организации read only реплик (возможно каскадных), поддержки партицирования и локально партицированных индексов (чтобы не перестраивать весь индекс при дропе старых партиций). Точнее насколько легко это все достигается на СУБД-кандидате. А если совсем Кепа включать, то стоит вложить в стоимость эксплуатации не только стоимость лицензии, но и стоимость профильного ДБА (или легкость самостоятельного администрирования как противоположный вариант).
...
Рейтинг: 0 / 0
09.10.2012, 23:07
    #37990798
Gallagher
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
Кстати, если планируются только большие range запросы по датам (от пары дней), то возможно индексы и не пригодятся в случае достаточной гранулярности партицирования (партиции на день например или меньше). Другое дело если над всеми этими данными будут крутиться еще какие-нибудь запросы
...
Рейтинг: 0 / 0
10.10.2012, 00:02
    #37990853
Gallagher
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
Касаемо самих данных, вот что еще - при таких объемах скорее всего станет вопрос физического разнесения объектов. Умеет ли мускуль хранить архивные партиции (на медленных дисках) отдельно от активных (на быстром диске)? Умеет ли parallel execution в запросах?

Наконец не стоит забывать про такие аспекты как high avaibility - если простой критичен. У того же оракла есть и серверные (standby, data guard + broker), и клиентские средства (taf) для этого. А у мускуля? Disaster recovery опять таки, как и политика резирвирования часто напрямую следуют (ограничены) доступными средствами самой СУБД.
...
Рейтинг: 0 / 0
10.10.2012, 00:27
    #37990876
pkarklin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
Мда... Сколько всяких умных слов из-за какой-то небольшой таблички...
...
Рейтинг: 0 / 0
10.10.2012, 00:31
    #37990880
Gallagher
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
20 полей могут быть 20 number(1) а могут быть varchar2(max)
или тут писькоcount(1)-мер детектед? :)
...
Рейтинг: 0 / 0
10.10.2012, 00:45
    #37990902
pkarklin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
Gallagher20 полей могут быть 20 number(1) а могут быть varchar2(max)

Вы себе этот вопрос задайте. Перед тем, как приводить каки-либо выкладки.
...
Рейтинг: 0 / 0
10.10.2012, 01:18
    #37990933
Gallagher
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и 1 млрд записей
pkarklin, без обид
Я лишь хотел показать, что вопрос выбора субд это не только "сдюжит или не сдюжит 1,5 млрд записей", это еще и некоторые другие аспекты.
...
Рейтинг: 0 / 0
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / MySQL и 1 млрд записей / 17 сообщений из 17, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]