|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
Доброго врмени суток, коллеги! Встал вопрос о замене БД. Есть основная таблица(20 полей) в которую идут данные. Не быстро, может быть макс 20-50 в секунду. Записей на данный момент 120млн. Ожидается рост до 1-1,5 млрд. То есть пиковая сумма записей будет на этом уровне, старые будут удаляться каким-то образом, пока не решили. В связи с этим вопрос: стоит ли заморачиваться менять БД на что-то более серьезное, или выдержит? И если менять, то что взять(в финансах не ограничены)? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2012, 12:12 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
Dmitriy Nikolaevich, а какие у системы задачи? какие запросы идут к базе? какие к ним требования (по времени выполнения, например)? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2012, 12:37 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
tanglir, Запросы идут только на выборку по дате, за 1-2 недели в общем случае. Остальное - только вставка. А по требованиям - в принципе, подождать пару секунд клиент вполне может. Запросы идут с сайта, так что это, по идее, не критично. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2012, 12:56 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
Dmitriy Nikolaevich, индекс по дате и не заморачиваться. Или купить оракл и не заморачиваться :) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2012, 13:08 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
tanglir, То есть для мускула 1,5 миллиарда - вполне по силам? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2012, 13:10 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
Dmitriy Nikolaevich, да вопрос не в количестве записей, а в запросах, что будут к этим данным идти... хотя "данные за 1-2 недели" это 30-60млн. записей, вроде немало для отдельного запроса... В общем, пока не будет конкретных требований/запросов/таблиц, единственное, что можно сказать - если есть лишние деньги, купите оракл/мсскл, а если нет, не покупайте . А хранение полутора миллиардов записей мускль потянет, почему нет? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2012, 13:17 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
Dmitriy NikolaevichЗапросы идут с сайта, так что это, по идее, не критично. Да? Обычно наоборот, сайтостроители вопят "любой запрос должен исполняться не дольше 150 миллисекунд, иначе всё пропало"... Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2012, 13:28 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
tanglir, Ну лишних-то нет :) В общем, спасибо за ответы, понял я вас. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2012, 13:32 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, Ну там не критично. Это просто выборка, отчет. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2012, 13:32 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
сделать секционирование по дате и периодически дровать старые секции. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2012, 15:23 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
Насколько часто по базе будут крутиться SQL на фетчинг упомянутых 30 - 50 млн записей за неделю? Если часто (в параллели) я бы сразу смотрел в сторону возможных увеличений read capacity путём организации read only реплик (возможно каскадных), поддержки партицирования и локально партицированных индексов (чтобы не перестраивать весь индекс при дропе старых партиций). Точнее насколько легко это все достигается на СУБД-кандидате. А если совсем Кепа включать, то стоит вложить в стоимость эксплуатации не только стоимость лицензии, но и стоимость профильного ДБА (или легкость самостоятельного администрирования как противоположный вариант). ... |
|||
:
Нравится:
Не нравится:
|
|||
09.10.2012, 22:54 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
Кстати, если планируются только большие range запросы по датам (от пары дней), то возможно индексы и не пригодятся в случае достаточной гранулярности партицирования (партиции на день например или меньше). Другое дело если над всеми этими данными будут крутиться еще какие-нибудь запросы ... |
|||
:
Нравится:
Не нравится:
|
|||
09.10.2012, 23:07 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
Касаемо самих данных, вот что еще - при таких объемах скорее всего станет вопрос физического разнесения объектов. Умеет ли мускуль хранить архивные партиции (на медленных дисках) отдельно от активных (на быстром диске)? Умеет ли parallel execution в запросах? Наконец не стоит забывать про такие аспекты как high avaibility - если простой критичен. У того же оракла есть и серверные (standby, data guard + broker), и клиентские средства (taf) для этого. А у мускуля? Disaster recovery опять таки, как и политика резирвирования часто напрямую следуют (ограничены) доступными средствами самой СУБД. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.10.2012, 00:02 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
Мда... Сколько всяких умных слов из-за какой-то небольшой таблички... ... |
|||
:
Нравится:
Не нравится:
|
|||
10.10.2012, 00:27 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
20 полей могут быть 20 number(1) а могут быть varchar2(max) или тут писькоcount(1)-мер детектед? :) ... |
|||
:
Нравится:
Не нравится:
|
|||
10.10.2012, 00:31 |
|
MySQL и 1 млрд записей
|
|||
---|---|---|---|
#18+
Gallagher20 полей могут быть 20 number(1) а могут быть varchar2(max) Вы себе этот вопрос задайте. Перед тем, как приводить каки-либо выкладки. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.10.2012, 00:45 |
|
|
start [/forum/topic.php?fid=35&fpage=10&tid=1552517]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
35ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
55ms |
get tp. blocked users: |
2ms |
others: | 246ms |
total: | 386ms |
0 / 0 |