powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / MySQL и 1 млрд записей
17 сообщений из 17, страница 1 из 1
MySQL и 1 млрд записей
    #37972695
Dmitriy Nikolaevich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Доброго врмени суток, коллеги!

Встал вопрос о замене БД. Есть основная таблица(20 полей) в которую идут данные. Не быстро, может быть макс 20-50 в секунду. Записей на данный момент 120млн. Ожидается рост до 1-1,5 млрд. То есть пиковая сумма записей будет на этом уровне, старые будут удаляться каким-то образом, пока не решили. В связи с этим вопрос: стоит ли заморачиваться менять БД на что-то более серьезное, или выдержит? И если менять, то что взять(в финансах не ограничены)?
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37972745
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dmitriy Nikolaevich, а какие у системы задачи? какие запросы идут к базе? какие к ним требования (по времени выполнения, например)?
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37972778
Dmitriy Nikolaevich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
tanglir,

Запросы идут только на выборку по дате, за 1-2 недели в общем случае. Остальное - только вставка. А по требованиям - в принципе, подождать пару секунд клиент вполне может. Запросы идут с сайта, так что это, по идее, не критично.
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37972796
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dmitriy Nikolaevich,

индекс по дате и не заморачиваться. Или купить оракл и не заморачиваться :)
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37972801
Dmitriy Nikolaevich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
tanglir,

То есть для мускула 1,5 миллиарда - вполне по силам?
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37972817
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dmitriy Nikolaevich, да вопрос не в количестве записей, а в запросах, что будут к этим данным идти... хотя "данные за 1-2 недели" это 30-60млн. записей, вроде немало для отдельного запроса...
В общем, пока не будет конкретных требований/запросов/таблиц, единственное, что можно сказать - если есть лишние деньги, купите оракл/мсскл, а если нет, не покупайте .
А хранение полутора миллиардов записей мускль потянет, почему нет?
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37972825
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dmitriy NikolaevichЗапросы идут с сайта, так что это, по идее, не критично.

Да? Обычно наоборот, сайтостроители вопят "любой запрос должен исполняться не дольше 150
миллисекунд, иначе всё пропало"...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37972832
Dmitriy Nikolaevich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
tanglir,

Ну лишних-то нет :) В общем, спасибо за ответы, понял я вас.
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37972835
Dmitriy Nikolaevich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry Sibiryakov,

Ну там не критично. Это просто выборка, отчет.
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37973036
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
сделать секционирование по дате и периодически дровать старые секции.
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37990782
Gallagher
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Насколько часто по базе будут крутиться SQL на фетчинг упомянутых 30 - 50 млн записей за неделю?
Если часто (в параллели) я бы сразу смотрел в сторону возможных увеличений read capacity путём организации read only реплик (возможно каскадных), поддержки партицирования и локально партицированных индексов (чтобы не перестраивать весь индекс при дропе старых партиций). Точнее насколько легко это все достигается на СУБД-кандидате. А если совсем Кепа включать, то стоит вложить в стоимость эксплуатации не только стоимость лицензии, но и стоимость профильного ДБА (или легкость самостоятельного администрирования как противоположный вариант).
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37990798
Gallagher
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Кстати, если планируются только большие range запросы по датам (от пары дней), то возможно индексы и не пригодятся в случае достаточной гранулярности партицирования (партиции на день например или меньше). Другое дело если над всеми этими данными будут крутиться еще какие-нибудь запросы
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37990853
Gallagher
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Касаемо самих данных, вот что еще - при таких объемах скорее всего станет вопрос физического разнесения объектов. Умеет ли мускуль хранить архивные партиции (на медленных дисках) отдельно от активных (на быстром диске)? Умеет ли parallel execution в запросах?

Наконец не стоит забывать про такие аспекты как high avaibility - если простой критичен. У того же оракла есть и серверные (standby, data guard + broker), и клиентские средства (taf) для этого. А у мускуля? Disaster recovery опять таки, как и политика резирвирования часто напрямую следуют (ограничены) доступными средствами самой СУБД.
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37990876
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мда... Сколько всяких умных слов из-за какой-то небольшой таблички...
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37990880
Gallagher
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
20 полей могут быть 20 number(1) а могут быть varchar2(max)
или тут писькоcount(1)-мер детектед? :)
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37990902
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Gallagher20 полей могут быть 20 number(1) а могут быть varchar2(max)

Вы себе этот вопрос задайте. Перед тем, как приводить каки-либо выкладки.
...
Рейтинг: 0 / 0
MySQL и 1 млрд записей
    #37990933
Gallagher
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
pkarklin, без обид
Я лишь хотел показать, что вопрос выбора субд это не только "сдюжит или не сдюжит 1,5 млрд записей", это еще и некоторые другие аспекты.
...
Рейтинг: 0 / 0
17 сообщений из 17, страница 1 из 1
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / MySQL и 1 млрд записей
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]