powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Подскажите БД для 100000 INSERT-ов в секунду
4 сообщений из 29, страница 2 из 2
Подскажите БД для 100000 INSERT-ов в секунду
    #39736082
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Это логи? Многие крупные операторы используют clickhouse для этих задач. Типа, под них и заточена - посмотрите.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Подскажите БД для 100000 INSERT-ов в секунду
    #39736332
Очень лысый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И да, если логи, то есть специализированные движки для работы с ними. Например, тот же splunk, там можно и на табуны csv его натравливать, или на тот же hadoop.
...
Рейтинг: 0 / 0
Подскажите БД для 100000 INSERT-ов в секунду
    #39742297
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Подскажите БД для 100000 INSERT-ов в секунду
    #39742305
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В целом, если эти данные, которые с такой скоростью вставляют в таблицу, здесь и сейчас не нужны, зачем их так быстро вставлять? Можно использовать что-нить типа апач кафки, и играясь размером батча и кол-вом консьюмеров - можете легко подстраиваться под необходимую скорость вставки.

Предположим, мы хотим в 1 секунду обработать 100 000 сообщений. Размер батча делаем, допустим, 10000(на самом деле батч - это размер пакета, так что тут надо будет смотреть и считать), и 10 консьюмеров. Каждый консьюмер делает в одной транзакции вставку из 10 000 сообщений, вы итоге мы получаем не 100 000 сообщений в секунду, а 10 вставок в 1с, с чем справится любая вменяемая бд.


Суть тут:
https://habr.com/company/tinkoff/blog/342892/
...
Рейтинг: 0 / 0
4 сообщений из 29, страница 2 из 2
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Подскажите БД для 100000 INSERT-ов в секунду
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]