Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Подскажите БД для 100000 INSERT-ов в секунду
|
|||
|---|---|---|---|
|
#18+
Это логи? Многие крупные операторы используют clickhouse для этих задач. Типа, под них и заточена - посмотрите. С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.11.2018, 13:19 |
|
||
|
Подскажите БД для 100000 INSERT-ов в секунду
|
|||
|---|---|---|---|
|
#18+
И да, если логи, то есть специализированные движки для работы с ними. Например, тот же splunk, там можно и на табуны csv его натравливать, или на тот же hadoop. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.11.2018, 18:05 |
|
||
|
Подскажите БД для 100000 INSERT-ов в секунду
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2018, 10:48 |
|
||
|
Подскажите БД для 100000 INSERT-ов в секунду
|
|||
|---|---|---|---|
|
#18+
В целом, если эти данные, которые с такой скоростью вставляют в таблицу, здесь и сейчас не нужны, зачем их так быстро вставлять? Можно использовать что-нить типа апач кафки, и играясь размером батча и кол-вом консьюмеров - можете легко подстраиваться под необходимую скорость вставки. Предположим, мы хотим в 1 секунду обработать 100 000 сообщений. Размер батча делаем, допустим, 10000(на самом деле батч - это размер пакета, так что тут надо будет смотреть и считать), и 10 консьюмеров. Каждый консьюмер делает в одной транзакции вставку из 10 000 сообщений, вы итоге мы получаем не 100 000 сообщений в секунду, а 10 вставок в 1с, с чем справится любая вменяемая бд. Суть тут: https://habr.com/company/tinkoff/blog/342892/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2018, 11:17 |
|
||
|
|

start [/forum/topic.php?fid=35&msg=39736082&tid=1552204]: |
0ms |
get settings: |
11ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
28ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
47ms |
get tp. blocked users: |
1ms |
| others: | 14ms |
| total: | 132ms |

| 0 / 0 |
