|
Подскажите БД для 100000 INSERT-ов в секунду
|
|||
---|---|---|---|
#18+
Это логи? Многие крупные операторы используют clickhouse для этих задач. Типа, под них и заточена - посмотрите. С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
21.11.2018, 13:19 |
|
Подскажите БД для 100000 INSERT-ов в секунду
|
|||
---|---|---|---|
#18+
И да, если логи, то есть специализированные движки для работы с ними. Например, тот же splunk, там можно и на табуны csv его натравливать, или на тот же hadoop. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.11.2018, 18:05 |
|
Подскажите БД для 100000 INSERT-ов в секунду
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
04.12.2018, 10:48 |
|
Подскажите БД для 100000 INSERT-ов в секунду
|
|||
---|---|---|---|
#18+
В целом, если эти данные, которые с такой скоростью вставляют в таблицу, здесь и сейчас не нужны, зачем их так быстро вставлять? Можно использовать что-нить типа апач кафки, и играясь размером батча и кол-вом консьюмеров - можете легко подстраиваться под необходимую скорость вставки. Предположим, мы хотим в 1 секунду обработать 100 000 сообщений. Размер батча делаем, допустим, 10000(на самом деле батч - это размер пакета, так что тут надо будет смотреть и считать), и 10 консьюмеров. Каждый консьюмер делает в одной транзакции вставку из 10 000 сообщений, вы итоге мы получаем не 100 000 сообщений в секунду, а 10 вставок в 1с, с чем справится любая вменяемая бд. Суть тут: https://habr.com/company/tinkoff/blog/342892/ ... |
|||
:
Нравится:
Не нравится:
|
|||
04.12.2018, 11:17 |
|
|
start [/forum/topic.php?fid=35&msg=39742305&tid=1552204]: |
0ms |
get settings: |
12ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
32ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
54ms |
get tp. blocked users: |
2ms |
others: | 17ms |
total: | 155ms |
0 / 0 |