|
Механизм обработки очереди
|
|||
---|---|---|---|
#18+
yvprodзабыл ник, я к этому и вел, партиционировать по какому нибудь бизнес-правилу и писать в разные очередипартицирование у нас для бд вроде. А тут при логировании бд вне задачи вообще. И узкое место чел говорит парсер. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.11.2019, 13:04 |
|
Механизм обработки очереди
|
|||
---|---|---|---|
#18+
PetroNotC Sharp, mayton , понял, чуть позже выложу более подробное описание ... |
|||
:
Нравится:
Не нравится:
|
|||
04.11.2019, 13:05 |
|
Механизм обработки очереди
|
|||
---|---|---|---|
#18+
PetroNotC Sharp, я другое партционирование имел ввиду, как предложил: fixxerНужно партиционировать входной поток т.е. предложение было копнуть бизнес-логику, посмотреть действительно ли все данные нужны в одном потоке, возможно все таки их можно разделить ... |
|||
:
Нравится:
Не нравится:
|
|||
04.11.2019, 13:40 |
|
Механизм обработки очереди
|
|||
---|---|---|---|
#18+
PetroNotC Sharpyvprodзабыл ник, я к этому и вел, партиционировать по какому нибудь бизнес-правилу и писать в разные очередипартицирование у нас для бд вроде. А тут при логировании бд вне задачи вообще. И узкое место чел говорит парсер. Партиционирование БД - это лишь маленькая часть ситуаций, где используется "партиционирование" как стратегия. Это и очереди сообщений а-ля кафка, и бигдата, а-ля спарк и nosql а-ля кассандра. В данном случае имелось ввиду, что при партиционировании, все сообщения попадающие в один партитишен по-дефолту отсортированы в хронологическом порядке, а вот данные в разных партитишенах независимы и могут спокойно быть обработаны в параллель ... |
|||
:
Нравится:
Не нравится:
|
|||
04.11.2019, 13:52 |
|
Механизм обработки очереди
|
|||
---|---|---|---|
#18+
положит в стрим ,распаралелить взять обратно ичордером ... |
|||
:
Нравится:
Не нравится:
|
|||
04.11.2019, 22:03 |
|
Механизм обработки очереди
|
|||
---|---|---|---|
#18+
забыл ник, Понятно. По теме, тут можно решать без бд, как java программист. И можно с бд, как представляется проще бд специалисту - "пришло, и всё сохраняем". Как их зовут? БД центристы вроде). Там где БД - центр вселенной. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.11.2019, 08:30 |
|
Механизм обработки очереди
|
|||
---|---|---|---|
#18+
В общем пока решил проблему уменьшением размера входного пакета, сменил библиотеку для парсинга JSON (почему то предыдущая очень долго парсила, новая в два раза быстрее работает) и изменил механизм инсерта: накапливаю пакет и потом разом инсерчу. По замеру времени затык был именно в этой части. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 17:06 |
|
|
start [/forum/topic.php?fid=59&gotonew=1&tid=2121022]: |
0ms |
get settings: |
4ms |
get forum list: |
5ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
39ms |
get topic data: |
6ms |
get first new msg: |
5ms |
get forum data: |
1ms |
get page messages: |
163ms |
get tp. blocked users: |
0ms |
others: | 323ms |
total: | 548ms |
0 / 0 |