|  | 
| 
Механизм обработки очереди | |||
|---|---|---|---|
| #18+ yvprodзабыл ник, я к этому и вел, партиционировать по какому нибудь бизнес-правилу и писать в разные очередипартицирование у нас для бд вроде. А тут при логировании бд вне задачи вообще. И узкое место чел говорит парсер. ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 04.11.2019, 13:04 |  | ||
| 
Механизм обработки очереди | |||
|---|---|---|---|
| #18+ PetroNotC Sharp, mayton  , понял, чуть позже выложу более подробное описание ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 04.11.2019, 13:05 |  | ||
| 
Механизм обработки очереди | |||
|---|---|---|---|
| #18+ PetroNotC Sharp, я другое партционирование имел ввиду, как предложил: fixxerНужно партиционировать входной поток т.е. предложение было копнуть бизнес-логику, посмотреть действительно ли все данные нужны в одном потоке, возможно все таки их можно разделить ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 04.11.2019, 13:40 |  | ||
| 
Механизм обработки очереди | |||
|---|---|---|---|
| #18+ PetroNotC Sharpyvprodзабыл ник, я к этому и вел, партиционировать по какому нибудь бизнес-правилу и писать в разные очередипартицирование у нас для бд вроде. А тут при логировании бд вне задачи вообще. И узкое место чел говорит парсер. Партиционирование БД - это лишь маленькая часть ситуаций, где используется "партиционирование" как стратегия. Это и очереди сообщений а-ля кафка, и бигдата, а-ля спарк и nosql а-ля кассандра. В данном случае имелось ввиду, что при партиционировании, все сообщения попадающие в один партитишен по-дефолту отсортированы в хронологическом порядке, а вот данные в разных партитишенах независимы и могут спокойно быть обработаны в параллель ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 04.11.2019, 13:52 |  | ||
| 
Механизм обработки очереди | |||
|---|---|---|---|
| #18+ положит в стрим ,распаралелить взять обратно ичордером ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 04.11.2019, 22:03 |  | ||
| 
Механизм обработки очереди | |||
|---|---|---|---|
| #18+ забыл ник, Понятно. По теме, тут можно решать без бд, как java программист. И можно с бд, как представляется проще бд специалисту - "пришло, и всё сохраняем". Как их зовут? БД центристы вроде). Там где БД - центр вселенной. ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 05.11.2019, 08:30 |  | ||
| 
Механизм обработки очереди | |||
|---|---|---|---|
| #18+ В общем пока решил проблему уменьшением размера входного пакета, сменил библиотеку для парсинга JSON (почему то предыдущая очень долго парсила, новая в два раза быстрее работает) и изменил механизм инсерта: накапливаю пакет и потом разом инсерчу. По замеру времени затык был именно в этой части. ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 20.11.2019, 17:06 |  | ||
|  | 

| start [/forum/topic.php?fid=59&gotonew=1&tid=2121022]: | 0ms | 
| get settings: | 9ms | 
| get forum list: | 12ms | 
| check forum access: | 3ms | 
| check topic access: | 3ms | 
| track hit: | 48ms | 
| get topic data: | 9ms | 
| get first new msg: | 7ms | 
| get forum data: | 3ms | 
| get page messages: | 51ms | 
| get tp. blocked users: | 1ms | 
| others: | 225ms | 
| total: | 371ms | 

| 0 / 0 | 
