powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Map
Форумы / Java [игнор отключен] [закрыт для гостей] / Механизм обработки очереди
7 сообщений из 32, страница 2 из 2
Механизм обработки очереди
    #39884926
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
yvprodзабыл ник,

я к этому и вел, партиционировать по какому нибудь бизнес-правилу и писать в разные очередипартицирование у нас для бд вроде. А тут при логировании бд вне задачи вообще. И узкое место чел говорит парсер.
...
Рейтинг: 0 / 0
Механизм обработки очереди
    #39884927
qi_ip
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PetroNotC Sharp, mayton , понял, чуть позже выложу более подробное описание
...
Рейтинг: 0 / 0
Механизм обработки очереди
    #39884935
yvprod
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PetroNotC Sharp,

я другое партционирование имел ввиду, как предложил:
fixxerНужно партиционировать входной поток

т.е. предложение было копнуть бизнес-логику, посмотреть действительно ли все данные нужны в одном потоке, возможно все таки их можно разделить
...
Рейтинг: 0 / 0
Механизм обработки очереди
    #39884940
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharpyvprodзабыл ник,

я к этому и вел, партиционировать по какому нибудь бизнес-правилу и писать в разные очередипартицирование у нас для бд вроде. А тут при логировании бд вне задачи вообще. И узкое место чел говорит парсер.
Партиционирование БД - это лишь маленькая часть ситуаций, где используется "партиционирование" как стратегия. Это и очереди сообщений а-ля кафка, и бигдата, а-ля спарк и nosql а-ля кассандра.

В данном случае имелось ввиду, что при партиционировании, все сообщения попадающие в один партитишен по-дефолту отсортированы в хронологическом порядке, а вот данные в разных партитишенах независимы и могут спокойно быть обработаны в параллель
...
Рейтинг: 0 / 0
Механизм обработки очереди
    #39885072
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
положит в стрим ,распаралелить взять обратно ичордером
...
Рейтинг: 0 / 0
Механизм обработки очереди
    #39885138
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
забыл ник,
Понятно.
По теме, тут можно решать без бд, как java программист.
И можно с бд, как представляется проще бд специалисту - "пришло, и всё сохраняем".
Как их зовут? БД центристы вроде). Там где БД - центр вселенной.
...
Рейтинг: 0 / 0
Механизм обработки очереди
    #39891861
qi_ip
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
В общем пока решил проблему уменьшением размера входного пакета, сменил библиотеку для парсинга JSON (почему то предыдущая очень долго парсила, новая в два раза быстрее работает) и изменил механизм инсерта: накапливаю пакет и потом разом инсерчу. По замеру времени затык был именно в этой части.
...
Рейтинг: 0 / 0
7 сообщений из 32, страница 2 из 2
Форумы / Java [игнор отключен] [закрыт для гостей] / Механизм обработки очереди
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]