|
Посоветуйте подходы и литературу по массовой обработке данных.
|
|||
---|---|---|---|
#18+
Добрый день! Есть некоторая задача по обработке данных. В качестве хранилища данных выступает реляционная бд(oracle). В качестве обработчиков выступает N экземпляров java приложения. Каждый обработчик умеет вычитывать данные из бд и с помощью бизнес логики изменять и обновлять. Каждый из обработчиков должен каким-то образом получать свою пачку записей из бд, не пересекающую с данными, полученными другими обработчиками и обрабатывать эти данные. То есть каждый из них вычитывает свой набор строк из таблицы и обновляет эти строки. Зачем : снизить нагрузку с севера бд. Что важно: попытаться сохранить производительность, обеспечиваемую сервером бд. Интересует опыт построения такого рода систем да и вообще какие подходы, книги есть по массовой обработке данных, их плюсы и минусы, best practices. Заранее спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.09.2018, 08:48 |
|
Посоветуйте подходы и литературу по массовой обработке данных.
|
|||
---|---|---|---|
#18+
feomatrКаждый из обработчиков должен каким-то образом получать свою пачку записей из бд, не пересекающую с данными, полученными другими обработчиками и обрабатывать эти данные. ... Зачем : снизить нагрузку с севера бд. Что важно: попытаться сохранить производительность, обеспечиваемую сервером бд. Вы предложили решение до того, как познакомились с ожидаемыми best practices и т.д. Ну и сели в лужу. feomatr Интересует опыт построения такого рода систем да и вообще какие подходы, книги есть по массовой обработке данных, их плюсы и минусы, best practices. Best practices здесь простые - понимать, что вы делаете. Вы - не понимаете (видно по предложенному решению). Вообще сложная обработка это (на привычно вам языке) английское словосочетание про искусство в применении к техническим задачам. Искусство, говорят, так особо и не формализовали, так что best practices здесь наверное найти можно, но вот качество оных обычно вызывает сомнения. Для понимания вашей проблемы попробуйте рассказать, каким же образом ваши обработчики снизят нагрузку на БД? И что такое "сохранить производительность"? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.09.2018, 13:25 |
|
Посоветуйте подходы и литературу по массовой обработке данных.
|
|||
---|---|---|---|
#18+
feomatrЗачем : снизить нагрузку с севера бд. А какова сейчас нагрузка на север бд? Какую долю из этой нагрузки составляет "задача обработки данных" (в её серверной реализации)? Какова эта реализация? Какие у неё резервы оптимизации? Какие дополнительные данные требуются в ходе обработки? Какой профиль нагрузки в этой обработке? Во что она упирается на севере бд? И т. д. и т. п. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.09.2018, 19:44 |
|
Посоветуйте подходы и литературу по массовой обработке данных.
|
|||
---|---|---|---|
#18+
книга с кабанчиком (Клеппман, Мартин. Высоконагруженные приложения. Программирование, масштабирование, поддержка) есть пдф на рутрекере ... |
|||
:
Нравится:
Не нравится:
|
|||
10.10.2018, 06:30 |
|
|
start [/forum/topic.php?fid=33&tid=1547188]: |
0ms |
get settings: |
8ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
56ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
37ms |
get tp. blocked users: |
1ms |
others: | 343ms |
total: | 477ms |
0 / 0 |