powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Посоветуйте подходы и литературу по массовой обработке данных.
4 сообщений из 4, страница 1 из 1
Посоветуйте подходы и литературу по массовой обработке данных.
    #39701833
feomatr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день!

Есть некоторая задача по обработке данных.
В качестве хранилища данных выступает реляционная бд(oracle).
В качестве обработчиков выступает N экземпляров java приложения.
Каждый обработчик умеет вычитывать данные из бд и с помощью бизнес логики изменять и обновлять.
Каждый из обработчиков должен каким-то образом получать свою пачку записей из бд, не пересекающую с данными, полученными другими обработчиками и обрабатывать эти данные.
То есть каждый из них вычитывает свой набор строк из таблицы и обновляет эти строки.

Зачем : снизить нагрузку с севера бд.
Что важно: попытаться сохранить производительность, обеспечиваемую сервером бд.

Интересует опыт построения такого рода систем да и вообще какие подходы, книги есть по массовой обработке данных, их плюсы и минусы, best practices.

Заранее спасибо.
...
Рейтинг: 0 / 0
Посоветуйте подходы и литературу по массовой обработке данных.
    #39702075
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
feomatrКаждый из обработчиков должен каким-то образом получать свою пачку записей из бд, не пересекающую с данными, полученными другими обработчиками и обрабатывать эти данные.
...
Зачем : снизить нагрузку с севера бд.
Что важно: попытаться сохранить производительность, обеспечиваемую сервером бд.
Вы предложили решение до того, как познакомились с ожидаемыми best practices и т.д. Ну и сели в лужу.
feomatr Интересует опыт построения такого рода систем да и вообще какие подходы, книги есть по массовой обработке данных, их плюсы и минусы, best practices.
Best practices здесь простые - понимать, что вы делаете. Вы - не понимаете (видно по предложенному решению).

Вообще сложная обработка это (на привычно вам языке) английское словосочетание про искусство в применении к техническим задачам. Искусство, говорят, так особо и не формализовали, так что best practices здесь наверное найти можно, но вот качество оных обычно вызывает сомнения.

Для понимания вашей проблемы попробуйте рассказать, каким же образом ваши обработчики снизят нагрузку на БД? И что такое "сохранить производительность"?
...
Рейтинг: 0 / 0
Посоветуйте подходы и литературу по массовой обработке данных.
    #39702323
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
feomatrЗачем : снизить нагрузку с севера бд.
А какова сейчас нагрузка на север бд? Какую долю из этой нагрузки составляет "задача обработки данных" (в её серверной реализации)? Какова эта реализация? Какие у неё резервы оптимизации? Какие дополнительные данные требуются в ходе обработки? Какой профиль нагрузки в этой обработке? Во что она упирается на севере бд? И т. д. и т. п.
...
Рейтинг: 0 / 0
Посоветуйте подходы и литературу по массовой обработке данных.
    #39715317
L1G
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
книга с кабанчиком (Клеппман, Мартин. Высоконагруженные приложения. Программирование, масштабирование, поддержка)
есть пдф на рутрекере
...
Рейтинг: 0 / 0
4 сообщений из 4, страница 1 из 1
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Посоветуйте подходы и литературу по массовой обработке данных.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]