powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Загрузка данных в базу
10 сообщений из 10, страница 1 из 1
Загрузка данных в базу
    #39454135
drcosmo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть большое приложение, содержащее в себе кучу бизнес логики и есть многочисленные POJO, используемые при загрузке некоторых метаданных из базы.

Согласно новым требованиям теперь метаданные будут грузиться путем чтения сообщений из message broker.

Как грамотнее загружать данные?

1) загружать данные напрямую в базу, просто читая сообщения

2) преобразовывать сообщения в POJO объекты, а только затем загружать данные в базу

Что из этих подходов будет более правильно?
...
Рейтинг: 0 / 0
Загрузка данных в базу
    #39454145
Фотография Usman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
drcosmo1) загружать данные напрямую в базу, просто читая сообщениятолько загружать пачками (batch insert)
...
Рейтинг: 0 / 0
Загрузка данных в базу
    #39454169
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
drcosmoКак грамотнее загружать данные?
а эти ниже не сказали?
НовыеТребованияСогласно новым требованиям теперь метаданные будут грузиться путем чтения сообщений из message broker.
...
Рейтинг: 0 / 0
Загрузка данных в базу
    #39454178
drcosmo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а эти ниже не сказали?
НовыеТребованияСогласно новым требованиям теперь метаданные будут грузиться путем чтения сообщений из message broker.


требования генерятся напрямую от менеджемента со всеми вытекающими
...
Рейтинг: 0 / 0
Загрузка данных в базу
    #39454182
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
drcosmoот менеджемента
WebSphere Message Broker - от менеджеров?
А архитектор где?
...
Рейтинг: 0 / 0
Загрузка данных в базу
    #39454189
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
drcosmo,
вы мало описали существующий проект.
В общем случае делать концепцию поэтапного рефакторига.
- заменить вход на message что требуют, и всё остальное оставить как есть.
Т.к. работает и не написано как сейчас загружаются сохраняются в базу.
...
Рейтинг: 0 / 0
Загрузка данных в базу
    #39454192
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Оба способа имеют право на жизнь.

Обычно если используется ORM, то делают конвертер из одного типа объекта (брокерный объект)
в объект персистенции.
...
Рейтинг: 0 / 0
Загрузка данных в базу
    #39454267
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
drcosmoЕсть большое приложение, содержащее в себе кучу бизнес логики и есть многочисленные POJO, используемые при загрузке некоторых метаданных из базы.

Согласно новым требованиям теперь метаданные будут грузиться путем чтения сообщений из message broker.

Как грамотнее загружать данные?

1) загружать данные напрямую в базу, просто читая сообщения

2) преобразовывать сообщения в POJO объекты, а только затем загружать данные в базу

Что из этих подходов будет более правильно?

По большому счету зависит от задачи.
А так гибче вариант 2 (но он медленнее)
Т.к. если есть вероятность, что данные могут быть "не правильными"
То нужно продумать что с ними делать.
Во втором варианте, реализовать, что делать при ошибке, проще.
...
Рейтинг: 0 / 0
Загрузка данных в базу
    #39454329
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mad_nazgulА так гибче вариант 2 (но он медленнее)
Т.к. если есть вероятность, что данные могут быть "не правильными"
То нужно продумать что с ними делать.
Во втором варианте, реализовать, что делать при ошибке, проще.
Но, также надо помнить, что и триггеры, процедуры и функции в СУБД никто ещё не отменял. И при их использовании для контроля входных данных не придётся ничего переделывать при поступлении очередных "новых требований"... если, конечно, не потребуют заменить саму СУБД :)
...
Рейтинг: 0 / 0
Загрузка данных в базу
    #39454477
Фотография Dmitry.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
задача похожа на стриминг данных либо датафлоу

я бы посмотрел сюда или на другие похожие продукты:

https://flink.apache.org/index.html
https://nifi.apache.org/index.html

конкретно по вопросу я бы выбрал 1) загружать данные напрямую в базу, просто читая сообщения
хотя надо еще посмотреть на сложность бизнес логики
ихмо: лучший выбор это попробать оба варианта, сравнить и опубликовать здесь отчет)
...
Рейтинг: 0 / 0
10 сообщений из 10, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Загрузка данных в базу
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]