|
Действия ...
|
16.05.2017, 21:13
|
|||
|---|---|---|---|
|
|||
Загрузка данных в базу |
|||
|
|
|
16.05.2017, 21:23
|
|||
|---|---|---|---|
|
|||
Загрузка данных в базу |
|||
|
|
|
16.05.2017, 21:36
|
|||
|---|---|---|---|
|
|||
Загрузка данных в базу |
|||
|
|
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
16.05.2017, 20:07
|
|||
|---|---|---|---|
Загрузка данных в базу |
|||
|
#18+
Есть большое приложение, содержащее в себе кучу бизнес логики и есть многочисленные POJO, используемые при загрузке некоторых метаданных из базы. Согласно новым требованиям теперь метаданные будут грузиться путем чтения сообщений из message broker. Как грамотнее загружать данные? 1) загружать данные напрямую в базу, просто читая сообщения 2) преобразовывать сообщения в POJO объекты, а только затем загружать данные в базу Что из этих подходов будет более правильно? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
16.05.2017, 20:35
|
|||
|---|---|---|---|
Загрузка данных в базу |
|||
|
#18+
drcosmo1) загружать данные напрямую в базу, просто читая сообщениятолько загружать пачками (batch insert) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
16.05.2017, 21:13
|
|||
|---|---|---|---|
Загрузка данных в базу |
|||
|
#18+
drcosmoКак грамотнее загружать данные? а эти ниже не сказали? НовыеТребованияСогласно новым требованиям теперь метаданные будут грузиться путем чтения сообщений из message broker. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
16.05.2017, 21:19
|
|||
|---|---|---|---|
Загрузка данных в базу |
|||
|
#18+
а эти ниже не сказали? НовыеТребованияСогласно новым требованиям теперь метаданные будут грузиться путем чтения сообщений из message broker. требования генерятся напрямую от менеджемента со всеми вытекающими ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
16.05.2017, 21:23
|
|||
|---|---|---|---|
Загрузка данных в базу |
|||
|
#18+
drcosmoот менеджемента WebSphere Message Broker - от менеджеров? А архитектор где? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
16.05.2017, 21:36
|
|||
|---|---|---|---|
Загрузка данных в базу |
|||
|
#18+
drcosmo, вы мало описали существующий проект. В общем случае делать концепцию поэтапного рефакторига. - заменить вход на message что требуют, и всё остальное оставить как есть. Т.к. работает и не написано как сейчас загружаются сохраняются в базу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
16.05.2017, 21:37
|
|||
|---|---|---|---|
Загрузка данных в базу |
|||
|
#18+
Оба способа имеют право на жизнь. Обычно если используется ORM, то делают конвертер из одного типа объекта (брокерный объект) в объект персистенции. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
17.05.2017, 07:02
|
|||
|---|---|---|---|
|
|||
Загрузка данных в базу |
|||
|
#18+
drcosmoЕсть большое приложение, содержащее в себе кучу бизнес логики и есть многочисленные POJO, используемые при загрузке некоторых метаданных из базы. Согласно новым требованиям теперь метаданные будут грузиться путем чтения сообщений из message broker. Как грамотнее загружать данные? 1) загружать данные напрямую в базу, просто читая сообщения 2) преобразовывать сообщения в POJO объекты, а только затем загружать данные в базу Что из этих подходов будет более правильно? По большому счету зависит от задачи. А так гибче вариант 2 (но он медленнее) Т.к. если есть вероятность, что данные могут быть "не правильными" То нужно продумать что с ними делать. Во втором варианте, реализовать, что делать при ошибке, проще. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
17.05.2017, 09:06
|
|||
|---|---|---|---|
Загрузка данных в базу |
|||
|
#18+
mad_nazgulА так гибче вариант 2 (но он медленнее) Т.к. если есть вероятность, что данные могут быть "не правильными" То нужно продумать что с ними делать. Во втором варианте, реализовать, что делать при ошибке, проще. Но, также надо помнить, что и триггеры, процедуры и функции в СУБД никто ещё не отменял. И при их использовании для контроля входных данных не придётся ничего переделывать при поступлении очередных "новых требований"... если, конечно, не потребуют заменить саму СУБД :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
17.05.2017, 11:35
|
|||
|---|---|---|---|
Загрузка данных в базу |
|||
|
#18+
задача похожа на стриминг данных либо датафлоу я бы посмотрел сюда или на другие похожие продукты: https://flink.apache.org/index.html https://nifi.apache.org/index.html конкретно по вопросу я бы выбрал 1) загружать данные напрямую в базу, просто читая сообщения хотя надо еще посмотреть на сложность бизнес логики ихмо: лучший выбор это попробать оба варианта, сравнить и опубликовать здесь отчет) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=59&mobile=1&tid=2122921]: |
0ms |
get settings: |
7ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
50ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
31ms |
get tp. blocked users: |
1ms |
| others: | 202ms |
| total: | 319ms |
| 0 / 0 |
