ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Перенос данных из одной базы в другую посредством Websphere MQ и Message Broker
10 сообщений из 10, страница 1 из 1
Перенос данных из одной базы в другую посредством Websphere MQ и Message Broker
    #36942107
Фотография Vincent Vega
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vincent Vega
Участник
Необходимо "переливать" данные из одной базы в другую, количество записей достаточно большое, пока несколько сот тысяч, в будущем будет около миллиона. Как лучше сделать такой трансфер? Особенность в том, что в конечную базу данные необходимо инсертить через вебсервис. Как мне кажется это не совсем быстро будет. Есть ли у кого-то подобный опыт?
...
Рейтинг: 0 / 0
08.11.2010, 13:15
| Ответить | Цитировать | Написать  
Перенос данных из одной базы в другую посредством Websphere MQ и Message Broker
    #36942245
GVF112GVF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GVF112GVF
Гость
Vincent Vega,

Необходимо "переливать" данные из одной базы в другую, количество записей достаточно большое, пока несколько сот тысяч, в будущем будет около миллиона. Как лучше сделать такой трансфер?

Думаю, что это задача не для MQ/MB. Если "переливать" нужно регулярно,
в этом случае, лучше использовать решение IBM Information Server (ETL) - IBM InfoSphere DataStage !!!

Временное окно для загрузки данных, как правило - узкое место. DataStage, позволяет выполнить процедуру загрузки достаточно быстро.

Особенность в том, что в конечную базу данные необходимо инсертить через вебсервис. Как мне кажется это не совсем быстро будет. Есть ли у кого-то подобный опыт?

Вы можете быстро загружать требуемые данные с помощь ETL (например, пакетные данные - в ночное время), а дополнять их через SOA-сервис или еще как-то (например - DataStage, позволяет использовать WEB-Services, MQ-шлюз, SOA-сервис и т.д.).

Еcли это DB2 9.x - тогда можно написать хранимую процедуру и опубликовать ее ка сервис ... :)

С уважением,
Вадим Головский.
...
Рейтинг: 0 / 0
08.11.2010, 13:48
| Ответить | Цитировать | Написать  
Перенос данных из одной базы в другую посредством Websphere MQ и Message Broker
    #36942301
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Metelitsa
Участник
LOAD command
Если вебсервис позволит передавать, скажем, зазипованные CSV, всё будет хорошо. Но если вы привязаны к XML, то я вам не завидую.
...
Рейтинг: 0 / 0
08.11.2010, 14:04
| Ответить | Цитировать | Написать  
Перенос данных из одной базы в другую посредством Websphere MQ и Message Broker
    #36942553
Фотография Vincent Vega
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vincent Vega
Участник
Забыл уточнить. Базы под Oracle. Дополнительное ПО использовать не получится.
...
Рейтинг: 0 / 0
08.11.2010, 15:04
| Ответить | Цитировать | Написать  
Перенос данных из одной базы в другую посредством Websphere MQ и Message Broker
    #36942596
BRK01
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BRK01
Гость
Могу лишь посоветовать использовать http, а не soap ноды по возможности. Они шустрее будут. Но это зависит от вашего сервиса.
Далее остается лишь настроить XA data source и вперед стандартными методами. Всю логику лучше всего будет запихнуть в одну compute ноду, не использовать спец-ноды для БД. И подумать над тем, как инициировать поток для обработки.
...
Рейтинг: 0 / 0
08.11.2010, 15:14
| Ответить | Цитировать | Написать  
Перенос данных из одной базы в другую посредством Websphere MQ и Message Broker
    #36943010
Фотография Новый Год
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Новый Год
Участник
BRK01Могу лишь посоветовать использовать http, а не soap ноды по возможности. Они шустрее будут. Но это зависит от вашего сервиса.
Далее остается лишь настроить XA data source и вперед стандартными методами. Всю логику лучше всего будет запихнуть в одну compute ноду, не использовать спец-ноды для БД. И подумать над тем, как инициировать поток для обработки.

даа?
а что http это XA - compatble recource manager?
...
Рейтинг: 0 / 0
08.11.2010, 17:09
| Ответить | Цитировать | Написать  
Перенос данных из одной базы в другую посредством Websphere MQ и Message Broker
    #36943021
Фотография Новый Год
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Новый Год
Участник
если базу инсертить через веб сервис, оракле должен быть совершенно обычный, а не XA datasorce
...
Рейтинг: 0 / 0
08.11.2010, 17:13
| Ответить | Цитировать | Написать  
Перенос данных из одной базы в другую посредством Websphere MQ и Message Broker
    #36943072
BRK01
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BRK01
Гость
Новый Год
даа?
а что http это XA - compatble recource manager?

Извиняюсь за сбивчивое изложение.
Нет, http никак не связан с resource manager'ом.
Речь шла уже о потоке в целом без привязки к http-нодам.
...
Рейтинг: 0 / 0
08.11.2010, 17:36
| Ответить | Цитировать | Написать  
Перенос данных из одной базы в другую посредством Websphere MQ и Message Broker
    #36943122
Фотография Vincent Vega
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vincent Vega
Участник
Что такое XA data source? В гугле что то так сразу не нашел...
Веб сервис будет крутится на websphere application serever.
...
Рейтинг: 0 / 0
08.11.2010, 17:55
| Ответить | Цитировать | Написать  
Перенос данных из одной базы в другую посредством Websphere MQ и Message Broker
    #36943149
BRK01
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BRK01
Гость
Vincent VegaЧто такое XA data source? В гугле что то так сразу не нашел...
Веб сервис будет крутится на websphere application serever.

2-х фазная транзакция, в которой принимают участия 2 источника\приемника данных для гарантированной "перекачки" данных =)

Только с веб-сервисами будет немного трудней, придется обрабатывать ответ от сервиса самостоятельно и генерировать ошибку в случае "нехорошего" ответа от веб-сервиса.
Возможно, это как-то проще делается. Давно уже с брокером не работаю :(
...
Рейтинг: 0 / 0
08.11.2010, 18:03
| Ответить | Цитировать | Написать  
10 сообщений из 10, страница 1 из 1
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Перенос данных из одной базы в другую посредством Websphere MQ и Message Broker
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]