kain111Есть SAP ERP на Oracle. Планируется организовать ХД, как вариант на MSSQL.
Вопрос: какие методы можно использовать для извлечения генерируемых данных в ХД на MSSQL. какие плюсы и минусы и ограничения у каждого из методов. Объем примерно 100к позиций заказов в день на пилот
Перечислю какие я выяснил:
1) Консалтеры предложили использовать SISS. По их словам есть возможность подключения к экстракторам которые использует BW.
2) Сторонний продукт для зеркалирования БД . принцип- считывание лога транзакций и отсылка изменений на сервер получатель. На прошлой работе в немецкой компании была именно такая организация, пощупать которую к сожалению не было возможности. Из бонусов почти онлайн синхронизация.
3) У знакомого, тоже в ретейле, система SAP ERP-SAP BW- MSSQL. По словам в BW вычисляется дельта на уровне DSO только которая и отсылается в ХД. Говорят пробывали 1й вариант и при очень больших объемах процесс сбоил.

Личный опыт приветствуется. Склоняюсь ко 2му, но почему то почти не слышал о рассказах опыта с ним.
Вы смотрели на структуру табличек, которые лежат в БД, и какая там информация? Уверены, что ЭТО то, что вам хочется видеть в хранилище?
Если бы у вас был OEBS, то было бы другое дело, но SAP...

kain111я уже несколько лет занимаюсь BI и SAP, знаю многие табилицы SAP из модулей SD,MM,FI,CO, даже написал пару экстракторов на ABAP Это мой хлеб доставать данные и собирать на них отчеты. Кроме того тут очень много Z разработок, так что все таблицы если что укажут консультанты.
В прошлой немецкой конторе была следующая стркутура: 1й слой база в которую зеркально лились данные с одноименными таблицами, из нее уже джобами переодически собирались таблицы фактов в следующий 2й слой в понятном виде для аналитиков.
Я c SAP не работал, только пару раз видел их таблички - и они произвели на меня сильное впечатление...
Не скажу, что положительное, но незабываемое.

Я думаю, что описанную вами схему никто не реализует из-за сложности преобразования информации из табличек SAP в понятный вид. Насколько знаю, в BW данные уже "красивые" - вот их и берут.
Но если для вас не проблема преобразовать данные в понятный вид - схема вполне рабочая.
Только переливать данные с рабочей базы (зеркально) надо так, чтобы по минимуму нагружать рабочий сервер и не было никаких блокировок. Скорее всего - надо использовать асинхронную репликацию, но это ваш DBA должен решать.

kain111На данный момент мне нужен наиболее эффективный способ выгрузки данных из SAP, уж причесать и переименовать/перевести на удобный язык,то их уже дело знакомое.

Самый эффективный - средствами СУБД.
Смотрим доки и выбираем, что лучше подойдет.
https://docs.oracle.com/database/121/REPLN/repoverview.htm#REPLN136

s_ustinovЯ думаю, что описанную вами схему никто не реализует из-за сложности преобразования информации из табличек SAP в понятный вид.
Вернее, никто не предлагает реализовывать.

kain111s_ustinovТолько переливать данные с рабочей базы (зеркально) надо так, чтобы по минимуму нагружать рабочий сервер и не было никаких блокировок. Скорее всего - надо использовать асинхронную репликацию, но это ваш DBA должен решать.
Насколько я понял принцип действия такого рода программ, это парсинг лога транзакций и вылавливание оттуда инструкций на изменение относящихся к мониторящимся таблицам и отсылка на получателя. Предварительно конечно запрашивается исторические данные. Имхо это минимальная из возможных нагрузок. Своего рода log shipping, но не зависимый от вида БД и выборочный по объектам.

Это и есть log shipping ))
И я бы на вашем месте пользовался стандартными средствами СУБД (я ссылку на доки оракла указал) - почти наверняка ваш DBA сможет это настроить.

Из всех вариантов выгрузки данных этот самый эффективный. И по скорости и уровню нагрузки на рабочие сервера в сотни (тысячи) раз лучше вебсервисов.

L_argoЛог Шиппинг из Оракла в МССКЛ ?!

Кажется я что-то важное пропустил в новых технологиях.
Из оракла в оракл в том же виде.
Искусственный интеллект пока недопилили. ))

А уже из зеркала рабочей базы переливать в хранилище, попутно всячески извращаясь над данными. И хранилище может быть как на оракле, так и на мс скл.
Все эти преобразования и чистки могут неслабо нагружать сервер СУБД, и делать такие вещи в рабочей базе сапа может быть чревато. А на отдельном сервере гарантированно ничему не помешает. Ну и "перелив" данных в зеркало (лог шиппинг) практически никак не нагрузит рабочий сервер.

Мое мнение - обмен через шины для выгрузки данных в хранилище надо рассматривать далеко не в первую очередь.
Все эти SOAP, CORBA - они ведь нацелены на передачу сообщений с объектами. То есть с точки зрения СУБД - одно сообщение - одна запись. Да еще получаемая не из базы данных напрямую, а через "надстройку" в виде приложения.
Это неплохо подходит для организации взаимодействия между собой разных приложений, но для передачи массивов данных в хранилище - не очень подходящий вариант - очень большие накладные расходы и очень неоптимальное использование СУБД.