Есть SAP ERP на Oracle. Планируется организовать ХД, как вариант на MSSQL.
Вопрос: какие методы можно использовать для извлечения генерируемых данных в ХД на MSSQL. какие плюсы и минусы и ограничения у каждого из методов. Объем примерно 100к позиций заказов в день на пилот
Перечислю какие я выяснил:
1) Консалтеры предложили использовать SISS. По их словам есть возможность подключения к экстракторам которые использует BW.
2) Сторонний продукт для зеркалирования БД. принцип- считывание лога транзакций и отсылка изменений на сервер получатель. На прошлой работе в немецкой компании была именно такая организация, пощупать которую к сожалению не было возможности. Из бонусов почти онлайн синхронизация.
3) У знакомого, тоже в ретейле, система SAP ERP-SAP BW- MSSQL. По словам в BW вычисляется дельта на уровне DSO только которая и отсылается в ХД. Говорят пробывали 1й вариант и при очень больших объемах процесс сбоил.

Личный опыт приветствуется. Склоняюсь ко 2му, но почему то почти не слышал о рассказах опыта с ним.

L_argoЧто в вашем понимании ХД ? Полная копия базы ?
Нет конечно, только необходимые данные.

Отвечу на 1й вопрос. На данный момент наша основная BI система Qlikview и у нее закрытый формат хранения данных встроенного хранилища. Можно много спорить по терминам , но на мой взгляд, ХД это система в которой есть данные давно удаленные в учетной системе и собранных с нескольких источников к которым обращаются аналитики для решения своих вопросов.
Так вот, есть потребность дать аналитикам возможность писать запросы и самим делать выгрузки соединяя необходимые данные. Сейчас же эти запросы падают на отдел разработки который менее многочисленный. И некоторые теории возможно проверить средствами моделирования на уровне SQL. Кроме того возникают потребности выдачи данных в сторонние системы например прогнозирования.

s_ustinov,

я уже несколько лет занимаюсь BI и SAP, знаю многие табилицы SAP из модулей SD,MM,FI,CO, даже написал пару экстракторов на ABAP Это мой хлеб доставать данные и собирать на них отчеты. Кроме того тут очень много Z разработок, так что все таблицы если что укажут консультанты.
В прошлой немецкой конторе была следующая стркутура: 1й слой база в которую зеркально лились данные с одноименными таблицами, из нее уже джобами переодически собирались таблицы фактов в следующий 2й слой в понятном виде для аналитиков.

L_argo,
авторДля вашего ХД не подойдут сторонние коробочные средства, ИМХО.
Вам нужен максимально полный контроль над загружаемыми данными и их дальнейшим жизненным циклом. И желательно, чтобы это все было в одном флаконе, а не в виде зоопарка чужих, малопонятных продуктов.
На данный момент мне нужен наиболее эффективный способ выгрузки данных из SAP, уж причесать и переименовать/перевести на удобный язык,то их уже дело знакомое.
Надеюсь не расценят как рекламу

s_ustinovТолько переливать данные с рабочей базы (зеркально) надо так, чтобы по минимуму нагружать рабочий сервер и не было никаких блокировок. Скорее всего - надо использовать асинхронную репликацию, но это ваш DBA должен решать.
Насколько я понял принцип действия такого рода программ, это парсинг лога транзакций и вылавливание оттуда инструкций на изменение относящихся к мониторящимся таблицам и отсылка на получателя. Предварительно конечно запрашивается исторические данные. Имхо это минимальная из возможных нагрузок. Своего рода log shipping, но не зависимый от вида БД и выборочный по объектам.
За ссылки спасибо почитаю.
ldfanate,
Выгрузка файлов это крайность. Я понимаю как это происходит. XI/PI у нас и так нагружены + не думаю что он прокачает необходимый объем данных + я бы не хотел так сильно заморачиваться + сам я не очень в ABAP а нагружать и зависить от абаперов не хочется.

GaryaБолее известные продукты подобного класса:
MS BizTalk Server
IBM WebSpere
Oracle Weblogic Server
Спасибо, рассмотрю.
Присоединяюсь к вопросу от witte. интересен опыт практического применения этих инструментов для наполнения хранилища.

kernelpanicА чем стандартный SAP Landscape Transformation (SLT) не подходит?
Оно создает в базе источника копии структур таблиц(таблицы журналов) в которые складывает данные для передачи путем навешанных на оригинальные таблицы триггеры, в момент передачи таблицы очищаются. Все настраивается через интерфейс, но имхо сервер это будет подгруживать и единственный плюс это нативность этого решения для экосистемы SAP.

Co_baltGaryaБолее известные продукты подобного класса:
MS BizTalk Server
IBM WebSpere
Oracle Weblogic Server
Можно использовать родные саповские интеграционные шины
SAP MII
SAP PI/PO
есть еще хороший продукт TIBCO ActiveMatrix BusinessWorks

По задаче - надо нормально сформулировать постановку задачи, чтобы получить нормальные рекомендации по интеграции, а то получается "Хочу чтобы все из SAP передавалось в MSSQL"
Я как то поддерживал проект а котором часть выгрузки была реализованна на продукте Data federator, являющейся частью Bussiness Object. В какой то момент он начал сбоить и по нему мне не удалось получить поддержки ни у официальной техподдержке, ни на сайте разработчика. Такое ощущение что его просто закрыли. С тех пор я с осторожностью смотрю на SAPовский зоопарк неизвестных мне продуктов. Но спасибо за предложение я их рассмотрю тоже.

kain111kernelpanicА чем стандартный SAP Landscape Transformation (SLT) не подходит?
Оно создает в базе источника копии структур таблиц(таблицы журналов) в которые складывает данные для передачи путем навешанных на оригинальные таблицы триггеры, в момент передачи таблицы очищаются. Все настраивается через интерфейс, но имхо сервер это будет подгруживать и единственный плюс это нативность этого решения для экосистемы SAP.
поправка, теперь появилась возможность читать логи бд (пока только Оракла) по логу транзакций.

авторСобственно, у вас и выбора особого нет, как грузить, потому что все остальные способы стоят дороже в плане трудозатрат, а CDC существенно дороже в плане лицензий.
вы не учитываете трудозатраты саперов на настройку BW и экстракцию туда данных, я уж не говорю про стоимости лицензий. а средний сапер обычно довольно дорог. Тем не менее спасибо за мнение, от человека с таким авторитетом оно ценно.

По задаче у меня она отпала. Всем спасибо за мнения. Компания слишком уж динамично развивающаяся :). За те 2 месяца ушел рук. аналитиков который все это пушил, я успел слепить прототип загружающий csv в базу из системы отчетности Qlik, меня попросили из компании по соглашению сторон, но не сошлись в компенсации, а теперь рук подразделения, который отработал полгода и просил меня на выход, кажется сам покидает компанию.