powered by simpleCommunicator - 2.0.44     © 2025 Programmizd 02
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / XSD/XML из 1С для целей DWH и консолидации
2 сообщений из 2, страница 1 из 1
XSD/XML из 1С для целей DWH и консолидации
    #32066894
lubimov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
- Есть порядка 800 строк кода в ert, делающих вот что:
1. Парсинг метаданных и создание схемы xml - сейчас это документы, справочники и регистры.
2. Процедуры выгрузки данных в соответствии с этой схемой в xml-файлы. Данный формат схемы/файлов позволяет грузить данные в MS SQL 2000 напрямую, без дополнительного программирования. Это уже работает.
3. В схеме и данных предусмотрены средства контроля за обновлениями в 1С.
4. Та база, которая получается при выгрузке, не является нормальным DWH, а является Staging DB/отстойником т.к. требует некоторых дополнительных преобразований перед загрузкой в DWH (удаление null-ов, индексация, ...). Это нормальная практика в DWH-проектах.

Процесс создания единого DWH должен выглядить так: сначала полная выгрузка данных из оконечных баз в гигантские xml-файлы (время не привожу, понятно, оно большое, и соревноваться на этом участке с другими способами (LRC, Adelit) не вижу смысла - полная выгрузка делается не каждый день), и программирование процедур слияния полученных из них SQL-баз в единое хранилище - те самые ETL, их придется прорисовать ручками на TSQL/DTS, что тоже нормальная практика. И затем запуск RealTime-мониторов или периодических пакетных процессов выгрузки новых/изменившихся данных в XML-пакеты.
XML-пакеты можно жать архиваторами и слать почтой, но я бы попробовал сделать это средствами BizTalk, это моя конечная цель в этой разработке.
При добавлении новых реквизитов придется вручную добавлять нужные поля в SQL, поскольку используемый мной MS-механизм загрузки XML динамическую переконфигурацию таблиц не поддерживает. После ручной модификации таблиц и автоматического обновления XML-схемы можно полностью перезагрузить все данные, а можно просто продолжить делать XML-апдейты.

На кубы в плане работоспособности новые поля никак не влияют. Вы просто добавляете нужные вам измерения/показатели и делаете их перепроцессинг. Трудоемкость наибольшая придется на написание ETL, так как в этом месте придется прописывать бизнес-логику консолидации и синхронизации. Все остальное - считанные дни.

Ert использует только штатные средства и одну мою внешнюю компоненту, которая считает crc32, без защиты.
...
Рейтинг: 0 / 0
XSD/XML из 1С для целей DWH и консолидации
    #32067000
lubimov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
http://www.1bi.ru/xml_1c_dwh_olap.htm
...
Рейтинг: 0 / 0
2 сообщений из 2, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / XSD/XML из 1С для целей DWH и консолидации
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]