|
XSD/XML из 1С для целей DWH и консолидации
|
|||
---|---|---|---|
#18+
- Есть порядка 800 строк кода в ert, делающих вот что: 1. Парсинг метаданных и создание схемы xml - сейчас это документы, справочники и регистры. 2. Процедуры выгрузки данных в соответствии с этой схемой в xml-файлы. Данный формат схемы/файлов позволяет грузить данные в MS SQL 2000 напрямую, без дополнительного программирования. Это уже работает. 3. В схеме и данных предусмотрены средства контроля за обновлениями в 1С. 4. Та база, которая получается при выгрузке, не является нормальным DWH, а является Staging DB/отстойником т.к. требует некоторых дополнительных преобразований перед загрузкой в DWH (удаление null-ов, индексация, ...). Это нормальная практика в DWH-проектах. Процесс создания единого DWH должен выглядить так: сначала полная выгрузка данных из оконечных баз в гигантские xml-файлы (время не привожу, понятно, оно большое, и соревноваться на этом участке с другими способами (LRC, Adelit) не вижу смысла - полная выгрузка делается не каждый день), и программирование процедур слияния полученных из них SQL-баз в единое хранилище - те самые ETL, их придется прорисовать ручками на TSQL/DTS, что тоже нормальная практика. И затем запуск RealTime-мониторов или периодических пакетных процессов выгрузки новых/изменившихся данных в XML-пакеты. XML-пакеты можно жать архиваторами и слать почтой, но я бы попробовал сделать это средствами BizTalk, это моя конечная цель в этой разработке. При добавлении новых реквизитов придется вручную добавлять нужные поля в SQL, поскольку используемый мной MS-механизм загрузки XML динамическую переконфигурацию таблиц не поддерживает. После ручной модификации таблиц и автоматического обновления XML-схемы можно полностью перезагрузить все данные, а можно просто продолжить делать XML-апдейты. На кубы в плане работоспособности новые поля никак не влияют. Вы просто добавляете нужные вам измерения/показатели и делаете их перепроцессинг. Трудоемкость наибольшая придется на написание ETL, так как в этом месте придется прописывать бизнес-логику консолидации и синхронизации. Все остальное - считанные дни. Ert использует только штатные средства и одну мою внешнюю компоненту, которая считает crc32, без защиты. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2002, 13:12 |
|
|
start [/forum/topic.php?fid=49&msg=32066894&tid=1873695]: |
0ms |
get settings: |
8ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
24ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
41ms |
get tp. blocked users: |
2ms |
others: | 15ms |
total: | 118ms |
0 / 0 |