|  | 
| 
XSD/XML из 1С для целей DWH и консолидации | |||
|---|---|---|---|
| #18+ - Есть порядка 800 строк кода в ert, делающих вот что: 1. Парсинг метаданных и создание схемы xml - сейчас это документы, справочники и регистры. 2. Процедуры выгрузки данных в соответствии с этой схемой в xml-файлы. Данный формат схемы/файлов позволяет грузить данные в MS SQL 2000 напрямую, без дополнительного программирования. Это уже работает. 3. В схеме и данных предусмотрены средства контроля за обновлениями в 1С. 4. Та база, которая получается при выгрузке, не является нормальным DWH, а является Staging DB/отстойником т.к. требует некоторых дополнительных преобразований перед загрузкой в DWH (удаление null-ов, индексация, ...). Это нормальная практика в DWH-проектах. Процесс создания единого DWH должен выглядить так: сначала полная выгрузка данных из оконечных баз в гигантские xml-файлы (время не привожу, понятно, оно большое, и соревноваться на этом участке с другими способами (LRC, Adelit) не вижу смысла - полная выгрузка делается не каждый день), и программирование процедур слияния полученных из них SQL-баз в единое хранилище - те самые ETL, их придется прорисовать ручками на TSQL/DTS, что тоже нормальная практика. И затем запуск RealTime-мониторов или периодических пакетных процессов выгрузки новых/изменившихся данных в XML-пакеты. XML-пакеты можно жать архиваторами и слать почтой, но я бы попробовал сделать это средствами BizTalk, это моя конечная цель в этой разработке. При добавлении новых реквизитов придется вручную добавлять нужные поля в SQL, поскольку используемый мной MS-механизм загрузки XML динамическую переконфигурацию таблиц не поддерживает. После ручной модификации таблиц и автоматического обновления XML-схемы можно полностью перезагрузить все данные, а можно просто продолжить делать XML-апдейты. На кубы в плане работоспособности новые поля никак не влияют. Вы просто добавляете нужные вам измерения/показатели и делаете их перепроцессинг. Трудоемкость наибольшая придется на написание ETL, так как в этом месте придется прописывать бизнес-логику консолидации и синхронизации. Все остальное - считанные дни. Ert использует только штатные средства и одну мою внешнюю компоненту, которая считает crc32, без защиты. ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 12.11.2002, 13:12 |  | ||
|  | 

| start [/forum/topic.php?fid=49&fpage=417&tid=1873695]: | 0ms | 
| get settings: | 10ms | 
| get forum list: | 13ms | 
| check forum access: | 4ms | 
| check topic access: | 4ms | 
| track hit: | 33ms | 
| get topic data: | 12ms | 
| get forum data: | 3ms | 
| get page messages: | 38ms | 
| get tp. blocked users: | 1ms | 
| others: | 13ms | 
| total: | 131ms | 

| 0 / 0 | 
