|
|
|
Документация ETL
|
|||
|---|---|---|---|
|
#18+
Добрый день! Подскажите, кто вообще делает документирование своего ETL и каким образом это делаете? Возможно, если есть возможность поделитесь примерами. Мы в текущей документации делаем очень подробное описание, но с этим много проблем, т.к. пакеты часто меняются при сохранении общей логики. Т.е. где-то что-то оптимизировали, где-то что-то поменяли местами и соответственно документ начинает расходится с реализацией. Хочется как-то упростить, но пока не знаем как, чтобы не перегнуть... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.01.2017, 16:59 |
|
||
|
Документация ETL
|
|||
|---|---|---|---|
|
#18+
T87, комменты рулят ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.01.2017, 18:11 |
|
||
|
Документация ETL
|
|||
|---|---|---|---|
|
#18+
T87Мы в текущей документации делаем очень подробное описание. документы пишут только трусы )) Написать код на языке программирования , потом его описать словами, пихнуть в таблицу и положить в два файла - фд и сценарий тестирования ? имхо доки полезны в след. случаях одноразово при внедрении при работе с внешним подрядчиком. если логика описана в артефактах ETL а не в SQL (view) если живете в SQL то контроль кода и общие регламенты разработки и наименования вполне достаточны . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.01.2017, 19:04 |
|
||
|
Документация ETL
|
|||
|---|---|---|---|
|
#18+
T87, В идеале - самодокументированность на основе самописного или пропроетарного фрейворка. В реальности чаще всего = аннотация + артефакты в проекте + если позволяет(выгрузка метаданных пакетов) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.01.2017, 19:40 |
|
||
|
Документация ETL
|
|||
|---|---|---|---|
|
#18+
T87, Забыл уточнить. Документация нужна те сколько для себя, сколько для заказчика. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.01.2017, 20:22 |
|
||
|
Документация ETL
|
|||
|---|---|---|---|
|
#18+
T87, Например, Excel-файл, подключенный к MDS (если бы еще соотв. плагин не ломал кастомный layout в файле), в котором взаимосвязанные сущности под описание источников данных и целевых таблиц, мэппинги, категории преобразований, потоки данных, сервера, базы, ответств. лица, окна загрузки и т.д. Для сущностей настраиваем емайл-уведомления для заинтересованных лиц (разработчиков, архитекторов, бизнес-технологов, дата офицеров, потребителей данных и т.д.). Настраиваем правила проверки, права доступа. ETL-пакеты именуем бизнес-наименованиями, в названиях ставим номера вразбег с запасом, чтобы можно было при оркестровке иметь возможность перещать пакеты относительно друг друга. Номера пишем в таблицу мэппингов Например, "100 загружаем в Stage клиентов из 1С" "101 загружаем в Stage клиентов из Siebel" "140 Довосполнение данных клиентов" "150 Унификация клиентов" В MDS-сущности можно подгружать метаданные из Power Designer Excel-файл кладем в портал + Web-ссылки на MDS-клиента Далее - только не лениться своевременно заполнять ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.01.2017, 22:44 |
|
||
|
|

start [/forum/topic.php?desktop=1&fid=49&tid=1858397]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
150ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
48ms |
get tp. blocked users: |
2ms |
| others: | 248ms |
| total: | 491ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...