
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
24.01.2017, 16:59
|
|||
|---|---|---|---|
Документация ETL |
|||
|
#18+
Добрый день! Подскажите, кто вообще делает документирование своего ETL и каким образом это делаете? Возможно, если есть возможность поделитесь примерами. Мы в текущей документации делаем очень подробное описание, но с этим много проблем, т.к. пакеты часто меняются при сохранении общей логики. Т.е. где-то что-то оптимизировали, где-то что-то поменяли местами и соответственно документ начинает расходится с реализацией. Хочется как-то упростить, но пока не знаем как, чтобы не перегнуть... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.01.2017, 18:11
|
|||
|---|---|---|---|
Документация ETL |
|||
|
#18+
T87, комменты рулят ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.01.2017, 19:04
|
|||
|---|---|---|---|
|
|||
Документация ETL |
|||
|
#18+
T87Мы в текущей документации делаем очень подробное описание. документы пишут только трусы )) Написать код на языке программирования , потом его описать словами, пихнуть в таблицу и положить в два файла - фд и сценарий тестирования ? имхо доки полезны в след. случаях одноразово при внедрении при работе с внешним подрядчиком. если логика описана в артефактах ETL а не в SQL (view) если живете в SQL то контроль кода и общие регламенты разработки и наименования вполне достаточны . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.01.2017, 19:40
|
|||
|---|---|---|---|
|
|||
Документация ETL |
|||
|
#18+
T87, В идеале - самодокументированность на основе самописного или пропроетарного фрейворка. В реальности чаще всего = аннотация + артефакты в проекте + если позволяет(выгрузка метаданных пакетов) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.01.2017, 20:22
|
|||
|---|---|---|---|
Документация ETL |
|||
|
#18+
T87, Забыл уточнить. Документация нужна те сколько для себя, сколько для заказчика. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.01.2017, 22:44
|
|||
|---|---|---|---|
Документация ETL |
|||
|
#18+
T87, Например, Excel-файл, подключенный к MDS (если бы еще соотв. плагин не ломал кастомный layout в файле), в котором взаимосвязанные сущности под описание источников данных и целевых таблиц, мэппинги, категории преобразований, потоки данных, сервера, базы, ответств. лица, окна загрузки и т.д. Для сущностей настраиваем емайл-уведомления для заинтересованных лиц (разработчиков, архитекторов, бизнес-технологов, дата офицеров, потребителей данных и т.д.). Настраиваем правила проверки, права доступа. ETL-пакеты именуем бизнес-наименованиями, в названиях ставим номера вразбег с запасом, чтобы можно было при оркестровке иметь возможность перещать пакеты относительно друг друга. Номера пишем в таблицу мэппингов Например, "100 загружаем в Stage клиентов из 1С" "101 загружаем в Stage клиентов из Siebel" "140 Довосполнение данных клиентов" "150 Унификация клиентов" В MDS-сущности можно подгружать метаданные из Power Designer Excel-файл кладем в портал + Web-ссылки на MDS-клиента Далее - только не лениться своевременно заполнять ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|

start [/forum/topic.php?fid=49&tablet=1&tid=1858397]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
151ms |
get topic data: |
15ms |
get forum data: |
3ms |
get page messages: |
46ms |
get tp. blocked users: |
1ms |
| others: | 239ms |
| total: | 488ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...