powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Документация ETL
6 сообщений из 6, страница 1 из 1
Документация ETL
    #39390472
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрый день!

Подскажите, кто вообще делает документирование своего ETL и каким образом это делаете? Возможно, если есть возможность поделитесь примерами.

Мы в текущей документации делаем очень подробное описание, но с этим много проблем, т.к. пакеты часто меняются при сохранении общей логики. Т.е. где-то что-то оптимизировали, где-то что-то поменяли местами и соответственно документ начинает расходится с реализацией. Хочется как-то упростить, но пока не знаем как, чтобы не перегнуть...
...
Рейтинг: 0 / 0
Документация ETL
    #39390540
WarAnt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87,

комменты рулят
...
Рейтинг: 0 / 0
Документация ETL
    #39390595
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87Мы в текущей документации делаем очень подробное описание.

документы пишут только трусы ))

Написать код на языке программирования , потом его описать словами, пихнуть в таблицу и положить в два файла
- фд и сценарий тестирования ?

имхо доки полезны в след. случаях
одноразово при внедрении
при работе с внешним подрядчиком.
если логика описана в артефактах ETL а не в SQL (view)

если живете в SQL то контроль кода и общие регламенты разработки и наименования вполне достаточны .
...
Рейтинг: 0 / 0
Документация ETL
    #39390612
Voyager_lan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87,

В идеале - самодокументированность на основе самописного или пропроетарного фрейворка.
В реальности чаще всего = аннотация + артефакты в проекте + если позволяет(выгрузка метаданных пакетов)
...
Рейтинг: 0 / 0
Документация ETL
    #39390634
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87,

Забыл уточнить. Документация нужна те сколько для себя, сколько для заказчика.
...
Рейтинг: 0 / 0
Документация ETL
    #39390676
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87,

Например,
Excel-файл, подключенный к MDS (если бы еще соотв. плагин не ломал кастомный layout в файле), в котором взаимосвязанные сущности под описание источников данных и целевых таблиц, мэппинги, категории преобразований, потоки данных, сервера, базы, ответств. лица, окна загрузки и т.д.
Для сущностей настраиваем емайл-уведомления для заинтересованных лиц (разработчиков, архитекторов, бизнес-технологов, дата офицеров, потребителей данных и т.д.).
Настраиваем правила проверки, права доступа.

ETL-пакеты именуем бизнес-наименованиями, в названиях ставим номера вразбег с запасом, чтобы можно было при оркестровке иметь возможность перещать пакеты относительно друг друга.
Номера пишем в таблицу мэппингов
Например,
"100 загружаем в Stage клиентов из 1С"
"101 загружаем в Stage клиентов из Siebel"
"140 Довосполнение данных клиентов"
"150 Унификация клиентов"

В MDS-сущности можно подгружать метаданные из Power Designer

Excel-файл кладем в портал + Web-ссылки на MDS-клиента

Далее - только не лениться своевременно заполнять
...
Рейтинг: 0 / 0
6 сообщений из 6, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Документация ETL
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]