powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Способы документации ETL
4 сообщений из 4, страница 1 из 1
Способы документации ETL
    #35549501
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не подскажете где подчерпнуть инфо по тому как ETL документировать?
(диаграммы, таблицы и тд)
...
Рейтинг: 0 / 0
Способы документации ETL
    #35549751
IT-Shaman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Промышленного стандарта я не встречал, могу поделиться своим опытом.
отдельные ETL процедуры мы документируем в виде excel-файлов source-to-target. Колонки этого файла

Название таблицы-приемника
Название поля-приемника
Тип данных поля приемника
Коментарий (описание поля-приемника)
Таблица-источник
Поле(поля) источники
Трансформации (преобразования) исходных данных. описываются в виде простых, логически-понятных выражений

отдельно описывали источник данных (таблица, sql запрос), стратегию обновления (как добавлять данные): truncate+insert, update-else-insert, delete по условию, затем insert и т.п.

потом последовательность вызова ETL-процедур описывали в виде диаграммы потоков данных (data flow diagram).
...
Рейтинг: 0 / 0
Способы документации ETL
    #35551537
Фотография А6дуллаh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тут

Описанное в предыдущем посте - только пара пунктов из требующихся.
Паттерн можно использовать и для ТЗ, и для документации после разработки.
...
Рейтинг: 0 / 0
Способы документации ETL
    #35551812
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
IT-ShamanПромышленного стандарта я не встречал, могу поделиться своим опытом.
отдельные ETL процедуры мы документируем в виде excel-файлов source-to-target. Колонки этого файла

Название таблицы-приемника
Название поля-приемника
Тип данных поля приемника
Коментарий (описание поля-приемника)
Таблица-источник
Поле(поля) источники
Трансформации (преобразования) исходных данных. описываются в виде простых, логически-понятных выражений

отдельно описывали источник данных (таблица, sql запрос), стратегию обновления (как добавлять данные): truncate+insert, update-else-insert, delete по условию, затем insert и т.п.

потом последовательность вызова ETL-процедур описывали в виде диаграммы потоков данных (data flow diagram).

Плюс к этому нужно добавить регламент запуска скриптов (карт, процедур и т.п) плюс описать ошибки, которые ловятся этими скриптами (типа дублирования Primary Key) плюс методы обнаружения "тормозов" (например, среднее время выполнения скрипта превышено в Х раз) плюс описание методов работы с Primary Key (оставляем "как есть" или генерим суррогатные ключи или что-то еще...)
...
Рейтинг: 0 / 0
4 сообщений из 4, страница 1 из 1
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Способы документации ETL
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]