
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
19.09.2008, 16:50
|
|||
|---|---|---|---|
Способы документации ETL |
|||
|
#18+
Не подскажете где подчерпнуть инфо по тому как ETL документировать? (диаграммы, таблицы и тд) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.09.2008, 18:30
|
|||
|---|---|---|---|
|
|||
Способы документации ETL |
|||
|
#18+
Промышленного стандарта я не встречал, могу поделиться своим опытом. отдельные ETL процедуры мы документируем в виде excel-файлов source-to-target. Колонки этого файла Название таблицы-приемника Название поля-приемника Тип данных поля приемника Коментарий (описание поля-приемника) Таблица-источник Поле(поля) источники Трансформации (преобразования) исходных данных. описываются в виде простых, логически-понятных выражений отдельно описывали источник данных (таблица, sql запрос), стратегию обновления (как добавлять данные): truncate+insert, update-else-insert, delete по условию, затем insert и т.п. потом последовательность вызова ETL-процедур описывали в виде диаграммы потоков данных (data flow diagram). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
22.09.2008, 10:42
|
|||
|---|---|---|---|
Способы документации ETL |
|||
|
#18+
Тут Описанное в предыдущем посте - только пара пунктов из требующихся. Паттерн можно использовать и для ТЗ, и для документации после разработки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
22.09.2008, 12:18
|
|||
|---|---|---|---|
Способы документации ETL |
|||
|
#18+
IT-ShamanПромышленного стандарта я не встречал, могу поделиться своим опытом. отдельные ETL процедуры мы документируем в виде excel-файлов source-to-target. Колонки этого файла Название таблицы-приемника Название поля-приемника Тип данных поля приемника Коментарий (описание поля-приемника) Таблица-источник Поле(поля) источники Трансформации (преобразования) исходных данных. описываются в виде простых, логически-понятных выражений отдельно описывали источник данных (таблица, sql запрос), стратегию обновления (как добавлять данные): truncate+insert, update-else-insert, delete по условию, затем insert и т.п. потом последовательность вызова ETL-процедур описывали в виде диаграммы потоков данных (data flow diagram). Плюс к этому нужно добавить регламент запуска скриптов (карт, процедур и т.п) плюс описать ошибки, которые ловятся этими скриптами (типа дублирования Primary Key) плюс методы обнаружения "тормозов" (например, среднее время выполнения скрипта превышено в Х раз) плюс описание методов работы с Primary Key (оставляем "как есть" или генерим суррогатные ключи или что-то еще...) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|

start [/forum/topic.php?fid=32&tablet=1&tid=1543650]: |
0ms |
get settings: |
7ms |
get forum list: |
14ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
278ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
36ms |
get tp. blocked users: |
2ms |
| others: | 197ms |
| total: | 549ms |

| 0 / 0 |
