|
|
|
Способы документации ETL
|
|||
|---|---|---|---|
|
#18+
Не подскажете где подчерпнуть инфо по тому как ETL документировать? (диаграммы, таблицы и тд) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.09.2008, 16:50 |
|
||
|
Способы документации ETL
|
|||
|---|---|---|---|
|
#18+
Промышленного стандарта я не встречал, могу поделиться своим опытом. отдельные ETL процедуры мы документируем в виде excel-файлов source-to-target. Колонки этого файла Название таблицы-приемника Название поля-приемника Тип данных поля приемника Коментарий (описание поля-приемника) Таблица-источник Поле(поля) источники Трансформации (преобразования) исходных данных. описываются в виде простых, логически-понятных выражений отдельно описывали источник данных (таблица, sql запрос), стратегию обновления (как добавлять данные): truncate+insert, update-else-insert, delete по условию, затем insert и т.п. потом последовательность вызова ETL-процедур описывали в виде диаграммы потоков данных (data flow diagram). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.09.2008, 18:30 |
|
||
|
Способы документации ETL
|
|||
|---|---|---|---|
|
#18+
Тут Описанное в предыдущем посте - только пара пунктов из требующихся. Паттерн можно использовать и для ТЗ, и для документации после разработки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2008, 10:42 |
|
||
|
Способы документации ETL
|
|||
|---|---|---|---|
|
#18+
IT-ShamanПромышленного стандарта я не встречал, могу поделиться своим опытом. отдельные ETL процедуры мы документируем в виде excel-файлов source-to-target. Колонки этого файла Название таблицы-приемника Название поля-приемника Тип данных поля приемника Коментарий (описание поля-приемника) Таблица-источник Поле(поля) источники Трансформации (преобразования) исходных данных. описываются в виде простых, логически-понятных выражений отдельно описывали источник данных (таблица, sql запрос), стратегию обновления (как добавлять данные): truncate+insert, update-else-insert, delete по условию, затем insert и т.п. потом последовательность вызова ETL-процедур описывали в виде диаграммы потоков данных (data flow diagram). Плюс к этому нужно добавить регламент запуска скриптов (карт, процедур и т.п) плюс описать ошибки, которые ловятся этими скриптами (типа дублирования Primary Key) плюс методы обнаружения "тормозов" (например, среднее время выполнения скрипта превышено в Х раз) плюс описание методов работы с Primary Key (оставляем "как есть" или генерим суррогатные ключи или что-то еще...) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2008, 12:18 |
|
||
|
|

start [/forum/topic.php?fid=32&msg=35551537&tid=1543650]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
172ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
34ms |
get tp. blocked users: |
1ms |
| others: | 205ms |
| total: | 451ms |

| 0 / 0 |
