Есть большое количество таблиц и большое количество SQL-вставок из одной в другую вида INSERT as SELECT.
В SELECT'ах нет звездочек, все поля перечисляются явно, но используются вьюхи, код которых тоже доступен.
В запросах есть многократно вложенные подзапросы, INNER/LEFT JOINs, CROSS JOIN, WITH, UNION ALL, но нет коррелированных подзапросов с EXISTS\IN.

Преобразования, перенос данных образуют сложное дерево , где в одну таблицу заходит поля из многих, в которые в свою очередь заливаются данные из других. итд.

Хочется написать инструмент, который отслеживал бы для конкретного поля в конечной таблице, какие поля в него пишутся из прямых таблиц-источников, и так далее , до самого начала. То есть надо провести рекурсивный парсинг или синтаксический разбор всех запросов, которые льют данные в таблицу и отследить преобразования полей, на выходе получить дерево для одного конечного поля - со всеми возможными влияниями типа COALESCE, CASE, NVL\IFNULL итд.

Я уверен, что задача много раз вставала раньше перед другими и есть инструменты, но сходу нагуглить не получилось.



--
У мудрого человека нет врагов - только учителя

Не смешно даже. Представьте себе корпоративную среду, в которой сотни витрин, СУБД разных производителей, тысячи запросов, переливающих из одного в другое и оркестратор над всем этим с расписаниями запусков и зависимостями, чтобы начать очередной поток, когда закончатся зависимые или просто по времени.

И вы пришли, смотрите на это все, больше половины людей, которые это все писали уже ушли или занимаются другим и все забыли.
Ваши действия?.. )

Спасибо, это первое что-то дельное!

Я представляю, должен быть для начала просто скрипт, хоть на питоне, хоть на чем.
Вход - текст SQL, простой SELECT, даже не INSERT as SELECT. В нем все выходные поля именованные, то есть или как есть или с псевдонимом поля.
Выход - маппинг выходных полей , каждому соответствует от 0 до N наборов tableN.fieldM , от которой оно зависит.
Ноль - если это константа, NULL или вычислимое выражение, не зависящее от значений входных данных напрямую.

Не видали такое, может быть на stackoverflow ?

H5N1, я почитал пару страниц, не совсем понятно, что именно они продают.

Как можно перевести термин lineage в данным контексте? Родословная?
На уровне схем.таблиц я уже построил граф зависимостей, там дело нехитрое.
Вот с полями сложнее - это фактически часть синтаксического разбора SQL..