George Nordic,

DL это сами данные, которые обрабатываются и в процессе обработки некоторые строят метаданные. если сами данные не планируете закидывать в систему то это уже на DL вообще не похоже

George Nordic,

по мне типичная задача стриминга событий и агрегации на лету. базы пишут сообщения в какой-нить мессенджинг сервис типа kafka, на другой стороне кто-то типа spark streaming читает, агрегирует и апдейтит некие агрегаты

George Nordicно не гнать же все в хадуп, в конце-то концов - это ж задвоение полное

George NordicКритик, Есть масса подобных решений - Machine Learning Data Catalogs. И да, есть решения которые парсят сами данные и выстраивают предположения об их связи, исходя из пересечения данных.


и чо, среди них реально есть такие что строят метаданные с разных источников не копируя сами данные на дата лейк ?
прям волшебство.

George NordicУ каждого есть есть несколько баз.
И хочется видеть единую картину, или иметь возможность быстро получить и сравнить данные их выбранных СУБД: сколько паспортов выдано, сколько стоит на налоговом учете, сколько платит налогов, какие машины зарегистрированы у тех, кто не платит налоги.

Строить DWH - ну так себе идея. БД растут и меняются постоянно. Т.е. скорость изменений выше, чем сможет отреагировать команда которая хранилищем занимается. Это не DataLake будет, а DataSwamp какой-то.

Лить все в даталэйк - ну, тоже безумство.

и все таки я так и не понял что за магия ваших дата каталогов позволит посчитать "какие машины зарегистрированы у тех, кто не платит налоги" без перекачки самих данных в даталейк.
выглядит что эти каталоги скорее под далейк превратившийся в болото думан. что бы не утонуть окончательно в болоте описать хоть как-то свалку в данных.

George Nordic,

так и не вижу ответа на вопрос. предположим в ADWH пусто, никто еще ничего не заказывал перекачать. мне нужно "какие машины зарегистрированы у тех, кто не платит налоги" (тм)
откуда у каталога возьмется такая информация?
я бы понял если бы с олтп источника вытягиваются данные в хадуп, где по пути считают еще и агрегации для этого каталога. но если есть лишь олтп источник и каталог, то кто и которое время посчитал "какие машины зарегистрированы у тех, кто не платит налоги" ?

George NordicH5N1, 1й шаг: в каталоге выбираем БД ГИБДД, выбираем номер прав/ФИО/Дату рождения/номер паспорта.
2й шаг: выбираем БД МВД, ФИО/Дату рождения/номер паспорта, связка с БД ГИБДД по ФИО-дата рождения.

Заливаем к себе в аналитическую песочницу.
Шаг 3 - чистка данных:
Внимательно смотрим на тех, у кого ФИО и Дата рождения одинаковая, но номер паспорта разный. Думаем, правим. При необходимости повторяем упражнения с номером паспорта / датой рождения / ФИО - чистим данные.

4й шаг: в каталоге выбираем БД ФНС, выбираем ИНН/ФИО/Дату рождения/номер паспорта.
5й шаг: выбираем БД МВД, ФИО/Дату рождения/номер паспорта, связка с БД ФНС по ФИО-дата рождения.
6. Повторяем упражнение 3.

Когда расхождения выявлены (и, желательно, устранены), можем делать связку:
БД ГИБДД, номер прав.ТС/ФИО/Дата рождения/номер паспорта.
БД ФНС, ФИО/Дата рождения/ИНН/сумма налогов за прошлый год / этот год.

И построить необходимую аналитику. А в чем сложность?

во первых сложно связать это порно с изначальной хотелкой
George NordicНапример, есть 10 министерств - МВД там, ФНС, Минтруд , Минстат и т.д.
У каждого есть есть несколько баз.
И хочется видеть единую картину, или иметь возможность быстро получить и сравнить данные их выбранных СУБД: сколько паспортов выдано, сколько стоит на налоговом учете, сколько платит налогов, какие машины зарегистрированы у тех, кто не платит налоги.
что-то мне подсказывает что копировать и очистить целиком базы не увяжется с "возможность быстро получить"

ну и не понято что такое "построить необходимую аналитику". типа репортик на однажды выгруженных данных ? как-то сложно такое связать с изночальным "видеть единую картину"

George Nordic,

ну ясно. я просто думал вдруг я что-то глобально пропустил.
по мне это какой-то костыль, когда уже что-то совсем не правильно сделано. имхо логичней сначала поставить задачу, а потом уже начитать выяснять как эти данные доставить в DL и интегрировать в общую модель. а вариант когда аналитик с лева вдруг решил что нафигачить солюшен и накликивает то что хочет, в европе имхо просто нелегально. gdpr требует защитить фио и показывать его лишь тому, кому это совсем необходимо под выполнение конкретной задачи. причем задачи, на которую клент дал дорбро. даже в виде хеша, для скоринга одной услуги можно использовать, для соседней уже нет.
а так да, 100% гарантия что чувак накликает, а потом эксплуатация выяснит, что рядом с полем NomerMashyny еще было булеан поле XpeHb, которое кликальщик должен был учесть.