twinplayКто-нибудь встречал толковое описание (можно на англ.) подходов к моделированию ХД на Hadoop (в Data Lake, HDFS, S3, GCS, кому что ближе). Только структурированные данные. Т.е. загрузили файлы в RAW область, а дальше очистка/интеграция/консолидация с сохранением в отдельные области тоже в файлы. Что-то аналогичное Data Vault/Dim Modeling/Anchor в случае реляционных ХД.
именно моделирование искал, но ничего толком не нашел. как я понял data vault 2.0 именно под хадупы позиционируют.
на тему "загрузили файлы в RAW область, а дальше очистка/интеграция/консолидация с сохранением в отдельные области"

Data Lake Architecture: Designing the Data Lake and Avoiding the Garbage Dump
by Bill Inmon
Published by Technics Publications, 2016

но там он общие концепции описывает, по модели данных говорит что в application pond (там где структурированные данные) хранить лучше примерно в тех же структурах, какие в oltp базах.

HunterikH5N1пропущено...

...
Data Lake Architecture: Designing the Data Lake and Avoiding the Garbage Dump
by Bill Inmon
Published by Technics Publications, 2016

но там он общие концепции описывает, по модели данных говорит что в application pond (там где структурированные данные) хранить лучше примерно в тех же структурах, какие в oltp базах .
Вообще дословно так...
"...
But the data model for the application pond has one complication that classical data models do not have.
The application data pond holds data over a lengthy period of time, but the data model itself changes over time. As a result, the data model for the application data pond needs to be quite flexible.
...
So the data model for the application data pond is a very sophisticated model."

В целом книга достаточно высокоуровневая.
ну в смысле что не vault 2.0, не звезда, не снежинка, а некая sophisticated model.
я понял что он имеет ввиду нечто более менее напоминающее исходные таблицы