|  | 
| 
ETL vs ELT | |||
|---|---|---|---|
| #18+ Заявленная выше тема велика и необъятна, а потому хотел бы начать, поделившись своим впечатлением от  The Essential Guide to Data Integration - How to thrive in an age of infinite data . 
 
 
 
 ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 04.05.2021, 19:52 |  | ||
| 
ETL vs ELT | |||
|---|---|---|---|
| #18+ авторSQL не шардируется ты бы почитал про редшифт или сноуфлейк для начала. Или хотябы как в спарк уже переписывают медленное ява легаси на спаркsql https://habr.com/ru/company/otus/blog/529684/ Остальной бред что у тебя написан коментировать даже лень. Единственный минус голого sql - нету lineage, который у многих ETL тулов существует. По производительности ETL уже давно мертв ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 05.05.2021, 11:38 |  | ||
| 
ETL vs ELT | |||
|---|---|---|---|
| #18+ Ivan Durak авторSQL не шардируется Единственный минус голого sql - нету lineage, который у многих ETL тулов существует. По производительности ETL уже давно мертв В целом всё так. Уже давно тут на форуме ETL/ELT обсуждался и я тоже писал длиннопосты на эту тему. Последние ETL хоронилища помню в 2009 году. После уже одни ELT. Просто видимо есть какая-то область средне-малых эмэссикуэль хоронилищ, в которых работают некоторые участники и там до сих пор активно применяется ETL. И видимо мир этих легаси-хранилищ несколько отделен от реальности. ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 05.05.2021, 15:28 |  | ||
| 
ETL vs ELT | |||
|---|---|---|---|
| #18+ .Евгений ELT применяется в совокупности с якорной моделью, где запись на диск минимизирована и оптимальна. Меняется только то, что поменялось и используется только вставка. Я поработал 7 месяцев на кластере Гринплама 24 ноды. Так вот пересоздать всю партицию занимает не так много времени, по сравнению с обновлением строк. При 0.3% процента изменений строк в партиции ее уже быстрее полностью пересоздать. Это партиционированный колумстор с настройками сжатия колонок. На вертики ситуация похожа. В общем ELT это для массово-параллельных архитектур. ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 13.05.2021, 14:03 |  | ||
|  | 

| start [/forum/topic.php?fid=49&msg=40068529&tid=1857142]: | 0ms | 
| get settings: | 9ms | 
| get forum list: | 13ms | 
| check forum access: | 3ms | 
| check topic access: | 3ms | 
| track hit: | 44ms | 
| get topic data: | 11ms | 
| get forum data: | 3ms | 
| get page messages: | 46ms | 
| get tp. blocked users: | 1ms | 
| others: | 245ms | 
| total: | 378ms | 

| 0 / 0 | 
