|
ETL vs ELT
|
|||
---|---|---|---|
#18+
Заявленная выше тема велика и необъятна, а потому хотел бы начать, поделившись своим впечатлением от The Essential Guide to Data Integration - How to thrive in an age of infinite data .
... |
|||
:
Нравится:
Не нравится:
|
|||
04.05.2021, 19:52 |
|
ETL vs ELT
|
|||
---|---|---|---|
#18+
авторSQL не шардируется ты бы почитал про редшифт или сноуфлейк для начала. Или хотябы как в спарк уже переписывают медленное ява легаси на спаркsql https://habr.com/ru/company/otus/blog/529684/ Остальной бред что у тебя написан коментировать даже лень. Единственный минус голого sql - нету lineage, который у многих ETL тулов существует. По производительности ETL уже давно мертв ... |
|||
:
Нравится:
Не нравится:
|
|||
05.05.2021, 11:38 |
|
ETL vs ELT
|
|||
---|---|---|---|
#18+
Ivan Durak авторSQL не шардируется Единственный минус голого sql - нету lineage, который у многих ETL тулов существует. По производительности ETL уже давно мертв В целом всё так. Уже давно тут на форуме ETL/ELT обсуждался и я тоже писал длиннопосты на эту тему. Последние ETL хоронилища помню в 2009 году. После уже одни ELT. Просто видимо есть какая-то область средне-малых эмэссикуэль хоронилищ, в которых работают некоторые участники и там до сих пор активно применяется ETL. И видимо мир этих легаси-хранилищ несколько отделен от реальности. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.05.2021, 15:28 |
|
ETL vs ELT
|
|||
---|---|---|---|
#18+
.Евгений ELT применяется в совокупности с якорной моделью, где запись на диск минимизирована и оптимальна. Меняется только то, что поменялось и используется только вставка. Я поработал 7 месяцев на кластере Гринплама 24 ноды. Так вот пересоздать всю партицию занимает не так много времени, по сравнению с обновлением строк. При 0.3% процента изменений строк в партиции ее уже быстрее полностью пересоздать. Это партиционированный колумстор с настройками сжатия колонок. На вертики ситуация похожа. В общем ELT это для массово-параллельных архитектур. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2021, 14:03 |
|
|
start [/forum/topic.php?fid=49&msg=40068529&tid=1857142]: |
0ms |
get settings: |
13ms |
get forum list: |
16ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
42ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
55ms |
get tp. blocked users: |
2ms |
others: | 250ms |
total: | 402ms |
0 / 0 |