Владимир ШтепаПолковник.,

авторКоллега мой бывший в Германии смотрит в сторону мемориоптимайзед таблиц

Если вы имеете ввиду column store, то на них JOINS при высокой кардинальности работают архимедленно, так как batchmode выполнения запросов вываливается в row mode, со всеми присущими побочными негативами.

Т.е. получается, что ничего, чем можно гордится, на HashKey пока еще не вышло.

Проект тут на Vertica со всем этим DV 2.0 на md5 ключах, очень жалко смотреть как хорошая база убивается на этих джойнах, причем данных с одной стороны ~20Tb, с другой стороны всего 20 Тб ) Причем загрузка здесь последовательная (измерения и потом факты), так что смысл вообще потеряли по пути )
Я пока не видел места, где бы md5 сильно помогал бы, не видел места где нельзя было бы "дообогатить" измерения потом. Это надо совсем непрерывный поток иметь без окон, не доводилось пока.

Полковник.Я имел некоторый опыт с vertica в т.ч и на DV 2.0. Скажу так эта база для джойнов вообще не предназначена, она для другого. Если хотите джойнов на вертике увеличивайте кол-во узлов и готовьтесь покупать хорошее железо.
Вы пишите про загрузку последовательную загрузку измерений и фактов, вы что то напутали - в DV нет измерений и фактов, или вы про загрузку из DV датамарта? Ну это скорее особенности вашей реализации. Я например в текущем проекте с DV 2.0 измерения вообще не гружу, они виртуальные, гружу только таблицы фактов

Спасибо за совет, если можно было бы избавиться от джойнов, избавились бы ) Но, как часто в больших компаниях / проектах, я делаю свой маленький кусок (и там есть pre-joined projections), а караван уже 10 лет идет. К тому же сидит команда поддержки в 20 человек, что они делать будут, если все заработает? )

И да, вы правы, над DV тут еще уровень витрин со звездами, и там последовательно все грузится. Но и DV слой тоже грузится последовательно, поэтому бонус от хеширования где-то давно потерян.

Т.е. вы тоже таблицы фактов из DV пересобираете для репортинга? Оставляя md5 ключи к измерениям? Я до сих пор не вижу ничего такого в md5, что компенсировало бы потери производительности на витринах.

Полковник.Юрий Кудрявцев,

Пробовал я эти преджойн проекции, мало помогает. После нескольких месяцев плясок с бубном я из той конторы ушел, вериика меня довела ... Я сильно разлюбил колоночные базы и всякие новомодные фишки. Советуют еще такую вещ - измерения и факты загрузить в одну широкую таблицу, но я не пробовал.


Тут помогают. Но да, в идеале надо грузить простыню уже преджойненную, так лучше всего.



Полковник.Вы в Австралии? Там самое сильное комьюнити DV 2.0

Да, тут в CommBank DV сам Линдстедт настроил в свое время таких масштабов, что по всему рынку волнами расходится ) Там все навороченно (hadoop + terradata), 200+ человек занимаются.