ASCRUSAlexander RyndinОчень простой и довольно распространенный кейс: есть табличка-измерение - 30 млн. клиентов, а также табличка фактов с операциями этих клиентов (для простоты пускай это будут звонки/смс). Допустим 20% звонков/смс сделаны с 2-10 служебных номеров (Яндекс-такси, Сбербанковский информатор и т.д.). Как тогда будешь пилить данные между узлами?
Никак не буду. Клиентам скажу сегментироваться и сортироваться по PK, а звонкам сегментироваться по своему PK, а сортироваться по FK ключ клиента + другие поля, значимые при фильтрах запросов. Дальше оптимизатор Вертики сам все сделает правильно (фильтры+MERGE JOIN+частичный BROADCAST) Как измерение и факт в сегментации связаны и какие здесь проблемы? :) Руками в Вертике такие вещи не делаются, это забота оптимизатора.

В общем Саш, ты о чем то таком ручном говоришь не понятном, чего в Вертике просто нет.
Сразу видно, что вы не сталкивались с такой проблемой :-)
1)
каждый join клиентов на операции будет происходить redistribute (с вертикой не знаком, но в других mpp это так) по ключу клиента (т.к. по нему идёт join)

2) REdistribute приведёт к тому, что на отдельных нодах(процессах, сегментах, amp'ах) окажется больше операций чем на других (т.к. распределение пойдёт по ключу клиента) из-за чего весь комплекс будет работать со скоростью наиболее загруженной ноды.


Как решить эту проблему:

1 Вариант простой:

select c1, c2, c3 from customer c
join operation o on c.cus_id=o.cus_id and c.csu_id NOT IN (перечисляем клиентов у которых те самые 20% записей, которые дают перекос)
union all
select c1, c2, c3 from customer c
join operation o on c.cus_id=o.cus_id and c.csu_id IN (перечисляем клиентов у которых те самые 20% записей, которые дают перекос)

В 1-м запросе система просто делает redistribute исключая записи, которые дадут перекос в данных на нодах .
Во втором (если оптимизатор умный) система распределит нужные записи из таблички клиентов на все ноды, где локально соединит ихс операциями.

2-й способ относится не ко всем MPP, и не ко всем случаям.

Вроде как-то так, если ничего не напутал и не забыл.

А по поводу "успешного внедрения за полгода" извините не верю. Может парочку витрин сделали, но полноценным внедрением это называть...
+ну какие там на украине сейчас кредитные карты, там просрочка должна бы уже в космос улететь, в стране восстание, до должников дела никому нет. А раз так, то не верю я в необходимость MPP - нет там объёмов таких. Короче реклама это всё.