Вопрос в топике задан слишком просто, позвольте расшифровать.

Есть 250 миллионов строк за год, все это собирается с разных внешних информационных систем (занимаемся разработкой мобильного приложения). Только начали это делать, первую имплементацию пайплайна сделал на спарке, standalone кластер, мощная машинка с линуксом (64 ядра 256 гиг оперативки). Думаем что делать дальше, видим что данных скоро будет 10х от того, что есть.

Для экономии денег я рассматривал вариант построения on-premise кластера со спарком, который будет удовлетворять как задачи обработки, так и задачи кверяния этих данных.

Пришел новый человек в другой отдел, и очень агитирует за то, чтобы перейти на big query. С его слов, обработку можно делать не только спарком, но и с помощью Airflow+big query. На его прошлой работе была именно такая комбинация: были написаны джобины на пайтоне, которые оркестрировались в airflow, все это записывалось в big query, и потом эти данные он оттуда кверял. А еще он утверждает что это все очень дешево.

И у нас случился небольшой холливар, но по факту я человек трезвомыслящий: хочу понять, неужели с помощью airflow+big query можно технически заимплементить все настолько удобно и легко, как на спарке, и это все будет работать в scalable манере да еще и дешево?

Ну то есть, здесь есть хоть кто нибудь, кто пытался свою big data архитектуру строить на airflow + BQ?

Пропустили часть предложения выше: "видим что данных скоро будет 10х от того, что есть".

"видим" = не "от фонаря думаем", а "тщательно подсчитали".
И это только в ближайшем будущем.

Во вторых, я не сказал ни слова о ширине строк (т.е. к-ве колонок). Их не десятки. Их пару сотен на старте, дальше приклеиваются.

Я понимаю что всегда есть желание сразу поосуждать того, кто начал тему, однако я смотрю сейчас на DAG visualization в спарке своих джобов, и что-то не верю, что какой-то постгрес бы столько обработал за такое краткое время на моих 64 ядрах.

Так что вопрос остается в силе.

H5N1,

спасибо за ответ.

C big query у меня еще есть одна непонятка на счет расчета цены, может Вы сможете подсказать?

они пишут что деньги берут за хранение (здесь все понятно) и за обработку, и даже приводят примеры как считается размер колонки в зависимости от типа.

вот только мне одно не понятно: если у меня случайно был написан кривой запрос, который вычитал 1000 строк из одной таблицы, 1000 строк из другой, и случайно сделал кроссджойн между ними (и вышло миллион строк), то с меня возьмут денег за 2000 строк, или же все-таки за миллион? (учитывая, что этот миллион возможно надо будет разместить в памяти, может по частям может нет - это уже не важно, но на одном из промежуточных этапов выполнения SQL будет сгенерировано миллион строк)

Я просто не понимаю что они считают: только то, что вычитают из диска, или же сумму всех промежуточных байт, которые были скушаны на всех промежуточных этапах выполнения sql запроса?