Вопрос в порядке бреда )
Почему-то, когда наши компании внедряют всякие big data и open source-технологии, то обычно это делается на брендованном оборудовании за много-много миллионов. Почему не делают, например, как на рисунке?

Смысл в том, чтобы размазать все данные по контейнерам на простых пользовательских машинах, вес которых (для примера) будет определятся по скорости обработки данных. И чем больше вес, тем больше данных туда можно положить/обработать. Распределение данных пусть будет с избыточностью на случай, если часть машин будет отключена по каким-то причинам. Если же будет отключено много машин - расчет сделают map-элементы на схеме (часть неотключаемого ядра).


При этом и у нас, и в мире много организаций, где парк ПК составляет несколько десятков тысяч машин... Вкусно же!
И самый главный плюс - самоапгрейдящиеся вычислительные элементы

ps а может так уже у кого-то реализовано? если да, то поделитесь инфой

H5N1,

Ну что значит "постоянно перегружаются"? Обмен между клиентскими нодами можно построить на чем-то наподобие внутреннего торрент-трекера, будет весьма быстро.

И вопрос с распределением данных вполне можно решить.

Если же такая неприятность все же случилась, то ваш скоринг просто посчитается на map-узлах за те же условные 20 минут, вместо 20 секунд на клиентских нодах.

L_argo,

Сетевые сбои крайне редки, а если все же происходят, то не будет работать не только то, что нарисовано на картинке, но и все другие системы. Также уже не редки 10-гигабитные сетки. Вопросы доступности узлов решаются многократной избыточностью и неотключаемым ядром.

Производительность тоже вопрос решаемый, скажем, выделить каждому контейнеру сколько-то Гб ОЗУ, CPU с самым низким приоритетом и свой nvme-диск. Ведь не секрет, что 95% времени обычные офисные машины просто простаивают и уж точно не утилизируют полностью ресурсы процессора.

Почему вообще такая идея возникла - сейчас все идут в сторону удешевления, в том числе и в плане перехода на на дешёвое потребительское оборудование в датацентрах. Так почему бы не сделать нечто вроде SETI@home или ее аналогов для больших корпораций?