Yo.!Max_11111Пока задача стоит - разобраться что из себя представляет hadoop и как с ним работать. с R или без него.
Задачи, которые мы надеемся решить: поиск похожих товаров, поиск сопутствующих товаров, анализ комментариев к товарам (чтобы понимать что в нём плохого, а что хорошего), анализ логов. Пока часть задач в том или ином виде решена через SQL и SSAS Data Mining.
Чего хочется от hadoop - ускорения расчётов, реализации других алгоритмов (сейчас они либо с костылями, либо непрозрачные, в которых мы не знаем что происходит и как выдаётся результат)
затея вполне здравая. по мне хадуп это кроме дешевой масштабируемости и возможности уйти в облака еще и набор патернов. т.е. тот кто будет разбираться в вашей системе будет сразу примерно представлять, что и как у вас сделано.
чем меньше узлов, тем меньше данные будут гулять по нетворку (пусть и виртуальному), так что выгодней 4 узла.

1. Hadoop это история не про ускорение расчетов, а про горизонтальную масштабируемость, экономичность и отчасти - неструктурированные данные. На объемах данных, которые можно впихнуть в low-level (как у автора топика) или midrange машину (что-то типа ~ несколько десятков ядер, до терабайта оперативы, несколько десятков терабайт дискового пространства за 10-20 килобаксов) и данных, которые можно впихнуть в мелкомягкие сиквеля или оракл, оные БД Hadoop рвут как тузик грелку. Не говоря уже о головняке с настройкой Хадупа, обеспечением его стабильности и прочая-прочая.

2. Поднимать виртуалки на одном слабом сервере, чтобы из этих нод сделать хадуп - это изврат, который имеет смысл только, чтобы поиграться с технологией. Но проще тогда в облаке железо арендовать.

3. Связываться с хадупом или нет - зависит от:
3.1. объемов данных, имеющих ценность и пригодных для анализа. Ударение на словах "имеющих ценность и пригодных для анализа", а не на слове "объем". Но при объемах порядка терабайтов в этом нет никакого смысла от слова совсем.
3.2. бюджетов. Кому-то midrange машины - слабое железо, а кому-то 15 килобаксов огромные деньги. Если первое, то и при объемах порядка десятков терабайт в Хадупе нет никакой необходимости, если второе - теоретически может быть смысл.
3.3. структуры данных. Если большая часть данных структурирована - хадуп идет нафиг, если наоборот - привет хадуп.
3.4. задач. R изначально заточен под задачи статистики, многие задачи ML там можно решать, но на Python это делать удобнее. Точно так же, как стат.вычисления удобнее делать в R, хотя Python это тоже позволяет делать.
Опять-таки, hadoop сам по себе это история про "одним заходом перелопатить много данных", а это важная история, но далеко не единственная. Плюс даже в крупных компаниях с Python часто работают на локальных нодах кластера, а не распределенно. Потому что большую часть задач так можно сделать, а распределенно машинку в кластере гонять немного ...трудоемко.
и т.д. и т.п.