Alexey TominMax_11111пропущено...

Пытался как-то поднять hadoop самостоятельно по мануалам - так и не осилил эти костыли. Есть готовые бесплатные сборки, желательно уже с Hive?

Cloudera же

+

для деплоймента hadoop
Apache Ambari

как алтернативу могу предложить

Сторадж
Azure Data Lake Storage (like HDFS) - 40$/Tb/month
Оно может прикидываться HDFS, поддерживается как микрософтовским ADLA, так и всей экосистемой hadoop

Процессинг
Azure Data Lake Analytics U-SQL (logically like Hive) - billing 2.0$ * elapsed_time_hours * nodes_count
Можно пилить кастомные экстеншны на .NET outputter, extractor, reducer (не всмысле map reduce), applier, transformation
Также есть ADLA DB, как хайвовский и также сделан и партишнинг и дистрибюшены (для выравнивания данных под джойны и группировки, есть статистика).
Если класная аналитика перфоманса джобов с анализом зависимости количество нод/время выполнения. Есть куча свистоперделок типа поиска critical path в плане, показывает data skew и прочее. Есть куча хинтов костылей для помощи с вашей стороны оптимизатору и т. п..

Оркестровка
Azure Data Factory (like Oozie) - cheap
SSIS (добавили в таски для запуска U-SQL jobs и заливки скачивания файлов с ADLS)

Со всем этим работал, с самого его появления с preview. Если будут вопросы или интерес, то пишите. Оно удобное и приятное. Поначалу прошел по всем граблям, что только можно было от багов в движке до лимитов, которые потом пофиксили. Переписывался с их архитектором Майклом Рисом, и продуктовой командой, от них получал очень быстро кастомные фиксы движка которые они деплоили в наш ажуре регион до тех пор пока фикс не пойдет в мастер ветку (есть возможность запускать джобы с кастомным рантаймом).
...

+ если будешь юзать эту связку ADLS + ADLA +ADF, то сторадж биллится отдельно, вычислительные ресурсы отдельно и только за полезное время (время работы джоба). довольно дешево + когда надо потянешь ползунок в нужную сторону (больше/меньше).

+ в дополнение к ADF есть adla copy тулза для копирования данных между ажуре регионами или с онпремизес в ажур (входящий в ажур трафик бесплатный)