essbase.ruНе пинайте больно , хочется узнать "по быстрому" ))

Задача процессинг текстовых файлов ,
Есть (будет ) сотни лямов csv файлов размером 100-200 kb (~1,5-2 TB) , по своей структуре напоминающие таблицу фактов

Над всем этим чудом будет веб-ферма веб служб , которые будут создавать и удалять эти файлы произвольным (и хаотичным) образом.
Требуется сверхбыстрый доступ.

Вопрос , - что я должен знать о HDFS , что бы не наступить на очевидные грабли.

Например
включить сжатие ?? (оно есть ? )
использовать систему мониторинга , что бы вовремя добавить узел в кластер
в качестве провайдера услуг , думаю о дешевом SSD хостинге ( digitalocean ?? ) , есть ли возможность объединять HDFS узлы через SSH ?
есть ли у HDFS web служба из коробки ?

1. Hdfs всё же не само по себе. Если CDH - то там есть веб-служба (Hue).

2. Hdfs ОЧЕНЬ не любит большого количества файлов. Мой опыт- перепаковка 200 000 несжатых файлов в 2000 сжатых (где-то в 3-5 раз ужимались) snappy повысила скорость обработки раз в 100. Более того, до перепаковки часто процесс падал при обработке. Данных- было 1000 и 5Мб строк в каждом файле (т.е. в сумме террабайт где-то). Но надо понимать, что менять файлы в hdfs тоже плохая затея- так что придётся переписывать весь файл заново.

3. Сжатие хорошо. Самый быстрый вроде snappy, но надо пробовать- может bzip2 лучше будет.

4. С временем доступа в hadoop вообще плохо. Это ж слоник- разгоняется долго :)