Есть некий сервис, который генерирует логи через nginx. Нагрузка порядка 2-4 млн записей в минуту. Нужно по логам делать статистику ( стандартные хосты, уники и тп + поведение юзеров по сессиям - те анализ отдельно по каждой сессии + агрегация всего этого ).
Желательно чтобы это все обрабатывалось в почти реальном времени ( ну с некоторой задержкой - это допустимо ).

Какие есть варианты для решения задачи ?

Я предполагаю использовать hdfs на серверах и писать туда логи через какой нить транспорт чанками ( syslog или fluentd ) например по 15 минут. После через hive или spark ( кстати что лучше для этой цели ? ) анализировать логи по сессиям и соотв агрегировать статистику ( кстати это можно делать там удобно или нет ? ). В этом случае если я правильно понимаю нагрузка будет только на файловую систему hdfs кластера ( куда будут писаться логи ) + в зависимости от мощности процессоров се рверов будет получать искомую статистику. Ну и результат засовывать в какую нить cassandra ( или что там лучше для этой цели ? )

Другой вариант: logstash в качестве транспорта пишет логи в elasticsearch, далее все это анализируется в kibana. Но будет ли в данном случае вариант приемлим ? Если я правильно понимаю логи будут писаться непосредственно в БД elasticsearch ? По идее нагрузка на железо в данном случае будет больше ( интересно насколько )? И если я правильно понимаю, что kibana больше предназначена для быстрой визуализации данных ( т е для задач типа: взять сырой лог, "накликать" в интерфейсе условия выборки и просмотреть ) - и соотв. проследить пользователей по сессиям тут уже затруднительно тем более через скрипты или я ошибаюсь ?