Бегло пробежался по топикам, с удивлением обнаружил, что народ все еще мусолит тему MapReduce. Оно реально все еще активно используется или так просто по привычке называют новые фреймворки, типа Tez'a, Flink'a, Spark'a?

Ivan DuraksamatomApex,
а что сейчас в моде за бугром? Заранее спасибо.
pig, spark вполне
Популярность Pig стремительно падал еще два года назад. Однако, я как-то делал анализ наиболее популярных приложений, которые ставят на кластеры AWS EMR. Статистика конечно не учитывала приложения установленные вручную, а так же мертвые приложения, которые установили, но ни разу не использвали. В итоге получилось, что среди движков обработки данных наиболее популярным был Hive + Tez, за ним шел как раз Pig, что всех очень сильно удивило, потом был HBase, а за ним уже Spark и Presto. Тренд роста популярности у Spark был самый быстрый. На счет Pig, все пришли к выводу, что его просто ставят в нагрузку, но реально почти не используют, что косвенно подтвердилось анализом логов кластеров.

Yo.!ApexБегло пробежался по топикам, с удивлением обнаружил, что народ все еще мусолит тему MapReduce. Оно реально все еще активно используется или так просто по привычке называют новые фреймворки, типа Tez'a, Flink'a, Spark'a?
думаю большинство map-reduce. cloudera, крупнейший дистр, еще толком не интегрировал spark2. а он крупнейший.
версия 2.1 только месяц-два назад выложили, а в 2.0 какие-то страшные ограничения
Spark2 On HBase is not Supported
Structured Streaming is not supported
Kudu is not Supported
Spark Avro is not Supported

т.е. в популярных дистрах это еще совсем экзотика
Cloudera всегда отставала в версиях от того же Horton, зато их дистрибудтив считался более стабильным.
Но это уже на самом деле не так важно, т.к. главный тренд сейчас - это облака, весь крупняк уверенно туда идет, средний бизнес активно подтягивается, мелочь там изначально.