privateПривет, сейчас есть интересное направление - BigData, Hadoop и т.д. и я даже участвовал в небольшом проекте, но всеравно не очень сильно понимаю что именно на нем считается? И как?

- Какие задачи вы решаете?

Разные. Тут один товарищ из Оракла сказал- "хадуп это антресолька". Т.е. дешёвое хранилище больших объёмов.

private- Что вы используете для Map/Reduce - Java, или скриптовые языки, напр. Python, Ruby?

java, просто потому, что единственный апологет python'а у нас- PM, а это по вопросу выбора языка имеет только совещательный голос :)

private- Сами Map/Reduce пишите или используете Pig / Hive?

Для больших задач- сами, если надо чего быстро прикинуть- то Hive. Глючен он страшно...

private- Насколько сложные вычисления достаточно ли базовых знаний статистики, алгоритмов, или используете очень сложные алгоритмы?

И сложные тоже есть.

private- На что уходит основное время разработки - на решение прикладных задач, обдумывание алгоритмов и написания их Map/Reduce или написания инфраструктуры вокруг хадупа, интеграция с другими системами?

У сложной задачи и алгоритм придумать сложно, чтобы кластер не треснул, и потом кластер держать, чтобы не развалился, тоже надо.

private- Допустим вы посчитали что-то - где вы храните полученные результаты? В самом Hadoop, HTable, какой-то другой базе?

Некоторые выгружаем в "обычные" БД. Все храним в hbas/hdfs.

private- Чем деплоите кластер?

Не понял. Можно на любую машину кластера (или вообще любой машины с хадупом) закинуть fat-jar и запустить "hadoop jar task.jar"
Можно (если в task.jar ещё и библиотеки хадупа запихнуть) вообще с любого компьютера "java -jar task.jar" выполнить- если доступ есть- оно само на кластер задеплоится.

Вот если SOLR нужен- тут да, посложнее...