a_voroninИгорь БобакВжик, я в данный момент именно этот курс и прохожу - вот сейчас лабораторную делаю.

Если человек сразу за такой вот курс возьмется с нуля, он не поймет ничего. Чтобы понять как работает RDD в спарке, надо понять схему выполнения mapreduce, и увидеть разницу. Спарк надо учить не с пайтона, а со scala, потому что именно на ней он написан. Есть книжка Holden Karau "Learning Spark", вот если бы я ее до этого не прошел - фиг бы я понял в курсе EdX что на самом деле происходит.

Можете посоветовать человеку, который специализируется на SQL Server, SSAS, что последовательно изучать для постижения BigData.

Для начала начните с того, что поднимите для себя сам хадуп - здесь моя статья
http://ihorbobak.com/index.php/2015/05/06/installing-hadoop-using-ambari-server/
и среды разработки
http://ihorbobak.com/index.php/2015/06/23/installing-development-tools-on-hadoop/
на отдельной виртуалке.

Выучите java, разберитесь хорошо с maven, и реализуйте на IntelliJ IDEA всем известный пример задачи с wordcount
http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
но вот только не пытайтесь этот код компилировать тем способом, что описано в тьюториале, потому что это маразм. Лучше всего работать в IntelliJ с помощью maven, используя зависимость

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.6.0</version>
</dependency>


Но для начала скачайте Hadoop_Fundamentals_LiveLessons_2nd_Edition (есть на пиратских источниках это видео - здесь не имею права приводить), поймите что есть что, поймите как файлы в HDFS запихивать, как их оттуда вынимать и т.д. - базовые вещи. А то даже для реализации wordcount Вам придется файл в HDFS положить как-то.

Потом поставьте перед собою более сложную задачу. Я когда учился, поставил перед собою задачу сделать анализ логов веб-сервера на предмет того, из какой страны сколько раз каждый URL запрашивали в каком месяце. Логи взял у друга с его веб-сервера (да этого добра можно найти валом), потом здесь http://www.ip2nation.com/ вытянул БД на mysql, которая ставит в соответствие диапазон IP адресов стране, из этого добра создал zip файл, содержащий отсортированный список, класс, который по IP адресу отдает страну, этот zip файл через distributed cache пропихнул из кода драйвера (перед тем как делать join на уровне mapper-а).
Пришлось почитать книжку hadoop mapreduce cookbook и т.д.

Вы себе можете и другую задачу поставить, только желательно посложнее чем wordcount.

Тут важно следующее: попробуйте хоть что-то сделать. Вот когда поймете как работает Hadoop.

Да, и еще забыл сказать: забудьте о windows. Вот даже не пытайтесь на винде поднять Hadoop и что-то разрабатывать, потому что это извращенство. Всю разработку, все операции и т.д. вам придется делать в линуксе. Рекомендую CentOS 6.6 (а не ubuntu) - она максимально приближенная к redhat, которая как правило в кластерах и работает.

кириллkсделал табличку в 1 000 000 000 записей. скормил это hortonworks

вскормил это куда? в sandbox?

вскармливал каким механизмом? sqoop? инструкцию прочел о распараллеливании (параметр -m) ?


кириллkОн подавился.
вот думаю что делать дальше )

он подавился выполняя что? втягивание этих данных? или подавился на этапе последующей выборки?

хард какой? скорость мерял кто-нибудь?

короче, объясните толком как делали, какое железо, откуда данные тянули, а дальше будем думать.