Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
25.10.2016, 15:37
|
|||
|---|---|---|---|
|
|||
Что нужно чтобы стать разработчиком bigdata/hadoop |
|||
|
#18+
Доброго времени суток! В настоящий момент знаю java & maven & sql нормально для уровня junior, неплохо разбираюсь в высшей математике(хор. университетское образование + дополнительно сам занимался, это мне интересно, например сам проходил курс по ML из ШАД), поверхностно знаком с парадигмой map-reduce hadoop, nosql базами данных. Имею опыт программирования на др языках(например c/c++, python). В настоящее время работа не связана с java. Есть мнение, что чтобы стать сабжем нужно поработать обычным java разрабом, и только потом туда соваться. Подскажите плиз в какой последовательности и что лучше изучать дальше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.10.2016, 15:45
|
|||
|---|---|---|---|
|
|||
Что нужно чтобы стать разработчиком bigdata/hadoop |
|||
|
#18+
BigData и Java это немного параллельные вселенные. Не обязательно знать именно Java, чтобы понимать принципы работы BigData хранилищ или распределения обрабоки. Мне вот этой теме много интересных ссылок накидали по NoSQL http://rsdn.org/forum/db/6440867 Особенно вот тут очень интересный анализ подходов к решению https://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis Собственно если бы я хотел свою жизнь связать с big data, то я бы изучал в первую очередь все эти разные подоходы в рализации баз и какие проблемы они решают. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.10.2016, 15:55
|
|||
|---|---|---|---|
|
|||
Что нужно чтобы стать разработчиком bigdata/hadoop |
|||
|
#18+
Blazkowicz, Спасибо за материалы. В вакансиях зачастую java и hadoop идут вместе.+ java я уже как-то знаю. А по сабжу также очень интересует путь, который проходит разработчик от junior до bigdata/hadoop developer. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.10.2016, 15:59
|
|||
|---|---|---|---|
|
|||
Что нужно чтобы стать разработчиком bigdata/hadoop |
|||
|
#18+
SaantosВ вакансиях зачастую java и hadoop идут вместе.+ java я уже как-то знаю. Уж не потому ли что все компоненты Hadoop реализованы на Java? SaantosА по сабжу также очень интересует путь, который проходит разработчик от junior до bigdata/hadoop developer. Никакого особого пути нет. Партия сказала "Надо!" - комсомол ответил "Есть!". Так и становятся. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.12.2017, 04:03
|
|||
|---|---|---|---|
|
|||
Что нужно чтобы стать разработчиком bigdata/hadoop |
|||
|
#18+
Подниму тему. В последний год время от времени возвращался к вопросу, сделал кое-какие некоммерческие проекты на стеке spring(core,datajpa,mvc,security)/hibernate/junit/jquery, недавно прошел курс по scala, вроде что-то получается и интерес есть. Имею представление про спарк и акку. Также есть вариант устроиться джуном скала. Вопрос в следующем: стоит ли это делать без коммерческого опыта на java и какие перспективы быть разработчиком на скале в Москве? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.12.2017, 07:50
|
|||
|---|---|---|---|
Что нужно чтобы стать разработчиком bigdata/hadoop |
|||
|
#18+
SaantosПодниму тему.поиск по ветке форума делал? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.12.2017, 10:30
|
|||
|---|---|---|---|
Что нужно чтобы стать разработчиком bigdata/hadoop |
|||
|
#18+
Не буду оригинальничать: по собственному опыту - с самого простого. Скачайте hadoop, настройте, проверьте. Скачайте любую NoSQL БД (я начинал с hbase), настройте, проверьте. Изучите shell. Без него работать не получится. Убедитесь, что связка hadoop-hbase работает, т.е. таблицы действительно сохраняются в hdfs. Для меня самым сложным было врубиться к концепции NoSQL: привык к реляционным БД, а здесь все-все совсем-совсем по другому :) А дальше, флаг в руки. Читаем, спотыкаемся, зализываем и так до просветления. Много примеров тут (да и вообще, информации предостаточно). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.12.2017, 00:35
|
|||
|---|---|---|---|
Что нужно чтобы стать разработчиком bigdata/hadoop |
|||
|
#18+
вот сколько с нашими бигдатерами не говорил. тоже думал что надо как то мозг перестроить чтоб думать носкулом и безреляционным мозгом. я всё думал как выложить в нереляционную структуру тривиальную задачу и всё никак не мог. спросил у них а они сказали так але это и невозможно )) к носкулу имхо надо относиться как к большой джейсон помойке и ничему более. ибо технология носкл и есть простая большая джейсон помойка. у меня вообще складывается ощущение что создать что-то даже немного большое нереляционным просто невозможно. или неудобно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.12.2017, 07:39
|
|||
|---|---|---|---|
Что нужно чтобы стать разработчиком bigdata/hadoop |
|||
|
#18+
andreykaT, Да. Именно поэтому ООБД не популярны.....своя ниша. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.12.2017, 08:28
|
|||
|---|---|---|---|
Что нужно чтобы стать разработчиком bigdata/hadoop |
|||
|
#18+
andreykaT, Ну, я не стал бы так уж безапелляционно обзывать NoSQL базы большой json-помойкой. Да и не во всех них основой представления и хранения данных является json. Скажем, в MongoDB - да, тут все на json (видимо, Ваши бигдатеры с ней и работали?). Но вот та же HBase (или Cassandra) - уже нет. Достаточно интересное описание архитектуры HBase можно найти тут . Соглашусь, что подавляющее большинство ежедневно встречающихся задач вполне можно решить реляционными базами данных. И не стоит насиловать ни себя, ни других, пытаясь переложить эти задачи на NoSQL. Но знаете, все-таки задачи бывают разные. Если мне нужно вскопать участок земли для грядки, я возьму лопату. Но если мне надо вскопать гектар - тут уж лопаты маловато будет :) Если данных мало (грубо говоря - до миллиарда записей или около того), то я выберу реляционную БД. Но если записей больше и они интенсивно добавляются (скажем, я сейчас работаю с системой где миллиард новых записей добавляется каждые 4 недели), то возникает вопрос - как их обрабатывать, как извлекать из них информацию. Причем, часто речь идет о временах в пределах 5-10 мс. Далее, есть хорошо структурированные по природе данные. Тут реляционкам конкурентов нет (пока, во всяком случае). А если данные не очень, скажем так, структурированы? Кроме того (и часто это является определяющим фактором), NoSQL просто рождены для кластеризации, причем узлы кластера могут географически разнесены по разным ЦОД-ам и континентам. Конечно, NoSQL пока еще не очень взрослая технология. Здесь все бурлит и меняется. Это - минус. Но они точно не сгинут и хотя бы иметь представление о них - полезно (так мне кацца). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.12.2017, 12:42
|
|||
|---|---|---|---|
Что нужно чтобы стать разработчиком bigdata/hadoop |
|||
|
#18+
andreykaTвот сколько с нашими бигдатерами не говорил. тоже думал что надо как то мозг перестроить чтоб думать носкулом и безреляционным мозгом. я всё думал как выложить в нереляционную структуру тривиальную задачу и всё никак не мог. спросил у них а они сказали так але это и невозможно )) к носкулу имхо надо относиться как к большой джейсон помойке и ничему более. ибо технология носкл и есть простая большая джейсон помойка. у меня вообще складывается ощущение что создать что-то даже немного большое нереляционным просто невозможно. или неудобно. странные у вас бигдатеры. дублируя данные можно абсолютно любую структуру заставить работать на бигдате. с опытом реляционнки по началу это выглядит дико и ни за что не взлетит, но реально там надо мозг чуть перестроить и не бояться дублировать. кроме этого бигдата не запрещает работать с табличками в реляционном стиле с джоинами. всякие импалы, спарки, kudu достаточно близко к привычным реляционным таблицам позволяют работать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=59&tablet=1&tid=2122384]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
52ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
37ms |
get tp. blocked users: |
1ms |
| others: | 192ms |
| total: | 320ms |
| 0 / 0 |
