powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Что нужно чтобы стать разработчиком bigdata/hadoop
12 сообщений из 12, страница 1 из 1
Что нужно чтобы стать разработчиком bigdata/hadoop
    #39333668
Saantos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Доброго времени суток!
В настоящий момент знаю java & maven & sql нормально для уровня junior, неплохо разбираюсь в высшей математике(хор. университетское образование + дополнительно сам занимался, это мне интересно, например сам проходил курс по ML из ШАД), поверхностно знаком с парадигмой map-reduce hadoop, nosql базами данных. Имею опыт программирования на др языках(например c/c++, python). В настоящее время работа не связана с java.
Есть мнение, что чтобы стать сабжем нужно поработать обычным java разрабом, и только потом туда соваться. Подскажите плиз в какой последовательности и что лучше изучать дальше.
...
Рейтинг: 0 / 0
Что нужно чтобы стать разработчиком bigdata/hadoop
    #39333677
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BigData и Java это немного параллельные вселенные. Не обязательно знать именно Java, чтобы понимать принципы работы BigData хранилищ или распределения обрабоки.

Мне вот этой теме много интересных ссылок накидали по NoSQL
http://rsdn.org/forum/db/6440867
Особенно вот тут очень интересный анализ подходов к решению
https://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis

Собственно если бы я хотел свою жизнь связать с big data, то я бы изучал в первую очередь все эти разные подоходы в рализации баз и какие проблемы они решают.
...
Рейтинг: 0 / 0
Что нужно чтобы стать разработчиком bigdata/hadoop
    #39333688
Saantos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Blazkowicz,
Спасибо за материалы. В вакансиях зачастую java и hadoop идут вместе.+ java я уже как-то знаю.
А по сабжу также очень интересует путь, который проходит разработчик от junior до bigdata/hadoop developer.
...
Рейтинг: 0 / 0
Что нужно чтобы стать разработчиком bigdata/hadoop
    #39333691
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SaantosВ вакансиях зачастую java и hadoop идут вместе.+ java я уже как-то знаю.
Уж не потому ли что все компоненты Hadoop реализованы на Java?

SaantosА по сабжу также очень интересует путь, который проходит разработчик от junior до bigdata/hadoop developer.
Никакого особого пути нет. Партия сказала "Надо!" - комсомол ответил "Есть!". Так и становятся.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
Что нужно чтобы стать разработчиком bigdata/hadoop
    #39571739
Saantos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Подниму тему.
В последний год время от времени возвращался к вопросу, сделал кое-какие некоммерческие проекты на стеке spring(core,datajpa,mvc,security)/hibernate/junit/jquery, недавно прошел курс по scala, вроде что-то получается и интерес есть. Имею представление про спарк и акку. Также есть вариант устроиться джуном скала. Вопрос в следующем: стоит ли это делать без коммерческого опыта на java и какие перспективы быть разработчиком на скале в Москве?
...
Рейтинг: 0 / 0
Что нужно чтобы стать разработчиком bigdata/hadoop
    #39571788
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SaantosПодниму тему.поиск по ветке форума делал?
...
Рейтинг: 0 / 0
Что нужно чтобы стать разработчиком bigdata/hadoop
    #39572516
fplab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не буду оригинальничать: по собственному опыту - с самого простого. Скачайте hadoop, настройте, проверьте. Скачайте любую NoSQL БД (я начинал с hbase), настройте, проверьте. Изучите shell. Без него работать не получится. Убедитесь, что связка hadoop-hbase работает, т.е. таблицы действительно сохраняются в hdfs.
Для меня самым сложным было врубиться к концепции NoSQL: привык к реляционным БД, а здесь все-все совсем-совсем по другому :)
А дальше, флаг в руки. Читаем, спотыкаемся, зализываем и так до просветления.
Много примеров тут (да и вообще, информации предостаточно).
...
Рейтинг: 0 / 0
Что нужно чтобы стать разработчиком bigdata/hadoop
    #39573183
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вот сколько с нашими бигдатерами не говорил. тоже думал что надо как то мозг перестроить чтоб думать носкулом и безреляционным мозгом. я всё думал как выложить в нереляционную структуру тривиальную задачу и всё никак не мог. спросил у них а они сказали так але это и невозможно )) к носкулу имхо надо относиться как к большой джейсон помойке и ничему более. ибо технология носкл и есть простая большая джейсон помойка.

у меня вообще складывается ощущение что создать что-то даже немного большое нереляционным просто невозможно. или неудобно.
...
Рейтинг: 0 / 0
Что нужно чтобы стать разработчиком bigdata/hadoop
    #39573223
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT,
Да. Именно поэтому ООБД не популярны.....своя ниша.
...
Рейтинг: 0 / 0
Что нужно чтобы стать разработчиком bigdata/hadoop
    #39573244
fplab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT,

Ну, я не стал бы так уж безапелляционно обзывать NoSQL базы большой json-помойкой. Да и не во всех них основой представления и хранения данных является json. Скажем, в MongoDB - да, тут все на json (видимо, Ваши бигдатеры с ней и работали?). Но вот та же HBase (или Cassandra) - уже нет. Достаточно интересное описание архитектуры HBase можно найти тут .
Соглашусь, что подавляющее большинство ежедневно встречающихся задач вполне можно решить реляционными базами данных. И не стоит насиловать ни себя, ни других, пытаясь переложить эти задачи на NoSQL. Но знаете, все-таки задачи бывают разные.
Если мне нужно вскопать участок земли для грядки, я возьму лопату. Но если мне надо вскопать гектар - тут уж лопаты маловато будет :)
Если данных мало (грубо говоря - до миллиарда записей или около того), то я выберу реляционную БД. Но если записей больше и они интенсивно добавляются (скажем, я сейчас работаю с системой где миллиард новых записей добавляется каждые 4 недели), то возникает вопрос - как их обрабатывать, как извлекать из них информацию. Причем, часто речь идет о временах в пределах 5-10 мс.
Далее, есть хорошо структурированные по природе данные. Тут реляционкам конкурентов нет (пока, во всяком случае). А если данные не очень, скажем так, структурированы?
Кроме того (и часто это является определяющим фактором), NoSQL просто рождены для кластеризации, причем узлы кластера могут географически разнесены по разным ЦОД-ам и континентам.
Конечно, NoSQL пока еще не очень взрослая технология. Здесь все бурлит и меняется. Это - минус. Но они точно не сгинут и хотя бы иметь представление о них - полезно (так мне кацца).
...
Рейтинг: 0 / 0
Что нужно чтобы стать разработчиком bigdata/hadoop
    #39573464
hck1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaTвот сколько с нашими бигдатерами не говорил. тоже думал что надо как то мозг перестроить чтоб думать носкулом и безреляционным мозгом. я всё думал как выложить в нереляционную структуру тривиальную задачу и всё никак не мог. спросил у них а они сказали так але это и невозможно )) к носкулу имхо надо относиться как к большой джейсон помойке и ничему более. ибо технология носкл и есть простая большая джейсон помойка.

у меня вообще складывается ощущение что создать что-то даже немного большое нереляционным просто невозможно. или неудобно.
странные у вас бигдатеры. дублируя данные можно абсолютно любую структуру заставить работать на бигдате. с опытом реляционнки по началу это выглядит дико и ни за что не взлетит, но реально там надо мозг чуть перестроить и не бояться дублировать. кроме этого бигдата не запрещает работать с табличками в реляционном стиле с джоинами. всякие импалы, спарки, kudu достаточно близко к привычным реляционным таблицам позволяют работать.
...
Рейтинг: 0 / 0
Что нужно чтобы стать разработчиком bigdata/hadoop
    #39573540
fplab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hck1,

Поддерживаю. Мозг, действительно, надо перестроить. На первых порах сопротивление дикое (по себе сужу), но постепенно доходит
...
Рейтинг: 0 / 0
12 сообщений из 12, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Что нужно чтобы стать разработчиком bigdata/hadoop
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]