|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
Хочу задать вопрос, как начать двигаться в направлении BigData. Я программист со стажем и уже не столь молод. Сейчас специализируюсь на SQL Server / OLAP, работаю в области BI в крупной онлайн торговой площадке. Имею также некоторый опыт с Oracle. В прошлом имел дело с C# .NET , до этого с C++ и Turbo Pascal. Чувствую, что необходимо прокачиваться в направлении BigData. Если ставить вопрос так: с чего начать. На что делать акцент, если я в данный момент в основном ориентирован на Microsoft. Какие технологии стоит рассматривать? Какие книги, мануалы стоит читать? На какие курсы сходить? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2014, 18:31 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
a_voronin, если занимаетесь аналитикой, то посмотрите в сторону языка R и его применения в BigData. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2014, 19:21 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
Вступите в группу Big Data Developers in Moscow . ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2014, 19:22 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
skyANA, опа ) весьма полезная ссылка ) Спасибо ! ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2014, 22:52 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
Единственый способ двигаться к БигДата - работать с ней. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.10.2014, 21:56 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
TomatoЕдинственый способ двигаться к БигДата - работать с ней. да, а перед тем хорошо подумать и осознать, что БигДата - это не что-то, что завтра накроет всех и надо к нему готовиться, а узкое направление в обработке специальных данных, которые ложатся в концепцию БигДата. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2014, 12:49 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
WinnipuhTomatoЕдинственый способ двигаться к БигДата - работать с ней. да, а перед тем хорошо подумать и осознать, что БигДата - это не что-то, что завтра накроет всех и надо к нему готовиться, а узкое направление в обработке специальных данных, которые ложатся в концепцию БигДата.Гы. Каких таких специальных данных? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2014, 12:56 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
skyANAWinnipuhпропущено... да, а перед тем хорошо подумать и осознать, что БигДата - это не что-то, что завтра накроет всех и надо к нему готовиться, а узкое направление в обработке специальных данных, которые ложатся в концепцию БигДата.Гы. Каких таких специальных данных? гы-гы. неких, например, которые удобнее обрабатывать не в реляцонных базах, а в каком-нибудь noSql ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2014, 19:58 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
WinnipuhskyANAпропущено... Гы. Каких таких специальных данных? гы-гы. неких, например, которые удобнее обрабатывать не в реляцонных базах, а в каком-нибудь noSql Понятно, Вы не в теме. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2014, 20:06 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
skyANAWinnipuhпропущено... гы-гы. неких, например, которые удобнее обрабатывать не в реляцонных базах, а в каком-нибудь noSql Понятно, Вы не в теме. не в какой теме? теме БигДата, как чего-то нового надвигающегося на нас? тогда нет. Это ведь не какая-то революционная технология. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2014, 20:45 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
WinnipuhskyANAпропущено... Понятно, Вы не в теме. не в какой теме?Нет в BigData никаких специальных данных. Winnipuhтеме БигДата, как чего-то нового надвигающегося на нас? тогда нет. Это ведь не какая-то революционная технология.Ну да. MapReduce реализовали в Google ещё в 2003-м. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2014, 22:09 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
По работе пришлось столкнуться с MongoDb, очень узкозаточенная СУБД, без транзакций,без подтверждения записи,но с хорошей горизонтальной масштабируемостью. Сложно представить где её область применения, кроме веб. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2014, 05:32 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
GallemarСложно представить где её область применения, кроме веб.Web :) Она для этого и создавалась, почитайте историю проекта. P.S.: транзакции реализовали самостоятельно. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2014, 07:01 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
Gallemar, и как это без потверждения записи? А Write Concern ? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2014, 07:02 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
skyANA,оно реализовано в 2.6, сорри, про более ранние версии говорил:) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2014, 07:06 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
GallemarskyANA,оно реализовано в 2.6, сорри, про более ранние версии говорил:)С чего Вы это взяли? Write Concern давно уже есть (я с MongoDB познакомился в январе 2012, тогда уже был). В ноябре 2012 были внесены изменения в поведение по умолчанию: Default Write Concern Change . В 2.6 добавили изменения в виде "new write-operation protocol". ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2014, 07:19 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
skyANAWinnipuhпропущено... не в какой теме? Нет в BigData никаких специальных данных. Winnipuhтеме БигДата, как чего-то нового надвигающегося на нас? тогда нет. Это ведь не какая-то революционная технология.Ну да. MapReduce реализовали в Google ещё в 2003-м. нет, конечно, данные - они и в Африке данные. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2014, 12:23 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
WinnipuhskyANAпропущено... Нет в BigData никаких специальных данных. пропущено... Ну да. MapReduce реализовали в Google ещё в 2003-м. нет, конечно, данные - они и в Африке данные. Как легко Вы меняете свою точку зрения. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2014, 12:50 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
skyANAWinnipuhпропущено... нет, конечно, данные - они и в Африке данные. Как легко Вы меняете свою точку зрения. ага... давайте прицепимся к слову и будем развивать дискуссию...в бигдата никаких даных вообще нет, это же всего лишь название. Данные есть в конкретных проектах, реализациях. Специфика обработки и хранения данных, если вам так удобнее ;-) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2014, 13:43 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
По большому счёту, BigData это скорее "проблема", которая связана с ростом объёмов данных, гуляющих по разного рода системам. Логи там всякие, транзакции, информация с датчиков и физических устройств. Можно её херить, а можно куда-то складывать и обрабатывать по мере надобности. И данные эти не обязательно неструктурированные. Просто их зело много. Хранить их в традиционной РСУБД на дорогих хранилках это сильно дорого, и обрабатывать медленно, а чтобы обрабатывать быстрее, надо индексы и всяку прочую фигню создавать, что ещё более увеличивает объёмы. Посему юзаем Hadoop ибо позволяет дёшево хранить и в приемлемое время процессить. И безболезненно наращивать объём + производительность добавлением нод. Т.е. имеем одно из решений проблемы BigData. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2014, 14:35 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
Т.о. NoSQL не обязательно BigData, а BigData не обязательно NoSQL. Тот же Hive вполне себе поддерживает некое подобие SQL, хотя РСУБД, конечно, никак не является. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2014, 14:40 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
Что касаемо вопроса топикастера, то настраиваем тестовый кластер на виртуалках, заливаем данные в hdfs, и изучаем стек продуктов hadoop. А там будет понятно, надо оно Вам или нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2014, 14:52 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
WinnipuhskyANAпропущено... Как легко Вы меняете свою точку зрения. ага... давайте прицепимся к слову и будем развивать дискуссию...в бигдата никаких даных вообще нет, это же всего лишь название. Данные есть в конкретных проектах, реализациях. Специфика обработки и хранения данных, если вам так удобнее ;-)Мне лично всё равно, что Вы в теме плаваете :) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2014, 15:21 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
Очень лысыйТ.о. NoSQL не обязательно BigData, а BigData не обязательно NoSQL. Тот же Hive вполне себе поддерживает некое подобие SQL, хотя РСУБД, конечно, никак не является.Движки для Hadoop сейчас поддерживают SQL-92 (где частично, где полностью). Не все, но если надо SQL, то бери и пользуйся. IBM так вовсю рекламирует. Ну а фигли, у них внутри DB2 движок. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2014, 15:27 |
|
Как двигаться в сторону BigData
|
|||
---|---|---|---|
#18+
skyANAWinnipuhпропущено... ага... давайте прицепимся к слову и будем развивать дискуссию...в бигдата никаких даных вообще нет, это же всего лишь название. Данные есть в конкретных проектах, реализациях. Специфика обработки и хранения данных, если вам так удобнее ;-)Мне лично всё равно, что Вы в теме плаваете :) Да какая там тема, БигДата - по сути всего лишь слова, рассуждения и не более того. Скажем честно: там негде плавать. Но для важности некоторые юзеры делают вид, что они "в теме", и скоро не будет ни реляционных, никаких баз, а сплошной БигДата. А что это так никто и не может сказать четко. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2014, 15:30 |
|
|
start [/forum/topic.php?fid=48&fpage=7&tid=1856779]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
40ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
56ms |
get tp. blocked users: |
2ms |
others: | 11ms |
total: | 153ms |
0 / 0 |