Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Как двигаться в сторону BigData / 25 сообщений из 149, страница 1 из 6
02.10.2014, 18:31
    #38765272
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
Хочу задать вопрос, как начать двигаться в направлении BigData.

Я программист со стажем и уже не столь молод. Сейчас специализируюсь на SQL Server / OLAP, работаю в области BI в крупной онлайн торговой площадке. Имею также некоторый опыт с Oracle. В прошлом имел дело с C# .NET , до этого с C++ и Turbo Pascal.

Чувствую, что необходимо прокачиваться в направлении BigData. Если ставить вопрос так: с чего начать. На что делать акцент, если я в данный момент в основном ориентирован на Microsoft. Какие технологии стоит рассматривать? Какие книги, мануалы стоит читать? На какие курсы сходить?
...
Рейтинг: 0 / 0
02.10.2014, 19:21
    #38765324
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
a_voronin, если занимаетесь аналитикой, то посмотрите в сторону языка R и его применения в BigData.
...
Рейтинг: 0 / 0
02.10.2014, 19:22
    #38765325
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
Вступите в группу Big Data Developers in Moscow .
...
Рейтинг: 0 / 0
02.10.2014, 22:52
    #38765453
Станислав Клевцов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
skyANA,

опа ) весьма полезная ссылка ) Спасибо !
...
Рейтинг: 0 / 0
04.10.2014, 21:56
    #38767051
Tomato
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
Единственый способ двигаться к БигДата - работать с ней.
...
Рейтинг: 0 / 0
06.10.2014, 12:49
    #38767738
Winnipuh
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
TomatoЕдинственый способ двигаться к БигДата - работать с ней.

да, а перед тем хорошо подумать и осознать, что БигДата - это не что-то, что завтра накроет всех и надо к нему готовиться, а узкое направление в обработке специальных данных, которые ложатся в концепцию БигДата.
...
Рейтинг: 0 / 0
06.10.2014, 12:56
    #38767757
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
WinnipuhTomatoЕдинственый способ двигаться к БигДата - работать с ней.

да, а перед тем хорошо подумать и осознать, что БигДата - это не что-то, что завтра накроет всех и надо к нему готовиться, а узкое направление в обработке специальных данных, которые ложатся в концепцию БигДата.Гы. Каких таких специальных данных?
...
Рейтинг: 0 / 0
06.10.2014, 19:58
    #38768397
Winnipuh
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
skyANAWinnipuhпропущено...


да, а перед тем хорошо подумать и осознать, что БигДата - это не что-то, что завтра накроет всех и надо к нему готовиться, а узкое направление в обработке специальных данных, которые ложатся в концепцию БигДата.Гы. Каких таких специальных данных?

гы-гы. неких, например, которые удобнее обрабатывать не в реляцонных базах, а в каком-нибудь noSql
...
Рейтинг: 0 / 0
06.10.2014, 20:06
    #38768400
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
WinnipuhskyANAпропущено...
Гы. Каких таких специальных данных?

гы-гы. неких, например, которые удобнее обрабатывать не в реляцонных базах, а в каком-нибудь noSql

Понятно, Вы не в теме.
...
Рейтинг: 0 / 0
06.10.2014, 20:45
    #38768421
Winnipuh
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
skyANAWinnipuhпропущено...


гы-гы. неких, например, которые удобнее обрабатывать не в реляцонных базах, а в каком-нибудь noSql

Понятно, Вы не в теме.


не в какой теме?
теме БигДата, как чего-то нового надвигающегося на нас? тогда нет.
Это ведь не какая-то революционная технология.
...
Рейтинг: 0 / 0
06.10.2014, 22:09
    #38768489
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
WinnipuhskyANAпропущено...
Понятно, Вы не в теме.


не в какой теме?Нет в BigData никаких специальных данных.
Winnipuhтеме БигДата, как чего-то нового надвигающегося на нас? тогда нет.
Это ведь не какая-то революционная технология.Ну да. MapReduce реализовали в Google ещё в 2003-м.
...
Рейтинг: 0 / 0
07.10.2014, 05:32
    #38768608
Gallemar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
По работе пришлось столкнуться с MongoDb, очень узкозаточенная СУБД, без транзакций,без подтверждения записи,но с хорошей горизонтальной масштабируемостью. Сложно представить где её область применения, кроме веб.
...
Рейтинг: 0 / 0
07.10.2014, 07:01
    #38768617
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
GallemarСложно представить где её область применения, кроме веб.Web :)

Она для этого и создавалась, почитайте историю проекта.

P.S.: транзакции реализовали самостоятельно.
...
Рейтинг: 0 / 0
07.10.2014, 07:02
    #38768619
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
Gallemar, и как это без потверждения записи? А Write Concern ?
...
Рейтинг: 0 / 0
07.10.2014, 07:06
    #38768621
Gallemar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
skyANA,оно реализовано в 2.6, сорри, про более ранние версии говорил:)
...
Рейтинг: 0 / 0
07.10.2014, 07:19
    #38768624
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
GallemarskyANA,оно реализовано в 2.6, сорри, про более ранние версии говорил:)С чего Вы это взяли?

Write Concern давно уже есть (я с MongoDB познакомился в январе 2012, тогда уже был).
В ноябре 2012 были внесены изменения в поведение по умолчанию: Default Write Concern Change .

В 2.6 добавили изменения в виде "new write-operation protocol".
...
Рейтинг: 0 / 0
07.10.2014, 12:23
    #38768914
Winnipuh
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
skyANAWinnipuhпропущено...



не в какой теме? Нет в BigData никаких специальных данных.
Winnipuhтеме БигДата, как чего-то нового надвигающегося на нас? тогда нет.
Это ведь не какая-то революционная технология.Ну да. MapReduce реализовали в Google ещё в 2003-м.

нет, конечно, данные - они и в Африке данные.
...
Рейтинг: 0 / 0
07.10.2014, 12:50
    #38768972
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
WinnipuhskyANAпропущено...
Нет в BigData никаких специальных данных.
пропущено...
Ну да. MapReduce реализовали в Google ещё в 2003-м.

нет, конечно, данные - они и в Африке данные.

Как легко Вы меняете свою точку зрения.
...
Рейтинг: 0 / 0
07.10.2014, 13:43
    #38769057
Winnipuh
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
skyANAWinnipuhпропущено...


нет, конечно, данные - они и в Африке данные.

Как легко Вы меняете свою точку зрения.

ага... давайте прицепимся к слову и будем развивать дискуссию...в бигдата никаких даных вообще нет, это же всего лишь название. Данные есть в конкретных проектах, реализациях.

Специфика обработки и хранения данных, если вам так удобнее ;-)
...
Рейтинг: 0 / 0
07.10.2014, 14:35
    #38769130
Очень лысый
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
По большому счёту, BigData это скорее "проблема", которая связана с ростом объёмов данных, гуляющих по разного рода системам. Логи там всякие, транзакции, информация с датчиков и физических устройств. Можно её херить, а можно куда-то складывать и обрабатывать по мере надобности. И данные эти не обязательно неструктурированные. Просто их зело много.
Хранить их в традиционной РСУБД на дорогих хранилках это сильно дорого, и обрабатывать медленно, а чтобы обрабатывать быстрее, надо индексы и всяку прочую фигню создавать, что ещё более увеличивает объёмы.
Посему юзаем Hadoop ибо позволяет дёшево хранить и в приемлемое время процессить. И безболезненно наращивать объём + производительность добавлением нод. Т.е. имеем одно из решений проблемы BigData.
...
Рейтинг: 0 / 0
07.10.2014, 14:40
    #38769141
Очень лысый
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
Т.о. NoSQL не обязательно BigData, а BigData не обязательно NoSQL. Тот же Hive вполне себе поддерживает некое подобие SQL, хотя РСУБД, конечно, никак не является.
...
Рейтинг: 0 / 0
07.10.2014, 14:52
    #38769161
Очень лысый
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
Что касаемо вопроса топикастера, то настраиваем тестовый кластер на виртуалках, заливаем данные в hdfs, и изучаем стек продуктов hadoop. А там будет понятно, надо оно Вам или нет.
...
Рейтинг: 0 / 0
07.10.2014, 15:21
    #38769216
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
WinnipuhskyANAпропущено...


Как легко Вы меняете свою точку зрения.

ага... давайте прицепимся к слову и будем развивать дискуссию...в бигдата никаких даных вообще нет, это же всего лишь название. Данные есть в конкретных проектах, реализациях.

Специфика обработки и хранения данных, если вам так удобнее ;-)Мне лично всё равно, что Вы в теме плаваете :)
...
Рейтинг: 0 / 0
07.10.2014, 15:27
    #38769230
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
Очень лысыйТ.о. NoSQL не обязательно BigData, а BigData не обязательно NoSQL. Тот же Hive вполне себе поддерживает некое подобие SQL, хотя РСУБД, конечно, никак не является.Движки для Hadoop сейчас поддерживают SQL-92 (где частично, где полностью). Не все, но если надо SQL, то бери и пользуйся.
IBM так вовсю рекламирует. Ну а фигли, у них внутри DB2 движок.
...
Рейтинг: 0 / 0
07.10.2014, 15:30
    #38769235
Winnipuh
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как двигаться в сторону BigData
skyANAWinnipuhпропущено...


ага... давайте прицепимся к слову и будем развивать дискуссию...в бигдата никаких даных вообще нет, это же всего лишь название. Данные есть в конкретных проектах, реализациях.

Специфика обработки и хранения данных, если вам так удобнее ;-)Мне лично всё равно, что Вы в теме плаваете :)

Да какая там тема, БигДата - по сути всего лишь слова, рассуждения и не более того.
Скажем честно: там негде плавать.
Но для важности некоторые юзеры делают вид, что они "в теме", и скоро не будет ни реляционных, никаких баз, а сплошной БигДата.
А что это так никто и не может сказать четко.
...
Рейтинг: 0 / 0
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Как двигаться в сторону BigData / 25 сообщений из 149, страница 1 из 6
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]