powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Как двигаться в сторону BigData
25 сообщений из 149, страница 1 из 6
Как двигаться в сторону BigData
    #38765272
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хочу задать вопрос, как начать двигаться в направлении BigData.

Я программист со стажем и уже не столь молод. Сейчас специализируюсь на SQL Server / OLAP, работаю в области BI в крупной онлайн торговой площадке. Имею также некоторый опыт с Oracle. В прошлом имел дело с C# .NET , до этого с C++ и Turbo Pascal.

Чувствую, что необходимо прокачиваться в направлении BigData. Если ставить вопрос так: с чего начать. На что делать акцент, если я в данный момент в основном ориентирован на Microsoft. Какие технологии стоит рассматривать? Какие книги, мануалы стоит читать? На какие курсы сходить?
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38765324
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voronin, если занимаетесь аналитикой, то посмотрите в сторону языка R и его применения в BigData.
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38765325
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вступите в группу Big Data Developers in Moscow .
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38765453
Фотография Станислав Клевцов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANA,

опа ) весьма полезная ссылка ) Спасибо !
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38767051
Tomato
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Единственый способ двигаться к БигДата - работать с ней.
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38767738
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TomatoЕдинственый способ двигаться к БигДата - работать с ней.

да, а перед тем хорошо подумать и осознать, что БигДата - это не что-то, что завтра накроет всех и надо к нему готовиться, а узкое направление в обработке специальных данных, которые ложатся в концепцию БигДата.
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38767757
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WinnipuhTomatoЕдинственый способ двигаться к БигДата - работать с ней.

да, а перед тем хорошо подумать и осознать, что БигДата - это не что-то, что завтра накроет всех и надо к нему готовиться, а узкое направление в обработке специальных данных, которые ложатся в концепцию БигДата.Гы. Каких таких специальных данных?
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38768397
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANAWinnipuhпропущено...


да, а перед тем хорошо подумать и осознать, что БигДата - это не что-то, что завтра накроет всех и надо к нему готовиться, а узкое направление в обработке специальных данных, которые ложатся в концепцию БигДата.Гы. Каких таких специальных данных?

гы-гы. неких, например, которые удобнее обрабатывать не в реляцонных базах, а в каком-нибудь noSql
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38768400
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WinnipuhskyANAпропущено...
Гы. Каких таких специальных данных?

гы-гы. неких, например, которые удобнее обрабатывать не в реляцонных базах, а в каком-нибудь noSql

Понятно, Вы не в теме.
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38768421
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANAWinnipuhпропущено...


гы-гы. неких, например, которые удобнее обрабатывать не в реляцонных базах, а в каком-нибудь noSql

Понятно, Вы не в теме.


не в какой теме?
теме БигДата, как чего-то нового надвигающегося на нас? тогда нет.
Это ведь не какая-то революционная технология.
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38768489
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WinnipuhskyANAпропущено...
Понятно, Вы не в теме.


не в какой теме?Нет в BigData никаких специальных данных.
Winnipuhтеме БигДата, как чего-то нового надвигающегося на нас? тогда нет.
Это ведь не какая-то революционная технология.Ну да. MapReduce реализовали в Google ещё в 2003-м.
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38768608
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
По работе пришлось столкнуться с MongoDb, очень узкозаточенная СУБД, без транзакций,без подтверждения записи,но с хорошей горизонтальной масштабируемостью. Сложно представить где её область применения, кроме веб.
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38768617
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GallemarСложно представить где её область применения, кроме веб.Web :)

Она для этого и создавалась, почитайте историю проекта.

P.S.: транзакции реализовали самостоятельно.
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38768619
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Gallemar, и как это без потверждения записи? А Write Concern ?
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38768621
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANA,оно реализовано в 2.6, сорри, про более ранние версии говорил:)
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38768624
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GallemarskyANA,оно реализовано в 2.6, сорри, про более ранние версии говорил:)С чего Вы это взяли?

Write Concern давно уже есть (я с MongoDB познакомился в январе 2012, тогда уже был).
В ноябре 2012 были внесены изменения в поведение по умолчанию: Default Write Concern Change .

В 2.6 добавили изменения в виде "new write-operation protocol".
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38768914
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANAWinnipuhпропущено...



не в какой теме? Нет в BigData никаких специальных данных.
Winnipuhтеме БигДата, как чего-то нового надвигающегося на нас? тогда нет.
Это ведь не какая-то революционная технология.Ну да. MapReduce реализовали в Google ещё в 2003-м.

нет, конечно, данные - они и в Африке данные.
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38768972
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WinnipuhskyANAпропущено...
Нет в BigData никаких специальных данных.
пропущено...
Ну да. MapReduce реализовали в Google ещё в 2003-м.

нет, конечно, данные - они и в Африке данные.

Как легко Вы меняете свою точку зрения.
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38769057
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANAWinnipuhпропущено...


нет, конечно, данные - они и в Африке данные.

Как легко Вы меняете свою точку зрения.

ага... давайте прицепимся к слову и будем развивать дискуссию...в бигдата никаких даных вообще нет, это же всего лишь название. Данные есть в конкретных проектах, реализациях.

Специфика обработки и хранения данных, если вам так удобнее ;-)
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38769130
Очень лысый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
По большому счёту, BigData это скорее "проблема", которая связана с ростом объёмов данных, гуляющих по разного рода системам. Логи там всякие, транзакции, информация с датчиков и физических устройств. Можно её херить, а можно куда-то складывать и обрабатывать по мере надобности. И данные эти не обязательно неструктурированные. Просто их зело много.
Хранить их в традиционной РСУБД на дорогих хранилках это сильно дорого, и обрабатывать медленно, а чтобы обрабатывать быстрее, надо индексы и всяку прочую фигню создавать, что ещё более увеличивает объёмы.
Посему юзаем Hadoop ибо позволяет дёшево хранить и в приемлемое время процессить. И безболезненно наращивать объём + производительность добавлением нод. Т.е. имеем одно из решений проблемы BigData.
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38769141
Очень лысый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Т.о. NoSQL не обязательно BigData, а BigData не обязательно NoSQL. Тот же Hive вполне себе поддерживает некое подобие SQL, хотя РСУБД, конечно, никак не является.
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38769161
Очень лысый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что касаемо вопроса топикастера, то настраиваем тестовый кластер на виртуалках, заливаем данные в hdfs, и изучаем стек продуктов hadoop. А там будет понятно, надо оно Вам или нет.
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38769216
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WinnipuhskyANAпропущено...


Как легко Вы меняете свою точку зрения.

ага... давайте прицепимся к слову и будем развивать дискуссию...в бигдата никаких даных вообще нет, это же всего лишь название. Данные есть в конкретных проектах, реализациях.

Специфика обработки и хранения данных, если вам так удобнее ;-)Мне лично всё равно, что Вы в теме плаваете :)
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38769230
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Очень лысыйТ.о. NoSQL не обязательно BigData, а BigData не обязательно NoSQL. Тот же Hive вполне себе поддерживает некое подобие SQL, хотя РСУБД, конечно, никак не является.Движки для Hadoop сейчас поддерживают SQL-92 (где частично, где полностью). Не все, но если надо SQL, то бери и пользуйся.
IBM так вовсю рекламирует. Ну а фигли, у них внутри DB2 движок.
...
Рейтинг: 0 / 0
Как двигаться в сторону BigData
    #38769235
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANAWinnipuhпропущено...


ага... давайте прицепимся к слову и будем развивать дискуссию...в бигдата никаких даных вообще нет, это же всего лишь название. Данные есть в конкретных проектах, реализациях.

Специфика обработки и хранения данных, если вам так удобнее ;-)Мне лично всё равно, что Вы в теме плаваете :)

Да какая там тема, БигДата - по сути всего лишь слова, рассуждения и не более того.
Скажем честно: там негде плавать.
Но для важности некоторые юзеры делают вид, что они "в теме", и скоро не будет ни реляционных, никаких баз, а сплошной БигДата.
А что это так никто и не может сказать четко.
...
Рейтинг: 0 / 0
25 сообщений из 149, страница 1 из 6
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Как двигаться в сторону BigData
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]