Очень лысыйЧто касаемо вопроса топикастера, то настраиваем тестовый кластер на виртуалках, заливаем данные в hdfs, и изучаем стек продуктов hadoop. А там будет понятно, надо оно Вам или нет.Проблема в том, что ТС ориентирован на Microsoft. И только у IMB вроде как есть какая-то поддержка .Net, да и то в силу того, что внутри DB2, а под неё уже сто лет в обед как есть провайдер.

WinnipuhskyANAпропущено...
Мне лично всё равно, что Вы в теме плаваете :)

Да какая там тема, БигДата - по сути всего лишь слова, рассуждения и не более того.
Скажем честно: там негде плавать.
Но для важности некоторые юзеры делают вид, что они "в теме", и скоро не будет ни реляционных, никаких баз, а сплошной БигДата.
А что это так никто и не может сказать четко.

Опять Вы фигню пишете.

BigData - это термин, описывающий большой объём постоянно растущих как структурированных, так и не структурированных данных, анализ которых полезен и для бизнеса, и для социума.

Устроит?

К BigData относят
аналитику, построенную на Hadoop;

потоковые вычисления

анализ текстов...

WinnipuhskyANABigData - это термин, описывающий большой объём постоянно растущих как структурированных, так и не структурированных данных, анализ которых полезен и для бизнеса, и для социума.

Устроит?

Да, как такое общее выражение, конечно. Скорее даже эмоциональное. ;-)

Ведь можно так спросить"большой" - это сколько?
Будет ли это большим завтра?
То же и об этом "анализ которых полезен и для бизнеса, и для социума"

Ну в общем вроде все понимают, что это есть, что это нужно, но я имхую, что сейчас это скорее такое "общественное движение", чем что-то конкретное.

Ведь скажем Microsoft 17 лет назад запустила terraserver, там были ого какие бигдата, и примечательно, что термина не было, а бигдата уже были. То же и гугла касается и т.д. Каждый после анализа сппецифики данных (см. начальне посты и свою критику ;-) )
реализовывал по-своему и оптимально.

(это я имхую, естественно)Мда...
А разработали десяток движков для Hadoop так, на общественных началах, не понятно для чего.

Вообщем начали Вы про какую-то узкую нишу и специальные данные, то есть какую-то конкретную область применения.
А закончили тем, что на самом деле никто не понимает что это и зачем нужно. Смешно, ей-богу :)

Winnipuh, Вы, например, знакомы с таким понятием, как "Common conversion activities"?

WinnipuhskyANAWinnipuh, Вы, например, знакомы с таким понятием, как "Common conversion activities"?

Очень поверхностно, я другим занимаюсь.Чем?

WinnipuhskyANAпропущено...
Чем?

фигнёй всякой О, мы достигли консенсуса :)

WinnipuhskyANAпропущено...
О, мы достигли консенсуса :)


э-не, это разные вещи, юзер может о себе такое заявить, а другой юзер не должен себе такое позволять, если он интеллигентный юзер


;-)Дак я в последнем предложении вполне интеллигентно выразился

кириллk, и что конкретно Вас интересует? Поможет-ли MapReduce?

Ivan Durakкириллkпропущено...


Меня больше волнует проблема не хранения, а доступа к данным.

т.к. сейчас единственный реальный инструмент, это олап.

Но когда куб ворочает терабайтными данными да еще по distinct мерам это очень грустно.
in-memory кубы на подходеХм, вроде как начало In-Memory OLAP было положено ещё в SQL Server 2008 R2.

кириллkskyANAкириллk, и что конкретно Вас интересует? Поможет-ли MapReduce?

Мне кажется для аналитики "хадуп" не нужен
Вообще хранить большие объемы не проблема. дисков побольше и партиционирование таблицы

Проблема в том чтобы дать пользователю инструмент крутить эти данные.Вас сложно понять. "хадуп" - это одна из реализаций MapReduce.

Какой такой инструмент Вы хотите дать пользователю, на каких принципах основанный?