биг-дата -- это в первую очередь "философский" вопрос.

Природа разнообразна, аморфна и рассредоточена,
реляционая база заранее фиксирована. Любая модель, формула,
закон всемирного тяготения или аеродинамики -- есть
рабочая попытка описать и обьяснить сложные явления
простымы связками. Законы прекрасно работают пока
не приходят новые вводные.

Развитие коммуникации привело к нелинейному росту
не только самих данных/фактов но и связок между ними.
Человеки перестали успевать находить связки в реальном
маштабе времени (т.е. дата анализ, дата дисковери не успевает к началу загрузки)
и обычные релационные базы просто
не могут уложить эти данные по полочкам -- связки не известны (пока).

Для таких (отнюдь не для всех) задач приходится делать EAV (дедушка даталейков),
даталейки, хадупы (для скейл-аут) и иже с ними.

На етапе записи подход "биг-дата" -- не заморачиваться
созданием новых структур, дата анализом, агрегацией...
Главное -- скушать все это ... будушее золото... и распихать по подземным
хранилишам.

На етапе чтения -- вот тут и начинается проблемы, ибо
schema-on-read ... читатель сам должен собирать структуру.
(то что до него уже сделано в обычных реляционных базах).

Тут вступает в игру противоречия

легко в записи - тяжело в чтении (в простейшем виде -- вспомним eav)

легко раскидать по дешевым ПС в хадупе -- ОЧЕНЬ тяжело
делать джоинты и искать корреляции по дистрибутед данным

легко работать с разрознеными статичными аморфными данными --
сложно работать с пре-структурироваными динамичными данными ...

короче -- биг-дата -- серьезный молоток для рассыпаных гвоздей разного размера
но плохонькая отвертка для набора шурупов....

essbase.ruТеперь в трендах новый термин Clever Data . Нужно говорить всем , что этим занимаемся до того как это стало модным ) ))

...чаще "Smart Data"...

>>Yo.!

>> религия никому не запрещает при записи сразу считать агрегаты и копировать на тот же хадуп эти же данные в реляционные структуры, типа витрин данных.

...не то штоп религия не запрешает...сама идея биг-даты -- по слыслу есть ELT,
сначала загрузить а потом разбиратся... Агрегаты возможны если данные уже
про-анализированы, по факту : агрегаты уже есть модель.
А если мы говорим про пре-анализированые, уже смоделированые данные, то
что остается той Биг-Дате? скале-аут? так кластеры уже давно есть в
обычных реляционках...

Ну и вдобавок, агрегаты , по определению меньше исходных данных
и хотелось бы чтоб они лежали близко к аналитикам анд не размазаные по
сотням компютерам в сети...

Короче -- биг-дата не про агрегаты...

>>BI инструменты уже давно не испытывают трудностей наджоинить в хадупе чего пожелаешь с помощью impala, tez или spark sql.

...согласен, никаких трудностей : забил СКЛ с жоинтом и
можно пойти на обед... пока несколько джоинтов для регресивного
анализа вернется через мириарды нетворк-запросов...
можно спокойно пару гамбургеров с пивом уговорить....

>>скушать и неструктурированные данные лишь дополнительная фишка, просто в истории с хадупом это ничего не стоит их записать и сохранить, ресурсы то резиновые.

...вот тут реально где хадуп и нужен... на запись аморфных данных
хадуыт действительно резиновый... как я уже сказал,
реальная работа начинается при чтении... причем дистрибутивная
натура в лучшем случае НЕ помогает анализу и агрегации

LSVБигдата, облака, хадупы, блокчейны, биткИ, эфиры, спиннеры........ это всё не более чем мемы.
Эра информации мыслит только мемами. Не важно какими, главное, что популярными мемами. Надо быть модным и в тренде.
Завтра появится очередная мемошняга - и все кинутся ее обсасывать, обсуждать, применять, делать разного рода перфомансы и инсталляции.... И прочее инфодрочево.
Людям просто нечем заняться на фоне прогрессирующего массового скудоумия.....
Кризис жанра, пацаны. :)


...что за старперство? что за брузжание?
тот факт что огурец кто-то пихает в попу НЕ значит что
огурцы плохие. За каждым из етих модных слов
есть много интересных идей и технологий...

..почти по теме -- Безос обощел Била как самый богатый человек мира.
Амазон развил идею облаков, PaaS, IaaS сначала в ИТ
а сечас на реальную ретейл индустрию, логистику, медию, etc...