powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Big Data - собирается ли кто-либо создавать здесь такой форум?
76 сообщений из 76, показаны все 4 страниц
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38956929
Всем добрый день.

Вошел я наконец в big data. Скажу вам, что тема очень интересная, и очень отличается от классического DWH/ETL/OLAP.

В связи с этим вопрос: а не собираются ли уважаемые модераторы сделать отдельный форум тут по Big Data?
Я думаю в этом есть смысл.

С другой стороны, можно было этот форум "расширить", поменяв название. Но думаю это не самый хороший вариант, так как в big data такой "зоопарк" и столько вопросов, которые и близко не стояли к тем, что в классическом DWH стоят, что люди просто не будут пересекаться.

Если модераторы это видят, предлагаю свою кандидатуру на пост модератора форума.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38956938
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Так обсуждаются бигдатые вопросы по необходимости, то тут - то там бигдатость мелькает и не похоже чтобы так уж активно всё было аж до нового субфорума .. закидывай в заголовок темы это сокровенно-ключевое слово, и кому интересно - клюнут, иначе действительно потеряемся в деревьях структуры форума..
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38956950
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Такой форум уже имеется...
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957050
babona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
и что, БигДата - доходная поляна? должно быть да пока новая и моднявая тема.
CRM и BPM-ов уже наелись, а BI обещанных прибылей не приносят конторам. Так и живем'с
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957062
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
babonaновая и моднявая тема.
ага, в ветке ("отдельный форум") - "no sql, big data" каждый месяц по новому сообщению )
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957090
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
babonaи что, БигДата - доходная поляна? должно быть да пока новая и моднявая тема.
CRM и BPM-ов уже наелись, а BI обещанных прибылей не приносят конторам. Так и живем'с
Дело не моде, а в том, что данных становится все больше и больше, темпы прироста увеличиваются. Обрабатывать все это с помощью старых подходов становится слишком неэффективно.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957138
babona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbat,

и чо? а то можно подумать вчерашние/текущие объемы данных научились анализировать? т.е. имеем согласованные измерения, непротиворечивые данные в атрибутах, отсутствие критически важных пропусков в данных и т. д., навели порядок в OLTP системах и бизнес-процессах
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957200
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
babonahaXbat,

и чо? а то можно подумать вчерашние/текущие объемы данных научились анализировать? т.е. имеем согласованные измерения, непротиворечивые данные в атрибутах, отсутствие критически важных пропусков в данных и т. д., навели порядок в OLTP системах и бизнес-процессах
и че?? можно подумать беспорядок в oltp базах помешал созданию олап и dwh.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957215
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А есть какие-то успешные примеры использования Big Data технологий на пространстве бывшего СССР? Я знаю про телекомы, но не уверен, что там это принесло какую-то выгоду. Интересно было бы увидеть ROI, потому как BigData это весьма ресурсоемкая штука как с точки зрения людей, так и точки зрения floorspace и используемой энергии.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957228
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander RyndinА есть какие-то успешные примеры использования Big Data технологий на пространстве бывшего СССР? Я знаю про телекомы, но не уверен, что там это принесло какую-то выгоду. Интересно было бы увидеть ROI, потому как BigData это весьма ресурсоемкая штука как с точки зрения людей, так и точки зрения floorspace и используемой энергии.
давайте к конкретике. Бигдата это хадуп+сверху на нем все что угодно.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957246
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakAlexander RyndinА есть какие-то успешные примеры использования Big Data технологий на пространстве бывшего СССР? Я знаю про телекомы, но не уверен, что там это принесло какую-то выгоду. Интересно было бы увидеть ROI, потому как BigData это весьма ресурсоемкая штука как с точки зрения людей, так и точки зрения floorspace и используемой энергии.
давайте к конкретике. Бигдата это хадуп+сверху на нем все что угодно.Да, согласен - хорошее замечание.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957270
fduch f.f.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Игорь БобакЕсли модераторы это видят, предлагаю свою кандидатуру на пост модератора форума.

форум же вроде как есть
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957338
babona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan Durak,
так и я про тож - всё это BI/DWH/BigData разводилово по большей части и слабоокупаемое.


Alexander Ryndin,
про успешные проекты - это смотря кого и где читать. Неужто эффективный ТОП-менеджер напишет правду, что эффект есть, но кратковременные, а в длинную - издержки очень велики и нестабильный эффект.
Глянцевые ИТ-журналы читать - так там вранье, интеграторы те еще басни нахваливают.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957355
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
babonaIvan Durak,
так и я про тож - всё это BI/DWH/BigData разводилово по большей части и слабоокупаемое.Ну как и любая технология Hadoop проходит через Hype Cycle . Это нормально.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957458
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
babonaIvan Durak,
так и я про тож - всё это BI/DWH/BigData разводилово по большей части и слабоокупаемое.
Так можно про любой стек технологий сказать. Oracle - разводилово!
Hadoop и прочее - это всего лишь инструмент. Если в аналитике не будут копаться модные data scientist, если топы не будут принимать решения на основе исследований, то вся Big Data становится бесполезной для бизнеса.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957478
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Игорь БобакВсем добрый день.

Вошел я наконец в big data. Скажу вам, что тема очень интересная, и очень отличается от классического DWH/ETL/OLAP.

YouTube Video
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957629
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
babonaIvan Durak,
так и я про тож - всё это BI/DWH/BigData разводилово по большей части и слабоокупаемое.


Alexander Ryndin,
про успешные проекты - это смотря кого и где читать. Неужто эффективный ТОП-менеджер напишет правду, что эффект есть, но кратковременные, а в длинную - издержки очень велики и нестабильный эффект.
Глянцевые ИТ-журналы читать - так там вранье, интеграторы те еще басни нахваливают.
ну классическое BI/DWH уже давно не разводилово.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957793
babona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
классическое BI/DWH уже давно не разводилово, а унылые серые будни и неочень оплачиваемое
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957856
kirillss
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
babona, ага пересядем на хадуууп и будет весело
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38957931
Очень лысый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну вот опять проводят знак равенства BigData = Hadoop. BigData цэ challenge, а Hadoop - экосистема, призванная с ним бороться. Не обязательно зацикливаться на нём. Что касается выгоды, то я лично считал для телекома стоимость солюшена для хранения и обработки данных для СОРМ на hdfs и Оракле. На hdfs получилось подешевле. И, думается, что ad hoc запросы там тоже бегали бы повеселее. Но для менеджеров выгоднее чем подороже. Пересекался с парой контор: российской и буржуйской, которые тупо зарабатывают кластером деньги.
Вообще, как и любая технология, хадупный кластер просто даёт новые возможности: сохранять и обрабатывать данные, которые раньше бы удалили, либо скинули бы на ленту. Кто умеет извлекать выгоду - извлечёт выгоду, кто умеет только пилить - будет пилить, а если не получается пилить, то будет хаять.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38958117
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Очень лысыйНа hdfs получилось подешевле.

Хранение на HDFS безусловно дешевле.

Очень лысыйИ, думается, что ad hoc запросы там тоже бегали бы повеселее.

А вот это уже весьма спорно. А очень часто вообще не верно.

Очень лысыйНо для менеджеров выгоднее чем подороже.

Сразу видно человека, который никогда не был менеджером.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38958708
Очень лысый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ApexОчень лысыйНа hdfs получилось подешевле.

Хранение на HDFS безусловно дешевле.

Очень лысыйИ, думается, что ad hoc запросы там тоже бегали бы повеселее.

А вот это уже весьма спорно. А очень часто вообще не верно.

Очень лысыйНо для менеджеров выгоднее чем подороже.

Сразу видно человека, который никогда не был менеджером.

Лень мне расставлять тэги цитат. Так отвечу.

1. Безусловность под вопросом.
2. В общем случае всё зависит от движка, конфигурации кластера, формата хранения и т.п., речь шла о вполне конкретном частном случае, конкретном объёме данных и конкретном бюджете. В данных условиях вполне реально сделать соответствующие оценки, тесты и т.д.
3. люблю я местных "проницательных" товарищей
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38958722
Очень лысый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Естесно, на конечное решение кроме "распильного" повлияли и многие другие нюансы. Я тут чисто из лени скатился в нарратив. Однако дальнейшее развитие истории показывает, что принятое решение было ошибочным. Кстати, не факт, что предложенное мной было самым лучшим. Так бывает.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38960906
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ApexОчень лысыйИ, думается, что ad hoc запросы там тоже бегали бы повеселее.

А вот это уже весьма спорно. А очень часто вообще не верно.

Если речь о sql поверх хадуп, типа классического хайва - то это без вариантов будет медленнее.
В наших тестах на почти на порядок по сравнению с mpp субд на таком же количестве серверов.
Единственное где-то хоть как-то можно говорить о быстром выполнении - это навесить на хадуп, что-то типа спарка.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38960913
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А где вы в Минске навешиваете на хадуп типа спарка?
У вас там переполненные склады тракторов на три года вперед и постановления правительства о том, сколько должно стоять горизонтов на первой полке в магазине электроники. Просто интересно.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38960937
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakЕдинственное где-то хоть как-то можно говорить о быстром выполнении - это навесить на хадуп, что-то типа спарка.Угу. До тех пор пока все в оперативку вмещается. А потом начинается ппц.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38960962
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakЕсли речь о sql поверх хадуп, типа классического хайва - то это без вариантов будет медленнее.
В наших тестах на почти на порядок по сравнению с mpp субд на таком же количестве серверов.
Единственное где-то хоть как-то можно говорить о быстром выполнении - это навесить на хадуп, что-то типа спарка.
Голый хайв - это для бедных. Для богатых есть sql движок Impala от Cloudera.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38962143
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatIvan DurakЕсли речь о sql поверх хадуп, типа классического хайва - то это без вариантов будет медленнее.
В наших тестах на почти на порядок по сравнению с mpp субд на таком же количестве серверов.
Единственное где-то хоть как-то можно говорить о быстром выполнении - это навесить на хадуп, что-то типа спарка.
Голый хайв - это для бедных. Для богатых слабоумных и отважных есть sql движок Impala от Cloudera.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38962145
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakВ наших тестах на почти на порядок по сравнению с mpp субд на таком же количестве серверов.


При том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38962443
Ибн Хоттаб
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
БумбарашА где вы в Минске навешиваете на хадуп типа спарка?
У вас там переполненные склады тракторов на три года вперед и постановления правительства о том, сколько должно стоять горизонтов на первой полке в магазине электроники. Просто интересно.

Это шутка? В Минске, в отличие от Москвы, большинство денег идет из аутсорса, зеленых хрустящих денег.

Спарк - очень интересная тема, лично я вижу его как пристройку к традиционному биаю, для скоростного прочесывания "узких и длинных" таблиц.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38962470
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
БумбарашА где вы в Минске навешиваете на хадуп типа спарка?
У вас там переполненные склады тракторов на три года вперед и постановления правительства о том, сколько должно стоять горизонтов на первой полке в магазине электроники. Просто интересно.
иди выпей водки с медведями
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963009
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ибн ХоттабЭто шутка? В Минске, в отличие от Москвы, большинство денег идет из аутсорса, зеленых хрустящих денег.

Это не шутка. Это вопрос.

А где вы в Минске навешиваете на хадуп типа спарка?

Какое слово непонятно?
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963016
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А то, что там везде аутсорс, я знаю. В епаме работал как никак. То что там аутсорс это как раз прямое следствие того, что у меня написано во втором предложении в том посте.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963077
Ибн Хоттаб
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
БумбарашА где вы в Минске навешиваете на хадуп типа спарка?

Какое слово непонятно?

Непонятно при чем здесь мифические трехлетние запасы тракторов и постановления правительства.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963305
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ApexПри том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами.
Бла-бла-бла. CERN переводит аналитику с оракла на хадуп стек.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963346
Кэптен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatApexПри том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами.
Бла-бла-бла. CERN переводит аналитику с оракла на хадуп стек.
Бла-бла-бла :)
https://indico.cern.ch/event/381182/material/slides/0.pdf
см. с сайта CERN подпись на каждом слайде: Oracle Big Data and Analytics , 11/03/2015
И архитектура на 28 странице.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963360
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatApexПри том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами.
Бла-бла-бла. CERN переводит аналитику с оракла на хадуп стек.
когда у нас оракл mpp стал??
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963366
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatApex При том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами.
Бла-бла-бла. CERN переводит аналитику с оракла на хадуп стек.
Для слепых выделил жирным.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963377
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кэптенсм. с сайта CERN подпись на каждом слайде: Oracle Big Data and Analytics , 11/03/2015
И архитектура на 28 странице.
Слоника видишь на 28 странице? Сырые логи хранятся в hdfs. Крутить их и собираются импалочкой.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963384
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatКэптенсм. с сайта CERN подпись на каждом слайде: Oracle Big Data and Analytics , 11/03/2015
И архитектура на 28 странице.
Слоника видишь на 28 странице? Сырые логи хранятся в hdfs. Крутить их и собираются импалочкой.Мне кажется, что вы даже картинку не поняли. Где вы видите доступ пользователей к hadoop на стр. 28? Ну и слово "крутить" оно обычно неприменимо к Big Data технологиям.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963776
Кэптен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatКэптенсм. с сайта CERN подпись на каждом слайде: Oracle Big Data and Analytics , 11/03/2015
И архитектура на 28 странице.
Слоника видишь на 28 странице? Сырые логи хранятся в hdfs. Крутить их и собираются импалочкой.
Я так понимаю, что небольшой ликбез не помешает многим.

1. Есть различные дистрибутивы hadoop:
- Cloudera
- MapR
- HortonWorks
- IBM BlueInsights
- other

2. Они продаются или бесплатны. CERN например, где андронный коллайдер, способный уничтожить Землю :), конечно не будет использовать бесплатный софт ;), а возьмет платный дистрибутив hadoop.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963903
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кэптен2. Они продаются или бесплатны. CERN например, где андронный коллайдер, способный уничтожить Землю :), конечно не будет использовать бесплатный софт ;), а возьмет платный дистрибутив hadoop.
Это заблуждение. Мне вообще странно, как там оказался оракл. Это нерепрезантативный пример. В церне могут свой хадуп с ораклом написать. ввв же написали.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38964724
loki1984
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot Кэптен]haXbatпропущено...

1. Есть различные дистрибутивы hadoop:
- Cloudera
- MapR
- HortonWorks
- IBM BlueInsights BigInsights
- other
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38966279
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander Ryndin Мне кажется, что вы даже картинку не поняли. Где вы видите доступ пользователей к hadoop на стр. 28? Ну и слово "крутить" оно обычно неприменимо к Big Data технологиям.
Вот пруф про CERN . Связку хадуп+импала собираются выкатить в продакшен вместо решения на Oracle. О чем, собственно, я и писал пару сообщений выше. И именно импалой будут крутить сырые логи в hdfs.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38966339
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatAlexander Ryndin Мне кажется, что вы даже картинку не поняли. Где вы видите доступ пользователей к hadoop на стр. 28? Ну и слово "крутить" оно обычно неприменимо к Big Data технологиям.
Вот пруф про CERN . Связку хадуп+импала собираются выкатить в продакшен вместо решения на Oracle. О чем, собственно, я и писал пару сообщений выше. И именно импалой будут крутить сырые логи в hdfs.1) Где там написано "вместо решения на Oracle"? В слайдах я увидел только "Integration with current systems (Oracle)"
2) Impala предыинсталлирована на Oracle Big Data Appliance. Так что это не взаимоисключающие понятия.
3) Запустить парочку select это еще не достижение. Давайте подождем, когда там на Impala запустят все в прод. Вот тогда и будем говорить гоп.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38969236
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatAlexander Ryndin Мне кажется, что вы даже картинку не поняли. Где вы видите доступ пользователей к hadoop на стр. 28? Ну и слово "крутить" оно обычно неприменимо к Big Data технологиям.
Вот пруф про CERN . Связку хадуп+импала собираются выкатить в продакшен вместо решения на Oracle. О чем, собственно, я и писал пару сообщений выше. И именно импалой будут крутить сырые логи в hdfs.
Ты сам то пробовал на этом запускать в продакшн анатилические системы?
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38969275
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander RyndinГде там написано "вместо решения на Oracle"? В слайдах я увидел только "Integration with current systems (Oracle)"
На слайдах 10-12 описано текущее решение на Oracle. На 15 слайде результаты, которые выдал Hadoop. Циферки можно сравнить самостоятельно и убедиться, что подход shared everything сливает shared nothing.
Alexander Ryndin2) Impala предыинсталлирована на Oracle Big Data Appliance. Так что это не взаимоисключающие понятия.

Это целая проблема на самом деле, т.к. приходится ждать несколько месяцев, пока вендор соизволит включить новые обновления клаудеры в ораклиный патч.

Apex Ты сам то пробовал на этом запускать в продакшн анатилические системы?
Сейчас работаю со связкой Hadoop + Impala, которая в продакшене больше года.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38969330
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatСейчас работаю со связкой Hadoop + Impala, которая в продакшене больше года.
Ну и какие ТТХ имеет этот продакшн?
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38970003
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ApexНу и какие ТТХ имеет этот продакшн?
12 нод, больше 30Tb сырых данных без учета репликации.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38970012
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatApexНу и какие ТТХ имеет этот продакшн?
12 нод, больше 30Tb сырых данных без учета репликации.

Чем занимается компания?
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38970321
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

gamedev
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38970430
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatмигель1,

gamedev

а как реализовали?
сыпите сырые логи в HDFS, потом агрегируете в hive а оттуда в хранилище?
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38970801
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1сыпите сырые логи в HDFS, потом агрегируете в hive а оттуда в хранилище?
Да, логи лежат в HDFS. А бизнес логика а-ля Кимбал/Инмон и полученные агрегаты в оракле.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38970844
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatмигель1сыпите сырые логи в HDFS, потом агрегируете в hive а оттуда в хранилище?
Да, логи лежат в HDFS. А бизнес логика а-ля Кимбал/Инмон и полученные агрегаты в оракле.

"А бизнес логика а-ля Кимбал/Инмон " какую прослойку используете ? hive pig spark ?
Чтобы из условно текстового url сделать плоскую таблицу для оракла
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38970968
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1haXbatпропущено...

Да, логи лежат в HDFS. А бизнес логика а-ля Кимбал/Инмон и полученные агрегаты в оракле.

"А бизнес логика а-ля Кимбал/Инмон " какую прослойку используете ? hive pig spark?

Чтобы из условно текстового url сделать плоскую таблицу для оракла
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38970970
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
может Sqoop перегонряли?
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38971031
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1"А бизнес логика а-ля Кимбал/Инмон " какую прослойку используете ? hive pig spark ?
Ораклиные вьюшки через дблинк смотрят в таблицы импалы.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38971037
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatмигель1"А бизнес логика а-ля Кимбал/Инмон " какую прослойку используете ? hive pig spark ?
Ораклиные вьюшки через дблинк смотрят в таблицы импалы.

Ааа Вы cloudera купили ) и почем если не секрет?
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38971172
Sal
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38971284
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А чего не вертика?
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38971285
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
в смысле видел вакансии в wg на вертику.

Модератор: Тема перенесена из форума "OLAP и DWH".
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38971540
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan Durakв смысле видел вакансии в wg на вертику.
Насколько я помню, вертика шла в разделе желательного опыта.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38971559
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakAlexander RyndinА есть какие-то успешные примеры использования Big Data технологий на пространстве бывшего СССР? Я знаю про телекомы, но не уверен, что там это принесло какую-то выгоду. Интересно было бы увидеть ROI, потому как BigData это весьма ресурсоемкая штука как с точки зрения людей, так и точки зрения floorspace и используемой энергии.
давайте к конкретике. Бигдата это хадуп+сверху на нем все что угодно .

Можно хадуп и вычеркнуть для общности подхода.


зы. нету никакой бигдаты. Это выдумки маркетологов.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38971834
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WinnipuhIvan Durakпропущено...

давайте к конкретике. Бигдата это хадуп+сверху на нем все что угодно .

Можно хадуп и вычеркнуть для общности подхода.


зы. нету никакой бигдаты. Это выдумки маркетологов.

Лучшее определение дал Филановский.
Бигдата- это антресолька, куда можно закинуть всё, что не лезет в привычные хранилища (т.к. это дешевле), а потом попробовать это использовать (т.к. оно переварит такие объёмы даже на недорогом кластере).
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38973035
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatIvan Durakв смысле видел вакансии в wg на вертику.
Насколько я помню, вертика шла в разделе желательного опыта.
а так у вас вертики нет. А зачем тогда ее опыт желателен? А не просто опыт с любой абстрактной mpp субд?
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38973179
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey TominWinnipuhпропущено...


Можно хадуп и вычеркнуть для общности подхода.


зы. нету никакой бигдаты. Это выдумки маркетологов.

Лучшее определение дал Филановский.
Бигдата- это антресолька, куда можно закинуть всё, что не лезет в привычные хранилища (т.к. это дешевле), а потом попробовать это использовать (т.к. оно переварит такие объёмы даже на недорогом кластере).

да, это ближе к сути
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38973512
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey TominWinnipuhпропущено...


Можно хадуп и вычеркнуть для общности подхода.


зы. нету никакой бигдаты. Это выдумки маркетологов.

Лучшее определение дал Филановский.
Бигдата- это антресолька, куда можно закинуть всё, что не лезет в привычные хранилища (т.к. это дешевле), а потом попробовать это использовать (т.к. оно переварит такие объёмы даже на недорогом кластере).
А привычные хранилища - это что??
Уже и хадуп с хайвом в принципе привычное дело.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38973563
Ибн Хоттаб
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а вот скажите,

select min(a.value+b.value) from some_table a, some_table b where bitand(a.key,b.key)=0

где в some_table 26 миллионов записей, пока что. Это уже бигдата, или еще нет? :)
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38973586
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakAlexey TominБигдата- это антресолька, куда можно закинуть всё, что не лезет в привычные хранилища (т.к. это дешевле), а потом попробовать это использовать (т.к. оно переварит такие объёмы даже на недорогом кластере).
А привычные хранилища - это что??

SQL, к примеру.
Есть, кстати, и интересные расширения- например Grennplum . Что не отменяет (у наших заказчиков) как использование Oracle Database, так и hadoop.
Надо понимать, что oracle удобнее в использовании, чем greenplum, а тот удобнее hadoop. Но и умрут они (на сравнимых по цене серверах) в том же порядке.

Ибн Хоттаба вот скажите,

select min(a.value+b.value) from some_table a, some_table b where bitand(a.key,b.key)=0

где в some_table 26 миллионов записей, пока что. Это уже бигдата, или еще нет? :)

"Кому и кобыла невеста".
Бигдата- это когда на своём SQL-сервере это не выполнить. Понятное дело, что у кого-то под сервер двухголовый xeon стоит, а у другого- hp superdome (это не реклама- просто как пример). Что для бедного стартапа бигдата- для большого банка- нормальная вещь.
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38973634
YesSql
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Уж не помню кто сказал первым. Не в бровь а в глаз.
авторBig data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it...
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38973779
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
YesSqlУж не помню кто сказал первым. Не в бровь а в глаз.
авторBig data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it...

йез!
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38973780
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey TominIvan Durakпропущено...

А привычные хранилища - это что??

SQL, к примеру.
Есть, кстати, и интересные расширения- например Grennplum . Что не отменяет (у наших заказчиков) как использование Oracle Database, так и hadoop.
Надо понимать, что oracle удобнее в использовании, чем greenplum, а тот удобнее hadoop. Но и умрут они (на сравнимых по цене серверах) в том же порядке.

Ибн Хоттаба вот скажите,

select min(a.value+b.value) from some_table a, some_table b where bitand(a.key,b.key)=0

где в some_table 26 миллионов записей, пока что. Это уже бигдата, или еще нет? :)

"Кому и кобыла невеста".
Бигдата- это когда на своём SQL-сервере это не выполнить. Понятное дело, что у кого-то под сервер двухголовый xeon стоит, а у другого- hp superdome (это не реклама- просто как пример). Что для бедного стартапа бигдата- для большого банка- нормальная вещь.

по поводу кобылы:

сегодня не выполняется, значит бигдата, а завтра выполняется - и для меня это уже не бигадата, а для соседа Васи - еще какая бигдата
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38973934
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Winnipuhсегодня не выполняется, значит бигдата, а завтра выполняется - и для меня это уже не бигадата, а для соседа Васи - еще какая бигдата

С одной стороны- да, те же объёмы могу перейти в другой раздел, по мере обновления техники.
С другой- данных-то тоже больше станет.

В целом- надо знать, что bigdata - это и проблема, и намётки для её решения. Намётки, потом что надо каждый раз городить велосипед- простого и понятного пути, как с SQL нет и вряд ли будет. С другой стороны- "на эти два процента я и живу" :D
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38975746
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbatмигель1сыпите сырые логи в HDFS, потом агрегируете в hive а оттуда в хранилище?
Да, логи лежат в HDFS. А бизнес логика а-ля Кимбал/Инмон и полученные агрегаты в оракле.
Ну т.е. непосредственно Импале отведена роль ETL сервера, а ad-hoc запросы (читай аналитика) делается в Оракле?
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38975821
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кстати, можно почитать Сказ про то, как мы строим ETL на Hadoop .
...
Рейтинг: 0 / 0
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38975986
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ApexНу т.е. непосредственно Импале отведена роль ETL сервера, а ad-hoc запросы (читай аналитика) делается в Оракле?
В Oракле находятся витрины данных, куда смотрит визуализатор Tableau. Исследования, ad-hoc и прочее, что выходит за рамки существующих витрин, выполняются на Импале.
...
Рейтинг: 0 / 0
76 сообщений из 76, показаны все 4 страниц
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Big Data - собирается ли кто-либо создавать здесь такой форум?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]