|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Всем добрый день. Вошел я наконец в big data. Скажу вам, что тема очень интересная, и очень отличается от классического DWH/ETL/OLAP. В связи с этим вопрос: а не собираются ли уважаемые модераторы сделать отдельный форум тут по Big Data? Я думаю в этом есть смысл. С другой стороны, можно было этот форум "расширить", поменяв название. Но думаю это не самый хороший вариант, так как в big data такой "зоопарк" и столько вопросов, которые и близко не стояли к тем, что в классическом DWH стоят, что люди просто не будут пересекаться. Если модераторы это видят, предлагаю свою кандидатуру на пост модератора форума. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 00:58 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Так обсуждаются бигдатые вопросы по необходимости, то тут - то там бигдатость мелькает и не похоже чтобы так уж активно всё было аж до нового субфорума .. закидывай в заголовок темы это сокровенно-ключевое слово, и кому интересно - клюнут, иначе действительно потеряемся в деревьях структуры форума.. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 01:36 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Такой форум уже имеется... ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 02:37 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
и что, БигДата - доходная поляна? должно быть да пока новая и моднявая тема. CRM и BPM-ов уже наелись, а BI обещанных прибылей не приносят конторам. Так и живем'с ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 09:21 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
babonaновая и моднявая тема. ага, в ветке ("отдельный форум") - "no sql, big data" каждый месяц по новому сообщению ) ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 09:38 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
babonaи что, БигДата - доходная поляна? должно быть да пока новая и моднявая тема. CRM и BPM-ов уже наелись, а BI обещанных прибылей не приносят конторам. Так и живем'с Дело не моде, а в том, что данных становится все больше и больше, темпы прироста увеличиваются. Обрабатывать все это с помощью старых подходов становится слишком неэффективно. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 10:11 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbat, и чо? а то можно подумать вчерашние/текущие объемы данных научились анализировать? т.е. имеем согласованные измерения, непротиворечивые данные в атрибутах, отсутствие критически важных пропусков в данных и т. д., навели порядок в OLTP системах и бизнес-процессах ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 10:57 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
babonahaXbat, и чо? а то можно подумать вчерашние/текущие объемы данных научились анализировать? т.е. имеем согласованные измерения, непротиворечивые данные в атрибутах, отсутствие критически важных пропусков в данных и т. д., навели порядок в OLTP системах и бизнес-процессах и че?? можно подумать беспорядок в oltp базах помешал созданию олап и dwh. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 11:40 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
А есть какие-то успешные примеры использования Big Data технологий на пространстве бывшего СССР? Я знаю про телекомы, но не уверен, что там это принесло какую-то выгоду. Интересно было бы увидеть ROI, потому как BigData это весьма ресурсоемкая штука как с точки зрения людей, так и точки зрения floorspace и используемой энергии. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 11:50 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Alexander RyndinА есть какие-то успешные примеры использования Big Data технологий на пространстве бывшего СССР? Я знаю про телекомы, но не уверен, что там это принесло какую-то выгоду. Интересно было бы увидеть ROI, потому как BigData это весьма ресурсоемкая штука как с точки зрения людей, так и точки зрения floorspace и используемой энергии. давайте к конкретике. Бигдата это хадуп+сверху на нем все что угодно. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 11:54 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Ivan DurakAlexander RyndinА есть какие-то успешные примеры использования Big Data технологий на пространстве бывшего СССР? Я знаю про телекомы, но не уверен, что там это принесло какую-то выгоду. Интересно было бы увидеть ROI, потому как BigData это весьма ресурсоемкая штука как с точки зрения людей, так и точки зрения floorspace и используемой энергии. давайте к конкретике. Бигдата это хадуп+сверху на нем все что угодно.Да, согласен - хорошее замечание. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 12:01 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Игорь БобакЕсли модераторы это видят, предлагаю свою кандидатуру на пост модератора форума. форум же вроде как есть ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 12:13 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Ivan Durak, так и я про тож - всё это BI/DWH/BigData разводилово по большей части и слабоокупаемое. Alexander Ryndin, про успешные проекты - это смотря кого и где читать. Неужто эффективный ТОП-менеджер напишет правду, что эффект есть, но кратковременные, а в длинную - издержки очень велики и нестабильный эффект. Глянцевые ИТ-журналы читать - так там вранье, интеграторы те еще басни нахваливают. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 12:44 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
babonaIvan Durak, так и я про тож - всё это BI/DWH/BigData разводилово по большей части и слабоокупаемое.Ну как и любая технология Hadoop проходит через Hype Cycle . Это нормально. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 12:51 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
babonaIvan Durak, так и я про тож - всё это BI/DWH/BigData разводилово по большей части и слабоокупаемое. Так можно про любой стек технологий сказать. Oracle - разводилово! Hadoop и прочее - это всего лишь инструмент. Если в аналитике не будут копаться модные data scientist, если топы не будут принимать решения на основе исследований, то вся Big Data становится бесполезной для бизнеса. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 13:37 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Игорь БобакВсем добрый день. Вошел я наконец в big data. Скажу вам, что тема очень интересная, и очень отличается от классического DWH/ETL/OLAP. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 13:49 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
babonaIvan Durak, так и я про тож - всё это BI/DWH/BigData разводилово по большей части и слабоокупаемое. Alexander Ryndin, про успешные проекты - это смотря кого и где читать. Неужто эффективный ТОП-менеджер напишет правду, что эффект есть, но кратковременные, а в длинную - издержки очень велики и нестабильный эффект. Глянцевые ИТ-журналы читать - так там вранье, интеграторы те еще басни нахваливают. ну классическое BI/DWH уже давно не разводилово. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 15:03 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
классическое BI/DWH уже давно не разводилово, а унылые серые будни и неочень оплачиваемое ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 17:06 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
babona, ага пересядем на хадуууп и будет весело ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 17:48 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Ну вот опять проводят знак равенства BigData = Hadoop. BigData цэ challenge, а Hadoop - экосистема, призванная с ним бороться. Не обязательно зацикливаться на нём. Что касается выгоды, то я лично считал для телекома стоимость солюшена для хранения и обработки данных для СОРМ на hdfs и Оракле. На hdfs получилось подешевле. И, думается, что ad hoc запросы там тоже бегали бы повеселее. Но для менеджеров выгоднее чем подороже. Пересекался с парой контор: российской и буржуйской, которые тупо зарабатывают кластером деньги. Вообще, как и любая технология, хадупный кластер просто даёт новые возможности: сохранять и обрабатывать данные, которые раньше бы удалили, либо скинули бы на ленту. Кто умеет извлекать выгоду - извлечёт выгоду, кто умеет только пилить - будет пилить, а если не получается пилить, то будет хаять. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 18:46 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Очень лысыйНа hdfs получилось подешевле. Хранение на HDFS безусловно дешевле. Очень лысыйИ, думается, что ad hoc запросы там тоже бегали бы повеселее. А вот это уже весьма спорно. А очень часто вообще не верно. Очень лысыйНо для менеджеров выгоднее чем подороже. Сразу видно человека, который никогда не был менеджером. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.05.2015, 01:26 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
ApexОчень лысыйНа hdfs получилось подешевле. Хранение на HDFS безусловно дешевле. Очень лысыйИ, думается, что ad hoc запросы там тоже бегали бы повеселее. А вот это уже весьма спорно. А очень часто вообще не верно. Очень лысыйНо для менеджеров выгоднее чем подороже. Сразу видно человека, который никогда не был менеджером. Лень мне расставлять тэги цитат. Так отвечу. 1. Безусловность под вопросом. 2. В общем случае всё зависит от движка, конфигурации кластера, формата хранения и т.п., речь шла о вполне конкретном частном случае, конкретном объёме данных и конкретном бюджете. В данных условиях вполне реально сделать соответствующие оценки, тесты и т.д. 3. люблю я местных "проницательных" товарищей ... |
|||
:
Нравится:
Не нравится:
|
|||
14.05.2015, 14:29 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Естесно, на конечное решение кроме "распильного" повлияли и многие другие нюансы. Я тут чисто из лени скатился в нарратив. Однако дальнейшее развитие истории показывает, что принятое решение было ошибочным. Кстати, не факт, что предложенное мной было самым лучшим. Так бывает. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.05.2015, 14:36 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
ApexОчень лысыйИ, думается, что ad hoc запросы там тоже бегали бы повеселее. А вот это уже весьма спорно. А очень часто вообще не верно. Если речь о sql поверх хадуп, типа классического хайва - то это без вариантов будет медленнее. В наших тестах на почти на порядок по сравнению с mpp субд на таком же количестве серверов. Единственное где-то хоть как-то можно говорить о быстром выполнении - это навесить на хадуп, что-то типа спарка. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.05.2015, 19:45 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
А где вы в Минске навешиваете на хадуп типа спарка? У вас там переполненные склады тракторов на три года вперед и постановления правительства о том, сколько должно стоять горизонтов на первой полке в магазине электроники. Просто интересно. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.05.2015, 20:07 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Ivan DurakЕдинственное где-то хоть как-то можно говорить о быстром выполнении - это навесить на хадуп, что-то типа спарка.Угу. До тех пор пока все в оперативку вмещается. А потом начинается ппц. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.05.2015, 20:51 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Ivan DurakЕсли речь о sql поверх хадуп, типа классического хайва - то это без вариантов будет медленнее. В наших тестах на почти на порядок по сравнению с mpp субд на таком же количестве серверов. Единственное где-то хоть как-то можно говорить о быстром выполнении - это навесить на хадуп, что-то типа спарка. Голый хайв - это для бедных. Для богатых есть sql движок Impala от Cloudera. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.05.2015, 21:54 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatIvan DurakЕсли речь о sql поверх хадуп, типа классического хайва - то это без вариантов будет медленнее. В наших тестах на почти на порядок по сравнению с mpp субд на таком же количестве серверов. Единственное где-то хоть как-то можно говорить о быстром выполнении - это навесить на хадуп, что-то типа спарка. Голый хайв - это для бедных. Для богатых слабоумных и отважных есть sql движок Impala от Cloudera. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.05.2015, 02:50 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Ivan DurakВ наших тестах на почти на порядок по сравнению с mpp субд на таком же количестве серверов. При том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.05.2015, 03:01 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
БумбарашА где вы в Минске навешиваете на хадуп типа спарка? У вас там переполненные склады тракторов на три года вперед и постановления правительства о том, сколько должно стоять горизонтов на первой полке в магазине электроники. Просто интересно. Это шутка? В Минске, в отличие от Москвы, большинство денег идет из аутсорса, зеленых хрустящих денег. Спарк - очень интересная тема, лично я вижу его как пристройку к традиционному биаю, для скоростного прочесывания "узких и длинных" таблиц. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.05.2015, 11:38 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
БумбарашА где вы в Минске навешиваете на хадуп типа спарка? У вас там переполненные склады тракторов на три года вперед и постановления правительства о том, сколько должно стоять горизонтов на первой полке в магазине электроники. Просто интересно. иди выпей водки с медведями ... |
|||
:
Нравится:
Не нравится:
|
|||
19.05.2015, 11:51 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Ибн ХоттабЭто шутка? В Минске, в отличие от Москвы, большинство денег идет из аутсорса, зеленых хрустящих денег. Это не шутка. Это вопрос. А где вы в Минске навешиваете на хадуп типа спарка? Какое слово непонятно? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.05.2015, 17:00 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
А то, что там везде аутсорс, я знаю. В епаме работал как никак. То что там аутсорс это как раз прямое следствие того, что у меня написано во втором предложении в том посте. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.05.2015, 17:02 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
БумбарашА где вы в Минске навешиваете на хадуп типа спарка? Какое слово непонятно? Непонятно при чем здесь мифические трехлетние запасы тракторов и постановления правительства. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.05.2015, 17:25 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
ApexПри том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами. Бла-бла-бла. CERN переводит аналитику с оракла на хадуп стек. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.05.2015, 20:45 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatApexПри том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами. Бла-бла-бла. CERN переводит аналитику с оракла на хадуп стек. Бла-бла-бла :) https://indico.cern.ch/event/381182/material/slides/0.pdf см. с сайта CERN подпись на каждом слайде: Oracle Big Data and Analytics , 11/03/2015 И архитектура на 28 странице. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.05.2015, 22:11 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatApexПри том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами. Бла-бла-бла. CERN переводит аналитику с оракла на хадуп стек. когда у нас оракл mpp стал?? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.05.2015, 22:39 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatApex При том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами. Бла-бла-бла. CERN переводит аналитику с оракла на хадуп стек. Для слепых выделил жирным. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.05.2015, 22:45 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Кэптенсм. с сайта CERN подпись на каждом слайде: Oracle Big Data and Analytics , 11/03/2015 И архитектура на 28 странице. Слоника видишь на 28 странице? Сырые логи хранятся в hdfs. Крутить их и собираются импалочкой. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.05.2015, 23:05 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatКэптенсм. с сайта CERN подпись на каждом слайде: Oracle Big Data and Analytics , 11/03/2015 И архитектура на 28 странице. Слоника видишь на 28 странице? Сырые логи хранятся в hdfs. Крутить их и собираются импалочкой.Мне кажется, что вы даже картинку не поняли. Где вы видите доступ пользователей к hadoop на стр. 28? Ну и слово "крутить" оно обычно неприменимо к Big Data технологиям. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.05.2015, 23:22 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatКэптенсм. с сайта CERN подпись на каждом слайде: Oracle Big Data and Analytics , 11/03/2015 И архитектура на 28 странице. Слоника видишь на 28 странице? Сырые логи хранятся в hdfs. Крутить их и собираются импалочкой. Я так понимаю, что небольшой ликбез не помешает многим. 1. Есть различные дистрибутивы hadoop: - Cloudera - MapR - HortonWorks - IBM BlueInsights - other 2. Они продаются или бесплатны. CERN например, где андронный коллайдер, способный уничтожить Землю :), конечно не будет использовать бесплатный софт ;), а возьмет платный дистрибутив hadoop. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.05.2015, 11:20 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Кэптен2. Они продаются или бесплатны. CERN например, где андронный коллайдер, способный уничтожить Землю :), конечно не будет использовать бесплатный софт ;), а возьмет платный дистрибутив hadoop. Это заблуждение. Мне вообще странно, как там оказался оракл. Это нерепрезантативный пример. В церне могут свой хадуп с ораклом написать. ввв же написали. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.05.2015, 12:27 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
[quot Кэптен]haXbatпропущено... 1. Есть различные дистрибутивы hadoop: - Cloudera - MapR - HortonWorks - IBM BlueInsights BigInsights - other ... |
|||
:
Нравится:
Не нравится:
|
|||
21.05.2015, 00:58 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Alexander Ryndin Мне кажется, что вы даже картинку не поняли. Где вы видите доступ пользователей к hadoop на стр. 28? Ну и слово "крутить" оно обычно неприменимо к Big Data технологиям. Вот пруф про CERN . Связку хадуп+импала собираются выкатить в продакшен вместо решения на Oracle. О чем, собственно, я и писал пару сообщений выше. И именно импалой будут крутить сырые логи в hdfs. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.05.2015, 13:21 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatAlexander Ryndin Мне кажется, что вы даже картинку не поняли. Где вы видите доступ пользователей к hadoop на стр. 28? Ну и слово "крутить" оно обычно неприменимо к Big Data технологиям. Вот пруф про CERN . Связку хадуп+импала собираются выкатить в продакшен вместо решения на Oracle. О чем, собственно, я и писал пару сообщений выше. И именно импалой будут крутить сырые логи в hdfs.1) Где там написано "вместо решения на Oracle"? В слайдах я увидел только "Integration with current systems (Oracle)" 2) Impala предыинсталлирована на Oracle Big Data Appliance. Так что это не взаимоисключающие понятия. 3) Запустить парочку select это еще не достижение. Давайте подождем, когда там на Impala запустят все в прод. Вот тогда и будем говорить гоп. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.05.2015, 13:51 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatAlexander Ryndin Мне кажется, что вы даже картинку не поняли. Где вы видите доступ пользователей к hadoop на стр. 28? Ну и слово "крутить" оно обычно неприменимо к Big Data технологиям. Вот пруф про CERN . Связку хадуп+импала собираются выкатить в продакшен вместо решения на Oracle. О чем, собственно, я и писал пару сообщений выше. И именно импалой будут крутить сырые логи в hdfs. Ты сам то пробовал на этом запускать в продакшн анатилические системы? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.05.2015, 21:34 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Alexander RyndinГде там написано "вместо решения на Oracle"? В слайдах я увидел только "Integration with current systems (Oracle)" На слайдах 10-12 описано текущее решение на Oracle. На 15 слайде результаты, которые выдал Hadoop. Циферки можно сравнить самостоятельно и убедиться, что подход shared everything сливает shared nothing. Alexander Ryndin2) Impala предыинсталлирована на Oracle Big Data Appliance. Так что это не взаимоисключающие понятия. Это целая проблема на самом деле, т.к. приходится ждать несколько месяцев, пока вендор соизволит включить новые обновления клаудеры в ораклиный патч. Apex Ты сам то пробовал на этом запускать в продакшн анатилические системы? Сейчас работаю со связкой Hadoop + Impala, которая в продакшене больше года. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.05.2015, 22:40 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatСейчас работаю со связкой Hadoop + Impala, которая в продакшене больше года. Ну и какие ТТХ имеет этот продакшн? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.05.2015, 04:04 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
ApexНу и какие ТТХ имеет этот продакшн? 12 нод, больше 30Tb сырых данных без учета репликации. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.05.2015, 17:03 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatApexНу и какие ТТХ имеет этот продакшн? 12 нод, больше 30Tb сырых данных без учета репликации. Чем занимается компания? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.05.2015, 17:18 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
мигель1, gamedev ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2015, 08:13 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatмигель1, gamedev а как реализовали? сыпите сырые логи в HDFS, потом агрегируете в hive а оттуда в хранилище? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2015, 10:35 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
мигель1сыпите сырые логи в HDFS, потом агрегируете в hive а оттуда в хранилище? Да, логи лежат в HDFS. А бизнес логика а-ля Кимбал/Инмон и полученные агрегаты в оракле. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2015, 14:16 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatмигель1сыпите сырые логи в HDFS, потом агрегируете в hive а оттуда в хранилище? Да, логи лежат в HDFS. А бизнес логика а-ля Кимбал/Инмон и полученные агрегаты в оракле. "А бизнес логика а-ля Кимбал/Инмон " какую прослойку используете ? hive pig spark ? Чтобы из условно текстового url сделать плоскую таблицу для оракла ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2015, 14:42 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
мигель1haXbatпропущено... Да, логи лежат в HDFS. А бизнес логика а-ля Кимбал/Инмон и полученные агрегаты в оракле. "А бизнес логика а-ля Кимбал/Инмон " какую прослойку используете ? hive pig spark? Чтобы из условно текстового url сделать плоскую таблицу для оракла ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2015, 15:58 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
может Sqoop перегонряли? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2015, 15:59 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
мигель1"А бизнес логика а-ля Кимбал/Инмон " какую прослойку используете ? hive pig spark ? Ораклиные вьюшки через дблинк смотрят в таблицы импалы. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2015, 16:43 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatмигель1"А бизнес логика а-ля Кимбал/Инмон " какую прослойку используете ? hive pig spark ? Ораклиные вьюшки через дблинк смотрят в таблицы импалы. Ааа Вы cloudera купили ) и почем если не секрет? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2015, 16:47 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
мигель1, http://www.oracle.com/us/corporate/customers/customersearch/wargaming-1-bda-ss-2408474.html ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2015, 19:11 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
А чего не вертика? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2015, 22:25 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
в смысле видел вакансии в wg на вертику. Модератор: Тема перенесена из форума "OLAP и DWH". ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2015, 22:26 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Ivan Durakв смысле видел вакансии в wg на вертику. Насколько я помню, вертика шла в разделе желательного опыта. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.05.2015, 10:24 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Ivan DurakAlexander RyndinА есть какие-то успешные примеры использования Big Data технологий на пространстве бывшего СССР? Я знаю про телекомы, но не уверен, что там это принесло какую-то выгоду. Интересно было бы увидеть ROI, потому как BigData это весьма ресурсоемкая штука как с точки зрения людей, так и точки зрения floorspace и используемой энергии. давайте к конкретике. Бигдата это хадуп+сверху на нем все что угодно . Можно хадуп и вычеркнуть для общности подхода. зы. нету никакой бигдаты. Это выдумки маркетологов. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.05.2015, 10:35 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
WinnipuhIvan Durakпропущено... давайте к конкретике. Бигдата это хадуп+сверху на нем все что угодно . Можно хадуп и вычеркнуть для общности подхода. зы. нету никакой бигдаты. Это выдумки маркетологов. Лучшее определение дал Филановский. Бигдата- это антресолька, куда можно закинуть всё, что не лезет в привычные хранилища (т.к. это дешевле), а потом попробовать это использовать (т.к. оно переварит такие объёмы даже на недорогом кластере). ... |
|||
:
Нравится:
Не нравится:
|
|||
29.05.2015, 13:57 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatIvan Durakв смысле видел вакансии в wg на вертику. Насколько я помню, вертика шла в разделе желательного опыта. а так у вас вертики нет. А зачем тогда ее опыт желателен? А не просто опыт с любой абстрактной mpp субд? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2015, 10:47 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Alexey TominWinnipuhпропущено... Можно хадуп и вычеркнуть для общности подхода. зы. нету никакой бигдаты. Это выдумки маркетологов. Лучшее определение дал Филановский. Бигдата- это антресолька, куда можно закинуть всё, что не лезет в привычные хранилища (т.к. это дешевле), а потом попробовать это использовать (т.к. оно переварит такие объёмы даже на недорогом кластере). да, это ближе к сути ... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2015, 12:48 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Alexey TominWinnipuhпропущено... Можно хадуп и вычеркнуть для общности подхода. зы. нету никакой бигдаты. Это выдумки маркетологов. Лучшее определение дал Филановский. Бигдата- это антресолька, куда можно закинуть всё, что не лезет в привычные хранилища (т.к. это дешевле), а потом попробовать это использовать (т.к. оно переварит такие объёмы даже на недорогом кластере). А привычные хранилища - это что?? Уже и хадуп с хайвом в принципе привычное дело. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2015, 16:38 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
а вот скажите, select min(a.value+b.value) from some_table a, some_table b where bitand(a.key,b.key)=0 где в some_table 26 миллионов записей, пока что. Это уже бигдата, или еще нет? :) ... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2015, 17:04 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Ivan DurakAlexey TominБигдата- это антресолька, куда можно закинуть всё, что не лезет в привычные хранилища (т.к. это дешевле), а потом попробовать это использовать (т.к. оно переварит такие объёмы даже на недорогом кластере). А привычные хранилища - это что?? SQL, к примеру. Есть, кстати, и интересные расширения- например Grennplum . Что не отменяет (у наших заказчиков) как использование Oracle Database, так и hadoop. Надо понимать, что oracle удобнее в использовании, чем greenplum, а тот удобнее hadoop. Но и умрут они (на сравнимых по цене серверах) в том же порядке. Ибн Хоттаба вот скажите, select min(a.value+b.value) from some_table a, some_table b where bitand(a.key,b.key)=0 где в some_table 26 миллионов записей, пока что. Это уже бигдата, или еще нет? :) "Кому и кобыла невеста". Бигдата- это когда на своём SQL-сервере это не выполнить. Понятное дело, что у кого-то под сервер двухголовый xeon стоит, а у другого- hp superdome (это не реклама- просто как пример). Что для бедного стартапа бигдата- для большого банка- нормальная вещь. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2015, 17:19 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Уж не помню кто сказал первым. Не в бровь а в глаз. авторBig data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it... ... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2015, 17:45 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
YesSqlУж не помню кто сказал первым. Не в бровь а в глаз. авторBig data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it... йез! ... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2015, 20:38 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Alexey TominIvan Durakпропущено... А привычные хранилища - это что?? SQL, к примеру. Есть, кстати, и интересные расширения- например Grennplum . Что не отменяет (у наших заказчиков) как использование Oracle Database, так и hadoop. Надо понимать, что oracle удобнее в использовании, чем greenplum, а тот удобнее hadoop. Но и умрут они (на сравнимых по цене серверах) в том же порядке. Ибн Хоттаба вот скажите, select min(a.value+b.value) from some_table a, some_table b where bitand(a.key,b.key)=0 где в some_table 26 миллионов записей, пока что. Это уже бигдата, или еще нет? :) "Кому и кобыла невеста". Бигдата- это когда на своём SQL-сервере это не выполнить. Понятное дело, что у кого-то под сервер двухголовый xeon стоит, а у другого- hp superdome (это не реклама- просто как пример). Что для бедного стартапа бигдата- для большого банка- нормальная вещь. по поводу кобылы: сегодня не выполняется, значит бигдата, а завтра выполняется - и для меня это уже не бигадата, а для соседа Васи - еще какая бигдата ... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2015, 20:39 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Winnipuhсегодня не выполняется, значит бигдата, а завтра выполняется - и для меня это уже не бигадата, а для соседа Васи - еще какая бигдата С одной стороны- да, те же объёмы могу перейти в другой раздел, по мере обновления техники. С другой- данных-то тоже больше станет. В целом- надо знать, что bigdata - это и проблема, и намётки для её решения. Намётки, потом что надо каждый раз городить велосипед- простого и понятного пути, как с SQL нет и вряд ли будет. С другой стороны- "на эти два процента я и живу" :D ... |
|||
:
Нравится:
Не нравится:
|
|||
02.06.2015, 08:22 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
haXbatмигель1сыпите сырые логи в HDFS, потом агрегируете в hive а оттуда в хранилище? Да, логи лежат в HDFS. А бизнес логика а-ля Кимбал/Инмон и полученные агрегаты в оракле. Ну т.е. непосредственно Импале отведена роль ETL сервера, а ad-hoc запросы (читай аналитика) делается в Оракле? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.06.2015, 23:48 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
Кстати, можно почитать Сказ про то, как мы строим ETL на Hadoop . ... |
|||
:
Нравится:
Не нравится:
|
|||
04.06.2015, 08:47 |
|
Big Data - собирается ли кто-либо создавать здесь такой форум?
|
|||
---|---|---|---|
#18+
ApexНу т.е. непосредственно Импале отведена роль ETL сервера, а ad-hoc запросы (читай аналитика) делается в Оракле? В Oракле находятся витрины данных, куда смотрит визуализатор Tableau. Исследования, ad-hoc и прочее, что выходит за рамки существующих витрин, выполняются на Импале. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.06.2015, 11:27 |
|
|
start [/forum/topic.php?all=1&fid=48&tid=1856819]: |
0ms |
get settings: |
11ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
140ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
92ms |
get tp. blocked users: |
3ms |
others: | 15ms |
total: | 297ms |
0 / 0 |