|
|
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
Ivan DurakApexТ.е. ты залил на виртуалку с хортоном 15 гигов и он подавился? как в анекдоте: "выпил 3 бутылки водки, закусил печенькой - что-то мне плохо. Наверное отравился печенькой" А что не так? я хотел его протестировать на большом объеме. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.09.2015, 10:32 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
кириллkIvan Durakпропущено... как в анекдоте: "выпил 3 бутылки водки, закусил печенькой - что-то мне плохо. Наверное отравился печенькой" А что не так? я хотел его протестировать на большом объеме. Действительно, что может быть не так с нагрузочным тестированием на виртуальной машине... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2015, 00:19 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
Пару слов про Big Data. Пож этими словами подразумавают: 1. Маркетинговое понятие. Когда очень МНОГО данных (счет идет на петабайты или сотни терабайтов), как правило НЕСТРУКТУРИРОВАННЫХ, и с ними нужно что-то делать. 2. Железка от Оракл которая называется BigData. Решить проблему Big Data как правило пытаются через много дешевого железа + Hadoop (файловая система) + разнообразные примочки для упрощения обработки данных. Тема в тренде, много всего меняется и развивается. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2015, 09:48 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
GASTROPODA, раскройте шире, что такое "проблема Big Data" :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2015, 12:18 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
skyANA, Понимаю, что у многих на сейчас такой проблемы нет. Но это не значит, что она не появится в будущем. Пока у нас многие данные проще спустить в утиль, т.к. они не приновят профита. Но на западе из этих данных научились выжимать деньги, соответственно, появилась ниша для Big Data. Если по сути, то некоторым уже нужно что-то делать с этим: "за 1 минуту интернета появляется 11 тыс. записей на Linkedin и 278 тыс. записей на Twitter". Первый подход - спускать все на /dev/null. Второй подход - пытаться как-то анализировать весь этот хаос. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2015, 12:53 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
GASTROPODAskyANA, Понимаю, что у многих на сейчас такой проблемы нет. Но это не значит, что она не появится в будущем. Пока у нас многие данные проще спустить в утиль, т.к. они не приновят профита. Но на западе из этих данных научились выжимать деньги, соответственно, появилась ниша для Big Data. Если по сути, то некоторым уже нужно что-то делать с этим: "за 1 минуту интернета появляется 11 тыс. записей на Linkedin и 278 тыс. записей на Twitter". Первый подход - спускать все на /dev/null. Второй подход - пытаться как-то анализировать весь этот хаос. Вот у нас такая проблема началась. Стали использовать вертику. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2015, 13:04 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
a_voronin, Если информация не секретна, опишите в двух словах о преимуществах данного решения. Вертика лицензируется потерабайтно. Сколько терабайт данных в вашем проекте уже есть и сколько прогнозируется? Какие преимущества RDBMS вы использовали для обработки неструктурированых данных? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2015, 13:29 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
GASTROPODA, дак Вы суть проблемы описать можете, или нет? Всё вокруг да около ходите :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2015, 14:55 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
skyANA, Описал тремя постами выше. Чем обработать большие объемы неструктурированных данных дешево? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2015, 15:16 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
GASTROPODAКакие преимущества RDBMS вы использовали для обработки неструктурированых данных? дайте угадаю - структурируют и обрабатывают!!!! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2015, 15:49 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
Ivan Durak, Т.е. возят картошку на мерседесе? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2015, 15:52 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
GASTROPODAskyANA, Описал тремя постами выше. Чем обработать большие объемы неструктурированных данных дешево?А зачем их вообще обрабатывать? Откуда они вдруг берутся большие? :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2015, 16:57 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
a_voroninGASTROPODAskyANA, Понимаю, что у многих на сейчас такой проблемы нет. Но это не значит, что она не появится в будущем. Пока у нас многие данные проще спустить в утиль, т.к. они не приновят профита. Но на западе из этих данных научились выжимать деньги, соответственно, появилась ниша для Big Data. Если по сути, то некоторым уже нужно что-то делать с этим: "за 1 минуту интернета появляется 11 тыс. записей на Linkedin и 278 тыс. записей на Twitter". Первый подход - спускать все на /dev/null. Второй подход - пытаться как-то анализировать весь этот хаос. Вот у нас такая проблема началась. Стали использовать вертику. А я еще под вертику положу хадуп ) Это вообще моя мечта хадуп+вертика+ssas+эксель ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2015, 18:01 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
кириллka_voroninпропущено... Вот у нас такая проблема началась. Стали использовать вертику. А я еще под вертику положу хадуп ) Это вообще моя мечта хадуп+вертика+ssas+эксель Я пытаюсь сейчас сделать "вертика+ssas+эксель" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2015, 18:38 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
кириллka_voroninпропущено... Вот у нас такая проблема началась. Стали использовать вертику. А я еще под вертику положу хадуп ) Это вообще моя мечта хадуп+вертика+ssas+эксель ну замени вертику на гринплам - и твоя шутка перестанет быть шуткой. http://pivotal.io/big-data/pivotal-hawq авторWorld’s Most Advanced Enterprise SQL on Hadoop Analytic Engine Leverage advanced analytics for your data in Apache Hadoop using a massively-parallel processing SQL engine ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.09.2015, 09:08 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
Ivan Durak, FYI ... Pivotal HD – HAWQ is based on Greenplum Database. - HAWQ SQL access to Hadoop data (including HBase) is done via the Greenplum Database External Table feature Part of what is now called PXF – Pivotal Extension Framework. - HAWQ uses its own internal proprietary metadata Does not use Apache Hadoop Hive Metadata Catalog (HCatalog) PS: BigInsights with BigSQL - http://www.ibm.com/developerworks/library/bd-bigsql/ Kind regards, Vadim. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.09.2015, 10:17 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
a_voroninкириллkпропущено... А я еще под вертику положу хадуп ) Это вообще моя мечта хадуп+вертика+ssas+эксель Я пытаюсь сейчас сделать "вертика+ssas+эксель" А как решили проблему разных операционных систем? ssas винда вертика линух ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 15:00 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
кириллka_voroninпропущено... Я пытаюсь сейчас сделать "вертика+ssas+эксель" А как решили проблему разных операционных систем? ssas винда вертика линух а что такое "проблема разных операционных систем"? И зачем её решать? Поставили на винду последний драйвер вертики и законнектились. Provider=VerticaOLEDB.1;Data Source=...;Persist Security Info=True;Password=**********;User ID=olap_user;Locale Identifier=1033;Initial Catalog=olap;Port=5433 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 15:21 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
Cloudera предложила установить следующие компоненты: Impala - which you will use for interactive query Apache Hive - which you will use for structure storage (i.e. tables in the Hive metastore) Hue - which you will use for end user query access HDFS - which you will use for distributed data storage YARN - processing framework used by Hive (includes MR2) HDFS - понятно, чтобы все хранить а чем отличаются: Impala - which you will use for interactive query Apache Hive - which you will use for structure storage (i.e. tables in the Hive metastore) Hue - which you will use for end user query access Как я понимаю запросы к hdfs надо писать на Apache Hive ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.12.2015, 14:52 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
Чем отличаются если коротко: Impala - собственная коммерческая разработка Cloudera, in-memory SQL-engine on Hadoop, вроде самая быстрая, погуглите на тему SQL-engine on Hadoop, найдете сравнения. Аналоги от других вендоров: Spark-SQL, Drill, Apache что-то там (пока в инкубаторе). Использовать в качестве драйвера для BI систем с минимальной задержкой. Apache Hive - это НЕ in-memory (на основе batch заданий MapReduce over HDFS, т.е. файловые операции ввода-вывода) SQL (HiveQL) engine on Hadoop. Для BI не подходит, т.к. высока задержка, но может лопатить петабайты, в основном для примитивного ETL или наполнения DHW из неструктурированных данных из Hadoop. Существуют оптимизации по скорости: Hive on Tez, Hive on Spark, но все равно до in-memory по скорости далеко, хотя кому-то хватит. Hue - примитивный WEB-интерфейс для написания запросов к Impala и Hive. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.12.2015, 15:21 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
ВжикЧем отличаются если коротко: Impala - собственная коммерческая разработка Cloudera, in-memory SQL-engine on Hadoop, вроде самая быстрая, погуглите на тему SQL-engine on Hadoop, найдете сравнения. Аналоги от других вендоров: Spark-SQL, Drill, Apache что-то там (пока в инкубаторе). Использовать в качестве драйвера для BI систем с минимальной задержкой. Impala не in-memory (но map-reduce не использует за счет чего и правда быстрее). Да и не самый быстрый и технологичый (нет поддержки sql-99). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.12.2015, 23:49 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
loki1984Impala не in-memory (но map-reduce не использует за счет чего и правда быстрее). Да и не самый быстрый и технологичый (нет поддержки sql-99). А что тогда быстрее и технологичнее импалы? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2015, 11:00 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
haXbat, IBM big sql Pivotal hawq Написаны на c++. Айбиэмовский движок умеет подтягивать данные из сторонних субд и join'ить их с данными в hadoop. В big sql поддержка sql 2011, hawq sql 2008, если не ошибаюсь. Ни импала ни эти движки не являются in-memory, не путайте. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2015, 19:03 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
loki1984haXbat, IBM big sql Pivotal hawq Написаны на c++. Айбиэмовский движок умеет подтягивать данные из сторонних субд и join'ить их с данными в hadoop. В big sql поддержка sql 2011, hawq sql 2008, если не ошибаюсь. Ни импала ни эти движки не являются in-memory, не путайте. а спарк? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.12.2015, 10:15 |
|
||
|
Как двигаться в сторону BigData
|
|||
|---|---|---|---|
|
#18+
haXbatloki1984Impala не in-memory (но map-reduce не использует за счет чего и правда быстрее). Да и не самый быстрый и технологичый (нет поддержки sql-99). А что тогда быстрее и технологичнее импалы? Teradata. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2015, 04:58 |
|
||
|
|
start [/forum/topic.php?fid=48&msg=39059139&tid=1856779]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
96ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
62ms |
get tp. blocked users: |
1ms |
| others: | 15ms |
| total: | 216ms |
| 0 / 0 |
