Гость
Войти | Профиль | Очистить
Действия ...
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Ктото реально юзал Kudu ? (Hadoop) / 19 сообщений из 19, страница 1 из 1
15.01.2016, 10:54
    #39148031
dmsnet
dmsnet
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
Есть у кого опыт по проектах?
если кратко впечатления можете описать ? минусы ...

ато есть хайлоад проект метаясь тут в раздумиях ...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.01.2016, 10:56
    #39148033
dmsnet
dmsnet
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
http://m.habrahabr.ru/post/272267/

хвалят ... но как в реальности оно , эт вопрос
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.01.2016, 19:03
    #39150031
мигель1
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
dmsnet http://m.habrahabr.ru/post/272267/

хвалят ... но как в реальности оно , эт вопрос

почитал )

В заключении следует сказать, что в данный момент Kudu находится в стадии активной разработки и не готов для использования в продакшн.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Период между сообщениями больше года.
22.02.2017, 13:04
    #39409103
мигель1
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
мигель1,
Статья на хабре
3 декабря 2015 в 17:39

год прошел )

Я смотрю на бигдату апача не спешат переходить..

боятся опенсорс??
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.02.2017, 19:37
    #39409370
ASCRUS
ASCRUS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
Да вот оно все в теории красиво. На практике как обычно вылазят различные нюансы и благодаря им Хадуп при работе с структурированными данными здорово уступает заточенным на работу с ними РСУБД и по скорости и по функционалу и по надежности. Приходится мухлевать - сейчас вот например связку тестируем Hive на ORC для сбора и прожевывания данных плюс Вертика, которая таблицы Hive как внешние таблицы гоняет в запросах из HDFS.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.02.2017, 14:50
    #39410952
мигель1
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
ASCRUS,

получается интересная вещь

есть куча данных на дисках (HDFS)
а аналитики хотят быстро их гонять. Теперь вопрос... где?
вот и приходятся все равно их перегонять в колоночные таблицы (вертика, импала, монетдб, итд)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.02.2017, 15:12
    #39410980
Дедушка
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
мигель1Теперь вопрос... где?Spark?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.02.2017, 16:46
    #39411066
мигель1
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
Дедушкамигель1Теперь вопрос... где?Spark?

Спарк я думаю хорош для анализа.
Аналитку на нем не построить. ИМХО
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.02.2017, 18:19
    #39411139
Дедушка
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
мигель1,

а, что вы в данном контексте подразумеваете под "аналитикой"?
прямой запрос sql или в hive не будет аналитикой?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.02.2017, 09:17
    #39411388
мигель1
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
Дедушка,

Под аналитикой я понимаю совокупность инструментов, когда пользователь из какой -то веб морды, выбирает параметры, и получает отчет.

Как я понимаю, спарк не умеет:
На сгенерированный запрос создать датасет, информацию для которого будет брать из HDFS
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.02.2017, 10:53
    #39411431
Yo.!
Yo.!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
мигель1Под аналитикой я понимаю совокупность инструментов, когда пользователь из какой -то веб морды, выбирает параметры, и получает отчет.

Как я понимаю, спарк не умеет:
На сгенерированный запрос создать датасет, информацию для которого будет брать из HDFS
почему же, может. типа так
Код: java
1.
2.
3.
4.
5.
6.
7.
    val df = sparkSession.read
      .option("header", true)
      .option("delimiter", ";")
      .csv("/hdfs_path/file1.csv")
      .createOrReplaceTempView("csvtable")

   var data = sparkSession.sql("SELECT * FROM csvtable" )
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.02.2017, 12:08
    #39411493
Дедушка
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
мигель1Под аналитикой я понимаю совокупность инструментов, когда пользователь из какой -то веб морды, выбирает параметры, и получает отчет.apache zeppelin?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.02.2017, 17:01
    #39411825
мигель1
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
Дедушка,

Нашел статью на хабре
https://habrahabr.ru/company/jetinfosystems/blog/269769/

Пока такие танцы с бубном, бизнес не будет использовать окружение апача
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.02.2017, 17:18
    #39411841
Yo.!
Yo.!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
мигель1Нашел статью на хабре
https://habrahabr.ru/company/jetinfosystems/blog/269769/

Пока такие танцы с бубном, бизнес не будет использовать окружение апача
сомневаюсь, что бизнес станет связываться наркоманами пытающимся диалект спарка или посгреса обращаться к неподдерживаемому ораклу.
человеку уже на уровне идеи подружить тулзу к бигдата с ораклом стоило бы сказать нет наркотикам, а не принимать убойную дозу.

суть тулзы - дать доступ к дребедени поверх hadoop и его hdfs: hive, spark
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2017, 11:30
    #39412252
мигель1
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
Yo.!мигель1Под аналитикой я понимаю совокупность инструментов, когда пользователь из какой -то веб морды, выбирает параметры, и получает отчет.

Как я понимаю, спарк не умеет:
На сгенерированный запрос создать датасет, информацию для которого будет брать из HDFS
почему же, может. типа так
Код: java
1.
2.
3.
4.
5.
6.
7.
    val df = sparkSession.read
      .option("header", true)
      .option("delimiter", ";")
      .csv("/hdfs_path/file1.csv")
      .createOrReplaceTempView("csvtable")

   var data = sparkSession.sql("SELECT * FROM csvtable" )



Скажите пожалуйста, а где запускать этот чудесный код?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2017, 12:48
    #39412331
Yo.!
Yo.!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
мигель1Скажите пожалуйста, а где запускать этот чудесный код?

в гуйне databriks облака, oracle BI, apache zeppelin и т.п.
вобщем там где спарк супортиться
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.03.2017, 13:42
    #39413112
ASCRUS
ASCRUS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
мигель1ASCRUS,

получается интересная вещь

есть куча данных на дисках (HDFS)
а аналитики хотят быстро их гонять. Теперь вопрос... где?
вот и приходятся все равно их перегонять в колоночные таблицы (вертика, импала, монетдб, итд)
Ну вот не обязательно перегонять. В той же Вертике таблица Hive цепляется как внешняя и дальше запросы Вертики работают с ней, как родной таблицей. Причем это не тупо чтение всего с HDFS и пост обработка. С тем же форматом ORC Вертика оперирует партициями и тащит только нужные куски таблицы. Так же оперирует статистикой читаемых блоков и не читает тех, кто изначально не подходит под условия запросов. Плюс данные тащатся параллельно с нод кластера Хадуп нодами кластера Вертики, нет такого, что хдфс собирает весь файл из кусков и отдает Вертике. Если Вертика на тех же нодах живет, до тучи она еще и локально сразу куски видит, не тащит их через webhdfs, а читает напрямую. В общем медленнее чем на собственных ROS контейнерах локальных дисков, но все равно оптимизация присутствует и она сильно пошустрее, чем оптимизация того же Hive :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.03.2017, 16:42
    #39413259
мигель1
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
ASCRUS,

Я правильно понимаю, что Вы утверждаете, что Vertica на HDFS быстрее, чем Impala или Spark ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.03.2017, 18:04
    #39413318
Yo.!
Yo.!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ктото реально юзал Kudu ? (Hadoop)
мигель1Я правильно понимаю, что Вы утверждаете, что Vertica на HDFS быстрее, чем Impala или Spark ?
нет, он говорил о hive, который превращает SQL в неспешный map-reduce.
impala и спарк по другим принципам работают.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Ктото реально юзал Kudu ? (Hadoop) / 19 сообщений из 19, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 396ms
Закрыть
start [/forum/topic.php?fid=48&mobile=1&tid=1856705]:
 0ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 47ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 66ms
get tp. blocked users:
 2ms
others: 235ms
total:  396ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]