ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Big Data - собирается ли кто-либо создавать здесь такой форум?
25 сообщений из 76, страница 2 из 4
  2  все
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38960937
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
Ivan DurakЕдинственное где-то хоть как-то можно говорить о быстром выполнении - это навесить на хадуп, что-то типа спарка.Угу. До тех пор пока все в оперативку вмещается. А потом начинается ппц.
...
Рейтинг: 0 / 0
17.05.2015, 20:51
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38960962
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
haXbat
Участник
Ivan DurakЕсли речь о sql поверх хадуп, типа классического хайва - то это без вариантов будет медленнее.
В наших тестах на почти на порядок по сравнению с mpp субд на таком же количестве серверов.
Единственное где-то хоть как-то можно говорить о быстром выполнении - это навесить на хадуп, что-то типа спарка.
Голый хайв - это для бедных. Для богатых есть sql движок Impala от Cloudera.
...
Рейтинг: 0 / 0
17.05.2015, 21:54
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38962143
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apex
Участник
haXbatIvan DurakЕсли речь о sql поверх хадуп, типа классического хайва - то это без вариантов будет медленнее.
В наших тестах на почти на порядок по сравнению с mpp субд на таком же количестве серверов.
Единственное где-то хоть как-то можно говорить о быстром выполнении - это навесить на хадуп, что-то типа спарка.
Голый хайв - это для бедных. Для богатых слабоумных и отважных есть sql движок Impala от Cloudera.
...
Рейтинг: 0 / 0
19.05.2015, 02:50
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38962145
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apex
Участник
Ivan DurakВ наших тестах на почти на порядок по сравнению с mpp субд на таком же количестве серверов.


При том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами.
...
Рейтинг: 0 / 0
19.05.2015, 03:01
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38962443
Ибн Хоттаб
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ибн Хоттаб
Участник
БумбарашА где вы в Минске навешиваете на хадуп типа спарка?
У вас там переполненные склады тракторов на три года вперед и постановления правительства о том, сколько должно стоять горизонтов на первой полке в магазине электроники. Просто интересно.

Это шутка? В Минске, в отличие от Москвы, большинство денег идет из аутсорса, зеленых хрустящих денег.

Спарк - очень интересная тема, лично я вижу его как пристройку к традиционному биаю, для скоростного прочесывания "узких и длинных" таблиц.
...
Рейтинг: 0 / 0
19.05.2015, 11:38
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38962470
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
БумбарашА где вы в Минске навешиваете на хадуп типа спарка?
У вас там переполненные склады тракторов на три года вперед и постановления правительства о том, сколько должно стоять горизонтов на первой полке в магазине электроники. Просто интересно.
иди выпей водки с медведями
...
Рейтинг: 0 / 0
19.05.2015, 11:51
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963009
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Ибн ХоттабЭто шутка? В Минске, в отличие от Москвы, большинство денег идет из аутсорса, зеленых хрустящих денег.

Это не шутка. Это вопрос.

А где вы в Минске навешиваете на хадуп типа спарка?

Какое слово непонятно?
...
Рейтинг: 0 / 0
19.05.2015, 17:00
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963016
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
А то, что там везде аутсорс, я знаю. В епаме работал как никак. То что там аутсорс это как раз прямое следствие того, что у меня написано во втором предложении в том посте.
...
Рейтинг: 0 / 0
19.05.2015, 17:02
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963077
Ибн Хоттаб
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ибн Хоттаб
Участник
БумбарашА где вы в Минске навешиваете на хадуп типа спарка?

Какое слово непонятно?

Непонятно при чем здесь мифические трехлетние запасы тракторов и постановления правительства.
...
Рейтинг: 0 / 0
19.05.2015, 17:25
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963305
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
haXbat
Участник
ApexПри том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами.
Бла-бла-бла. CERN переводит аналитику с оракла на хадуп стек.
...
Рейтинг: 0 / 0
19.05.2015, 20:45
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963346
Кэптен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кэптен
Участник
haXbatApexПри том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами.
Бла-бла-бла. CERN переводит аналитику с оракла на хадуп стек.
Бла-бла-бла :)
https://indico.cern.ch/event/381182/material/slides/0.pdf
см. с сайта CERN подпись на каждом слайде: Oracle Big Data and Analytics , 11/03/2015
И архитектура на 28 странице.
...
Рейтинг: 0 / 0
19.05.2015, 22:11
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963360
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
haXbatApexПри том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами.
Бла-бла-бла. CERN переводит аналитику с оракла на хадуп стек.
когда у нас оракл mpp стал??
...
Рейтинг: 0 / 0
19.05.2015, 22:39
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963366
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apex
Участник
haXbatApex При том же количестве серверов одинаковой конфигурации шансов нет ни у Спарка, ни у Теза, ни у Престо. Теоретически шанс мог бы быть у Импалы, если бы она не была глючным говном с мутными перспективами.
Бла-бла-бла. CERN переводит аналитику с оракла на хадуп стек.
Для слепых выделил жирным.
...
Рейтинг: 0 / 0
19.05.2015, 22:45
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963377
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
haXbat
Участник
Кэптенсм. с сайта CERN подпись на каждом слайде: Oracle Big Data and Analytics , 11/03/2015
И архитектура на 28 странице.
Слоника видишь на 28 странице? Сырые логи хранятся в hdfs. Крутить их и собираются импалочкой.
...
Рейтинг: 0 / 0
19.05.2015, 23:05
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963384
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
haXbatКэптенсм. с сайта CERN подпись на каждом слайде: Oracle Big Data and Analytics , 11/03/2015
И архитектура на 28 странице.
Слоника видишь на 28 странице? Сырые логи хранятся в hdfs. Крутить их и собираются импалочкой.Мне кажется, что вы даже картинку не поняли. Где вы видите доступ пользователей к hadoop на стр. 28? Ну и слово "крутить" оно обычно неприменимо к Big Data технологиям.
...
Рейтинг: 0 / 0
19.05.2015, 23:22
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963776
Кэптен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кэптен
Участник
haXbatКэптенсм. с сайта CERN подпись на каждом слайде: Oracle Big Data and Analytics , 11/03/2015
И архитектура на 28 странице.
Слоника видишь на 28 странице? Сырые логи хранятся в hdfs. Крутить их и собираются импалочкой.
Я так понимаю, что небольшой ликбез не помешает многим.

1. Есть различные дистрибутивы hadoop:
- Cloudera
- MapR
- HortonWorks
- IBM BlueInsights
- other

2. Они продаются или бесплатны. CERN например, где андронный коллайдер, способный уничтожить Землю :), конечно не будет использовать бесплатный софт ;), а возьмет платный дистрибутив hadoop.
...
Рейтинг: 0 / 0
20.05.2015, 11:20
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38963903
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Кэптен2. Они продаются или бесплатны. CERN например, где андронный коллайдер, способный уничтожить Землю :), конечно не будет использовать бесплатный софт ;), а возьмет платный дистрибутив hadoop.
Это заблуждение. Мне вообще странно, как там оказался оракл. Это нерепрезантативный пример. В церне могут свой хадуп с ораклом написать. ввв же написали.
...
Рейтинг: 0 / 0
20.05.2015, 12:27
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38964724
loki1984
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
loki1984
Участник
[quot Кэптен]haXbatпропущено...

1. Есть различные дистрибутивы hadoop:
- Cloudera
- MapR
- HortonWorks
- IBM BlueInsights BigInsights
- other
...
Рейтинг: 0 / 0
21.05.2015, 00:58
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38966279
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
haXbat
Участник
Alexander Ryndin Мне кажется, что вы даже картинку не поняли. Где вы видите доступ пользователей к hadoop на стр. 28? Ну и слово "крутить" оно обычно неприменимо к Big Data технологиям.
Вот пруф про CERN . Связку хадуп+импала собираются выкатить в продакшен вместо решения на Oracle. О чем, собственно, я и писал пару сообщений выше. И именно импалой будут крутить сырые логи в hdfs.
...
Рейтинг: 0 / 0
22.05.2015, 13:21
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38966339
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
haXbatAlexander Ryndin Мне кажется, что вы даже картинку не поняли. Где вы видите доступ пользователей к hadoop на стр. 28? Ну и слово "крутить" оно обычно неприменимо к Big Data технологиям.
Вот пруф про CERN . Связку хадуп+импала собираются выкатить в продакшен вместо решения на Oracle. О чем, собственно, я и писал пару сообщений выше. И именно импалой будут крутить сырые логи в hdfs.1) Где там написано "вместо решения на Oracle"? В слайдах я увидел только "Integration with current systems (Oracle)"
2) Impala предыинсталлирована на Oracle Big Data Appliance. Так что это не взаимоисключающие понятия.
3) Запустить парочку select это еще не достижение. Давайте подождем, когда там на Impala запустят все в прод. Вот тогда и будем говорить гоп.
...
Рейтинг: 0 / 0
22.05.2015, 13:51
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38969236
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apex
Участник
haXbatAlexander Ryndin Мне кажется, что вы даже картинку не поняли. Где вы видите доступ пользователей к hadoop на стр. 28? Ну и слово "крутить" оно обычно неприменимо к Big Data технологиям.
Вот пруф про CERN . Связку хадуп+импала собираются выкатить в продакшен вместо решения на Oracle. О чем, собственно, я и писал пару сообщений выше. И именно импалой будут крутить сырые логи в hdfs.
Ты сам то пробовал на этом запускать в продакшн анатилические системы?
...
Рейтинг: 0 / 0
26.05.2015, 21:34
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38969275
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
haXbat
Участник
Alexander RyndinГде там написано "вместо решения на Oracle"? В слайдах я увидел только "Integration with current systems (Oracle)"
На слайдах 10-12 описано текущее решение на Oracle. На 15 слайде результаты, которые выдал Hadoop. Циферки можно сравнить самостоятельно и убедиться, что подход shared everything сливает shared nothing.
Alexander Ryndin2) Impala предыинсталлирована на Oracle Big Data Appliance. Так что это не взаимоисключающие понятия.

Это целая проблема на самом деле, т.к. приходится ждать несколько месяцев, пока вендор соизволит включить новые обновления клаудеры в ораклиный патч.

Apex Ты сам то пробовал на этом запускать в продакшн анатилические системы?
Сейчас работаю со связкой Hadoop + Impala, которая в продакшене больше года.
...
Рейтинг: 0 / 0
26.05.2015, 22:40
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38969330
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apex
Участник
haXbatСейчас работаю со связкой Hadoop + Impala, которая в продакшене больше года.
Ну и какие ТТХ имеет этот продакшн?
...
Рейтинг: 0 / 0
27.05.2015, 04:04
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38970003
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
haXbat
Участник
ApexНу и какие ТТХ имеет этот продакшн?
12 нод, больше 30Tb сырых данных без учета репликации.
...
Рейтинг: 0 / 0
27.05.2015, 17:03
| Ответить | Цитировать | Написать  
Big Data - собирается ли кто-либо создавать здесь такой форум?
    #38970012
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
haXbatApexНу и какие ТТХ имеет этот продакшн?
12 нод, больше 30Tb сырых данных без учета репликации.

Чем занимается компания?
...
Рейтинг: 0 / 0
27.05.2015, 17:18
| Ответить | Цитировать | Написать  
25 сообщений из 76, страница 2 из 4
  2  все
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Big Data - собирается ли кто-либо создавать здесь такой форум?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=48&msg=38963903&tid=1856819]:
 0ms
get settings:
 11ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 144ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 57ms
get tp. blocked users:
 1ms
others: 13ms
total:  257ms
созд. / загр.: 257ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]