ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop
25 сообщений из 138, страница 2 из 6
  2  все
Hadoop
    #39222063
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Приветствую!
Дабы не плодить тем...
Подскажите, для кластера hadoop возможно ли сделать например 10 серверов(нодов) и все на виртуалках(Vmware, в котором также создан кластер из нескольких гипервизоров)?
Сильно ли важно количество оперативной памяти по сравнению с процессорами?
И какое оптимально соотношение?
И есть ли смысл все пилить с нуля и настраивать самому, или же достаточно воспользоваться HDP_2.4 например?
...
Рейтинг: 0 / 0
22.04.2016, 09:24
| Ответить | Цитировать | Написать  
Hadoop
    #39222315
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Гуру hadoop вы где :)
...
Рейтинг: 0 / 0
22.04.2016, 12:31
| Ответить | Цитировать | Написать  
Hadoop
    #39222332
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
mishanya3624,

Я думаю Вам стоит все попробовать и нам рассказать.
Единственное, я почти уверен что лучше взять готовую сборку клоудеры, чем самому все собирать
...
Рейтинг: 0 / 0
22.04.2016, 12:46
| Ответить | Цитировать | Написать  
Hadoop
    #39222594
Фотография Станислав Клевцов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Станислав Клевцов
Участник
мигель1mishanya3624,

Я думаю Вам стоит все попробовать и нам рассказать.
Единственное, я почти уверен что лучше взять готовую сборку клоудеры, чем самому все собирать

ну или другую сборку от какого-нибудь вендора
...
Рейтинг: 0 / 0
22.04.2016, 15:25
| Ответить | Цитировать | Написать  
Hadoop
    #39222801
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Пытаюсь поставить HUE на Hadoop, поставил пакет, изменил хост в конфиге , запустил hue, все ОК
Но когда вхожу на ip:8000 то вылетает эта страница:
Код: html
1.
2.
3.
4.
5.
6.
7.
8.
9.
NotImplementedError at /accounts/login/
Request Method:	GET
Request URL:	http://192.168.1.130:8000/accounts/login/?next=/dump_config
Django Version:	1.2.3
Exception Type:	NotImplementedError
Exception Value:	
Exception Location:	/usr/lib/hue/build/env/lib/python2.6/site-packages/Django-1.2.3-py2.6.egg/django/contrib/auth/models.py in save, line 427
Python Executable:	/usr/bin/python2.6
Python Version:	2.6.6



line 427

Код: java
1.
2.
    def save(self):
        raise NotImplementedError



Может у кого есть конфиги рабочие?
И есть ли аналог лучше hue?
...
Рейтинг: 0 / 0
22.04.2016, 18:40
| Ответить | Цитировать | Написать  
Hadoop
    #39222937
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apex
Участник
mishanya3624,

Версия х.я какая?
...
Рейтинг: 0 / 0
23.04.2016, 00:49
| Ответить | Цитировать | Написать  
Hadoop
    #39223463
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Apex,
hue-2.6.1.2.4.0.0-169.el6.x86_64
...
Рейтинг: 0 / 0
24.04.2016, 23:14
| Ответить | Цитировать | Написать  
Hadoop
    #39223518
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apex
Участник
Обновитесь до третьей хотя бы.
...
Рейтинг: 0 / 0
25.04.2016, 08:12
| Ответить | Цитировать | Написать  
Hadoop
    #39223704
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Apex,

Package hue-2.6.1.2.4.0.0-169.el6.x86_64 already installed and latest version
Nothing to do

авторInstalled Packages
hue.x86_64 2.6.1.2.4.0.0-169.el6 @HDP-2.4
hue-beeswax.x86_64 2.6.1.2.4.0.0-169.el6 @HDP-2.4
hue-common.x86_64 2.6.1.2.4.0.0-169.el6 @HDP-2.4
hue-hcatalog.x86_64 2.6.1.2.4.0.0-169.el6 @HDP-2.4
hue-oozie.x86_64 2.6.1.2.4.0.0-169.el6 @HDP-2.4
hue-pig.x86_64 2.6.1.2.4.0.0-169.el6 @HDP-2.4
hue-sandbox.noarch 1.2.1-88 @sandbox
hue-server.x86_64 2.6.1.2.4.0.0-169.el6 @HDP-2.4
hue-tutorials.noarch 1.2.1-88 @sandbox
...
Рейтинг: 0 / 0
25.04.2016, 11:44
| Ответить | Цитировать | Написать  
Hadoop
    #39223774
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
не пойму толи вендерлок на дальнейший update hue, толи хз, попробую поверх него отдельную 3.9 накатить.
...
Рейтинг: 0 / 0
25.04.2016, 12:45
| Ответить | Цитировать | Написать  
Hadoop
    #39224160
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
поставил с нуля hadoop накатил hue, это конечно писец гемороина.
я правильно понимаю, что вот это старая версия - https://yandex.ru/images/search?text=hadoop hue&img_url=http://2.bp.blogspot.com/-AE49MfG0ZtM/UoO3Nbr-miI/AAAAAAAAA14/V3bipocogb8/s1600/File_Browser.jpg&pos=27&rpt=simage
А вот это новая - https://yandex.ru/images/search?text=hadoop hue&img_url=http://gethue.com/wp-content/uploads/2015/06/solr-bike-dashboard.png&pos=4&rpt=simage

И подскажите какого еще вендора можно попробовать, кроме hortonworks?
...
Рейтинг: 0 / 0
25.04.2016, 19:17
| Ответить | Цитировать | Написать  
Hadoop
    #39224301
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apex
Участник
mishanya3624И подскажите какого еще вендора можно попробовать, кроме hortonworks?
Ну, собственно Cloudera и можно. Можно еще AWS EMR, но это в cloud.
...
Рейтинг: 0 / 0
26.04.2016, 01:25
| Ответить | Цитировать | Написать  
Hadoop
    #39224355
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
mishanya3624И подскажите какого еще вендора можно попробовать, кроме hortonworks?

Для меня Cloudera - это вариант по-умолчанию. Не видел других вариантов в использовании.
Ставится предельно просто- типа "хочу" и получаешь хадуп.
Правда я пробовал это только под linux - собственно в окружающей меня действительности очень много разработчиков перешли на linux, чтобы не иметь проблем с hadoop - например, можно гонять unit-test'ы на локальной машине без установленного хадупа, но в нём (и почти всё работает так же- я нашёл только один небольшой ньюанс).
...
Рейтинг: 0 / 0
26.04.2016, 07:38
| Ответить | Цитировать | Написать  
Hadoop
    #39224387
Фотография Станислав Клевцов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Станислав Клевцов
Участник
Alexey Tominmishanya3624И подскажите какого еще вендора можно попробовать, кроме hortonworks?

Для меня Cloudera - это вариант по-умолчанию. Не видел других вариантов в использовании.
Ставится предельно просто- типа "хочу" и получаешь хадуп.
Правда я пробовал это только под linux - собственно в окружающей меня действительности очень много разработчиков перешли на linux, чтобы не иметь проблем с hadoop - например, можно гонять unit-test'ы на локальной машине без установленного хадупа, но в нём (и почти всё работает так же- я нашёл только один небольшой ньюанс).

В Cloudera есть Impala :-)
...
Рейтинг: 0 / 0
26.04.2016, 08:51
| Ответить | Цитировать | Написать  
Hadoop
    #39224881
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
А ставил кто-нибудь Cloudera на vmware я про esxi а не workstation?
...
Рейтинг: 0 / 0
26.04.2016, 15:16
| Ответить | Цитировать | Написать  
Hadoop
    #39224926
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
mishanya3624А ставил кто-нибудь Cloudera на vmware я про esxi а не workstation?

Ставил
...
Рейтинг: 0 / 0
26.04.2016, 15:59
| Ответить | Цитировать | Написать  
Hadoop
    #39225022
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Alexey Tomin,

Что-то у меня не складывается с вендорами:)
качаю это: http://www.cloudera.com/downloads/quickstart_vms/5-7.html
дальше пытаюсь открыть на workstation или player на секунду начинает грузиться и вся нагрузка исчезает
закачиваю все на esxi он все жесткие конвертит в один размером 8 гб, делаю инвент виртуалки, запускаю, и вылетает ошибка, что не видит виртуальный диск, хотя он там есть :)
мзговынос какой-то, а не hadoop, конечно руки бы попримее, но довольствуемся, что есть...
Кто сталкивался с такой ерунддой?
У hortonwork все проще, скачиваешь готовый шаблон ovf и запускаешь, все проблем нет.
...
Рейтинг: 0 / 0
26.04.2016, 18:07
| Ответить | Цитировать | Написать  
Hadoop
    #39225130
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
mishanya3624Alexey Tomin,

Что-то у меня не складывается с вендорами:)
качаю это: http://www.cloudera.com/downloads/quickstart_vms/5-7.html
дальше пытаюсь открыть на workstation или player на секунду начинает грузиться и вся нагрузка исчезает
закачиваю все на esxi он все жесткие конвертит в один размером 8 гб, делаю инвент виртуалки, запускаю, и вылетает ошибка, что не видит виртуальный диск, хотя он там есть :)
мзговынос какой-то, а не hadoop, конечно руки бы попримее, но довольствуемся, что есть...
Кто сталкивался с такой ерунддой?
У hortonwork все проще, скачиваешь готовый шаблон ovf и запускаешь, все проблем нет.

Мда. Всё же насколько проще жизнь в мире linux
...
Рейтинг: 0 / 0
26.04.2016, 20:25
| Ответить | Цитировать | Написать  
Hadoop
    #39225183
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Alexey Tomin,

если не трудно накидайте план установки.
...
Рейтинг: 0 / 0
26.04.2016, 22:23
| Ответить | Цитировать | Написать  
Hadoop
    #39225236
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
mishanya3624Alexey Tomin,

если не трудно накидайте план установки.

А вот же он.

А для отладки ещё проще- для linux после подключения зависимостей хадупа через maven можно запускать m/r задачу вообще без установленного хадупа- понятное дело, что single mode, но windows почему-то лишена этого вообще.
Зато насколько упрощается отладка- это просто чудо! И map-задачи тебе, и UDF'ки для pig-скриптом- пошаговое исполнение, логи- всё есть.
...
Рейтинг: 0 / 0
27.04.2016, 08:18
| Ответить | Цитировать | Написать  
Hadoop
    #39225262
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Alexey Tomin,

блин, мне аж сегодня приснился разговор про Hadoop с тобой

так, я может не то пытался поставить, надо Cloudera Manager ставить, quiсkstart это не то?
...
Рейтинг: 0 / 0
27.04.2016, 09:27
| Ответить | Цитировать | Написать  
Hadoop
    #39225551
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
еще вопрос, как сделать импорт в вновь созданную базу :
sqoop import-all-tables --connect jdbc:mysql://192.168.3.224:3305/tc-db-main --driver com.mysql.jdbc.Driver --username root --hive-import
так он все в базу defoult кидает, пробовал менять по всякому, не хотит...
...
Рейтинг: 0 / 0
27.04.2016, 13:20
| Ответить | Цитировать | Написать  
Hadoop
    #39225571
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
mishanya3624Alexey Tomin,

блин, мне аж сегодня приснился разговор про Hadoop с тобой

так, я может не то пытался поставить, надо Cloudera Manager ставить, quiсkstart это не то?

Честно говоря, я обхожусь тем, который работает без установки вообще.
"Однонодовый" ставил, но как - уже забыл.
...
Рейтинг: 0 / 0
27.04.2016, 13:30
| Ответить | Цитировать | Написать  
Hadoop
    #39225810
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
аддддддддд

как же мало инфы то...
Получилось только завести hortonworks HDP2.4
и импортнуть туда данные из mysql
дальше хочу забубенить кластер
ставлю еще 1 HDP2.4, но они по умолчанию ставятся с кластером по дефолту и уже своим Hostname, меняю hostname чтобы подвязать к кластеру, все сервисы падают, так как походу где-то есть глобальная привязка Hadoopa к старому Hostname
/////////dsfsd/gfdfgfd///////
...
Рейтинг: 0 / 0
27.04.2016, 15:45
| Ответить | Цитировать | Написать  
Hadoop
    #39225818
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
mishanya3624дальше хочу забубенить кластер
ставлю еще 1 HDP2.4, но они по умолчанию ставятся с кластером по дефолту и уже своим Hostname, меняю hostname чтобы подвязать к кластеру, все сервисы падают, так как походу где-то есть глобальная привязка Hadoopa к старому Hostname

Путь самурая.
А что, CDH на linux никак не ставится?
Hadoop предполагает забыть про винду :)
...
Рейтинг: 0 / 0
27.04.2016, 15:50
| Ответить | Цитировать | Написать  
25 сообщений из 138, страница 2 из 6
  2  все
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/search_topic.php?author=jimboman&author_mode=last_posts&do_search=1]:
 0ms
get settings:
 8ms
get forum list:
 13ms
get settings:
 11ms
get forum list:
 15ms
get settings:
 11ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 144ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 73ms
get tp. blocked users:
 1ms
others: 815ms
total:  1127ms
созд. / загр.: 1127ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]