ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop
25 сообщений из 138, страница 5 из 6
  5  все
Hadoop
    #39243769
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
...
Рейтинг: 0 / 0
26.05.2016, 11:04
| Ответить | Цитировать | Написать  
Hadoop
    #39243880
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
mishanya3624вот еще вопрос:
всего в hive у меня данных на 67 гб
а hdfs кластера загружен на все 265 , это так называемое зеркалирование он делает, для отказоустойчивости?

Нет, не то. Это информация без учёта зеркалирования (т.е. реально на диске в 3 раза больше занято).

А чтобы понять, где место теряется - надо выполнить сначала
sudo -u hdfs hadoop fs -ls -h / (sudo чтобы видеть все папки)
а потом для каждой смотреть, что там
sudo -u hdfs hadoop fs -count -h /user/*
и т.п.
Из-за какой-то баги попытка посмотреть с корня приводит к ошибке, т.е. так нельзя:
sudo -u hdfs hadoop fs -count -h /*
а дальше "вглубь" можно.
В общем- поисследуй hdfs- полезно будет.
...
Рейтинг: 0 / 0
26.05.2016, 12:02
| Ответить | Цитировать | Написать  
Hadoop
    #39244002
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Alexey Tomin,

именно так и смотрел, перепроверил все через FileBrowers в Hew, там папка user занимает 67 гб все остальное по мелочам:
 
Код: powershell
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
root@Hadoopmaster:~# sudo -u hdfs hadoop fs -ls -h /
Found 5 items
drwxr-x--x   - accumulo accumulo            0 2016-05-06 11:07 /accumulo
drwxr-xr-x   - hbase    hbase               0 2016-05-04 09:41 /hbase
drwxrwxr-x   - solr     solr                0 2016-05-04 07:45 /solr
drwxrwxrwt   - hdfs     supergroup          0 2016-05-26 03:51 /tmp
drwxr-xr-x   - hdfs     supergroup          0 2016-05-10 08:33 /user
root@Hadoopmaster:~# sudo -u hdfs hadoop fs -count -h /accumulo/*
           1            1                  0 /accumulo/instance_id
           1            0                  0 /accumulo/recovery
           8           12              1.8 M /accumulo/tables
           2            0                  0 /accumulo/version
           3            1             83.9 K /accumulo/wal
root@Hadoopmaster:~# sudo -u hdfs hadoop fs -count -h /hbase/*
           3            0                  0 /hbase/.tmp
           1            1                 31 /hbase/MasterProcWALs
          14            0                  0 /hbase/WALs
           1            0                  0 /hbase/archive
          38           21              3.5 M /hbase/data
           0            1                 42 /hbase/hbase.id
           0            1                  7 /hbase/hbase.version
           1            6              1.8 K /hbase/oldWALs
root@Hadoopmaster:~# sudo -u hdfs hadoop fs -count -h /solr/*
count: `/solr/*': No such file or directory
root@Hadoopmaster:~# sudo -u hdfs hadoop fs -count -h /user/*
           2            0                  0 /user/accumulo
           8            4            404.5 K /user/admin
           8           19             33.6 M /user/hdfs
          15            2              1.5 M /user/history
          17           25             50.0 G /user/hive
       4.9 K           81              2.8 M /user/hue
           1            0                  0 /user/impala
           1            0                  0 /user/mixa
          13          695            545.9 M /user/oozie
          21           49             17.2 G /user/root
           2            0                  0 /user/spark
           1            0                  0 /user/sqoop2
root@Hadoopmaster:~# sudo -u hdfs hadoop fs -count -h /tmp/*
count: `/tmp/1179427f-f081-4f0f-a1b6-497f8387eab6_resources': No such file or directory
count: `/tmp/13bb4bcd-1b06-44f5-a171-b59ee19cb2c2_resources': No such file or directory
count: `/tmp/1d0535ba-d2d8-4f68-9554-0d5d44b30209_resources': No such file or directory
count: `/tmp/2df2c266-707a-465d-babb-cc685c2e4a3d_resources': No such file or directory
count: `/tmp/3698a4db-b1be-4965-a0ed-952ac99510a2_resources': No such file or directory
count: `/tmp/3f27184b-6564-4cd9-b6f8-562b248a4a02_resources': No such file or directory
count: `/tmp/466e9b57-3bef-4e17-8117-a5da8661eb46_resources': No such file or directory
count: `/tmp/66c6e6a6-6f44-4d08-b7bd-b1fc2afc9e8f_resources': No such file or directory
count: `/tmp/711c39f1-b2b1-4900-bb47-905dd0e1c645_resources': No such file or directory
count: `/tmp/8ad8eaa4-90bb-483d-843f-cc7b0c6acbfd_resources': No such file or directory
count: `/tmp/8bb5f824-755f-46e4-8d7c-b669898796bf_resources': No such file or directory
count: `/tmp/9392546e-4290-4ed3-b528-f53cfa68983d_resources': No such file or directory
count: `/tmp/c279e75b-9c4e-4035-bcdf-f0aba78b4e4b_resources': No such file or directory
count: `/tmp/cmflistener-stderr---agent-1275-1462967809-Z2aJnj.log': No such file or directory
count: `/tmp/cmflistener-stdout---agent-1275-1462967809-VZoW_y.log': No such file or directory
count: `/tmp/d1782e67-afd5-4ecb-9923-c58b3b5c3bf5_resources': No such file or directory
count: `/tmp/e2638687-9bd9-4b39-ac5d-0c1f2f209b5b_resources': No such file or directory
count: `/tmp/fa8755d5-9742-43f3-9ead-c9764924de80_resources': No such file or directory
count: `/tmp/hadoop-unjar2548751013024815025': No such file or directory
count: `/tmp/hadoop-unjar4035758993205197952': No such file or directory
count: `/tmp/hadoop-unjar4860844647514543287': No such file or directory
count: `/tmp/hadoop-unjar5646472283087487424': No such file or directory
count: `/tmp/hadoop-unjar9218753532974839030': No such file or directory
          11            0                  0 /tmp/hive
count: `/tmp/hsperfdata_cloudera-scm': No such file or directory
count: `/tmp/hsperfdata_hbase': No such file or directory
count: `/tmp/hsperfdata_hdfs': No such file or directory
count: `/tmp/hsperfdata_hive': No such file or directory
count: `/tmp/hsperfdata_hue': No such file or directory
count: `/tmp/hsperfdata_impala': No such file or directory
count: `/tmp/hsperfdata_mapred': No such file or directory
count: `/tmp/hsperfdata_oozie': No such file or directory
count: `/tmp/hsperfdata_root': No such file or directory
count: `/tmp/hsperfdata_solr': No such file or directory
count: `/tmp/hsperfdata_yarn': No such file or directory
count: `/tmp/hsperfdata_zookeeper': No such file or directory
count: `/tmp/impala-shell-python-egg-cache-root': No such file or directory
count: `/tmp/jetty-0.0.0.0-10002-hiveserver2-_-any-': No such file or directory
count: `/tmp/Jetty_Hadoopmaster_icexpert_local_19888_jobhistory____.2w00qn': No such file or directory
count: `/tmp/Jetty_Hadoopmaster_icexpert_local_50070_hdfs____fegk31': No such file or directory
count: `/tmp/Jetty_Hadoopmaster_icexpert_local_50090_secondary____.4fmfxm': No such file or directory
count: `/tmp/Jetty_Hadoopmaster_icexpert_local_8088_cluster____.1xh1os': No such file or directory
count: `/tmp/libnetty-transport-native-epoll2481115158312960641.so': No such file or directory
count: `/tmp/libnetty-transport-native-epoll3439036392515538115.so': No such file or directory
count: `/tmp/libnetty-transport-native-epoll8061428561922926105.so': No such file or directory
count: `/tmp/ooziedb-8138581557545170399.sql': No such file or directory
count: `/tmp/oozie-oozi1160591377071319753.dir': No such file or directory
count: `/tmp/oozie-oozi2008833506623046609.dir': No such file or directory
count: `/tmp/oozie-oozi3117152423050314547.dir': No such file or directory
count: `/tmp/oozie-oozi3401370725146240233.dir': No such file or directory
count: `/tmp/oozie-oozi7982321428628681144.dir': No such file or directory
count: `/tmp/oozie-oozi9101253829145820345.dir': No such file or directory
count: `/tmp/oozie-oozi972750567338478457.dir': No such file or directory
count: `/tmp/root': No such file or directory
count: `/tmp/sqoop-root': No such file or directory
count: `/tmp/tmpQHh338': No such file or directory
count: `/tmp/tmpXcvDHF': No such file or directory
count: `/tmp/tmpzLl_Cm': No such file or directory

...
Рейтинг: 0 / 0
26.05.2016, 13:17
| Ответить | Цитировать | Написать  
Hadoop
    #39244005
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
...
Рейтинг: 0 / 0
26.05.2016, 13:19
| Ответить | Цитировать | Написать  
Hadoop
    #39244024
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Код: powershell
1.
2.
root@Hadoopmaster:~# sudo -u hdfs hadoop fs -count -h /
       5.1 K          925             67.8 G /
...
Рейтинг: 0 / 0
26.05.2016, 13:43
| Ответить | Цитировать | Написать  
Hadoop
    #39244037
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Не понимаю откуда такие цифры....
...
Рейтинг: 0 / 0
26.05.2016, 13:52
| Ответить | Цитировать | Написать  
Hadoop
    #39244098
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
mishanya3624
Код: powershell
1.
2.
3.
4.
5.
6.
root@Hadoopmaster:~# sudo -u hdfs hadoop fs -count -h /user/*
          17           25             50.0 G /user/hive
...
          21           49             17.2 G /user/root
...
           2            0                  0 /user/spark




Теперь смотри sudo -u hdfs hadoop fs -count -h /user/hive/* ну и root/* - так и доберёшься :)
...
Рейтинг: 0 / 0
26.05.2016, 14:46
| Ответить | Цитировать | Написать  
Hadoop
    #39244101
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
mishanya3624,

Да, в хадупе лёгких ответов обычно нет.
...
Рейтинг: 0 / 0
26.05.2016, 14:47
| Ответить | Цитировать | Написать  
Hadoop
    #39244108
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Alexey Tomin,

так нет смысла дальше смотреть...
видно же , что общий объем 67 гб, а что занимает эти 67 гб уже не важно...
важно что занимает из 265 - 67, то есть 200 гб непонятно чем забиты, и тем, что не связанно с hdfs
...
Рейтинг: 0 / 0
26.05.2016, 14:52
| Ответить | Цитировать | Написать  
Hadoop
    #39244142
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Код: powershell
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
root@Hadoop1:~# df -h
Filesystem                   Size  Used Avail Use% Mounted on
udev                         3.9G  4.0K  3.9G   1% /dev
tmpfs                        799M  748K  798M   1% /run
/dev/mapper/Hadoop--vg-root   91G   59G   28G  69% /
none                         4.0K     0  4.0K   0% /sys/fs/cgroup
none                         5.0M     0  5.0M   0% /run/lock
none                         3.9G     0  3.9G   0% /run/shm
none                         100M     0  100M   0% /run/user
/dev/sda1                    236M   39M  185M  18% /boot
cm_processes                 3.9G   18M  3.9G   1% /run/cloudera-scm-agent/proce



а что это за путь : /dev/mapper/Hadoop--vg-root?
...
Рейтинг: 0 / 0
26.05.2016, 15:19
| Ответить | Цитировать | Написать  
Hadoop
    #39244883
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Для себя, создаю еще 1 кластер с помощью Ambari, хочу из него сделать бекап кластер основного.
Я так понимаю, ту машину на которой стоит сам Ambari в кластер не надо включать, она чисто служит, как manager cluster?
...
Рейтинг: 0 / 0
27.05.2016, 13:56
| Ответить | Цитировать | Написать  
Hadoop
    #39244919
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
mishanya3624,

можно включать.
...
Рейтинг: 0 / 0
27.05.2016, 14:29
| Ответить | Цитировать | Написать  
Hadoop
    #39245179
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
очередные танцы с бубном, ошибки, ошибки, ошибки, но таки поднял кластер.
Подскажите, как теперь настроить бекапирование с одного кластера на другой?
...
Рейтинг: 0 / 0
27.05.2016, 17:16
| Ответить | Цитировать | Написать  
Hadoop
    #39245194
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
haXbat
Участник
mishanya3624очередные танцы с бубном, ошибки, ошибки, ошибки, но таки поднял кластер.
Подскажите, как теперь настроить бекапирование с одного кластера на другой?
RTFM distcp
...
Рейтинг: 0 / 0
27.05.2016, 17:28
| Ответить | Цитировать | Написать  
Hadoop
    #39245198
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
haXbat,

а если у меня второй кластер голый HDP, а не cloudera, получится бекапить cloudera на него?
...
Рейтинг: 0 / 0
27.05.2016, 17:30
| Ответить | Цитировать | Написать  
Hadoop
    #39273380
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
Почему заглохла тема?

Говорят спарк2 сделали. теперь еще быстрее )

а у меня столкьо работы, что некогда клоудерой занятся ((

На выходных попробую продолжить установку
...
Рейтинг: 0 / 0
13.07.2016, 19:17
| Ответить | Цитировать | Написать  
Hadoop
    #39275914
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
Скачал cloudera-manager-installer.bin
...
Рейтинг: 0 / 0
18.07.2016, 20:27
| Ответить | Цитировать | Написать  
Hadoop
    #39275918
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
мигель1,

запустил, установил.
иду на порт 7180
и что то от меня клоудерка хочет
...
Рейтинг: 0 / 0
18.07.2016, 20:46
| Ответить | Цитировать | Написать  
Hadoop
    #39275943
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дедушка
Участник
имхо полезно маны читать перед тем как
мигель1скачал, запустил, установил.
Introduction to Cloudera Manager Installation
...
Рейтинг: 0 / 0
18.07.2016, 22:04
| Ответить | Цитировать | Написать  
Hadoop
    #39276633
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
Дедушкаимхо полезно маны читать перед тем как
мигель1скачал, запустил, установил.
Introduction to Cloudera Manager Installation

Читал, но там все общо.

Вообщем прописал localhost заработало.
потом поставил single mod, стоит?
...
Рейтинг: 0 / 0
19.07.2016, 19:50
| Ответить | Цитировать | Написать  
Hadoop
    #39276779
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
мигель1потом поставил single mod, стоит?

Для single-mode достаточно в проект hadoop-core включить и дёргать org.apache.hadoop.util.ToolRunner. Вообще ничего ставить не надо.
...
Рейтинг: 0 / 0
20.07.2016, 06:32
| Ответить | Цитировать | Написать  
Hadoop
    #39277903
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
Alexey Tominмигель1потом поставил single mod, стоит?

Для single-mode достаточно в проект hadoop-core включить и дёргать org.apache.hadoop.util.ToolRunner. Вообще ничего ставить не надо.

Простите что и чем дергать?
...
Рейтинг: 0 / 0
21.07.2016, 14:39
| Ответить | Цитировать | Написать  
Hadoop
    #39278475
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
мигель1Alexey Tominпропущено...


Для single-mode достаточно в проект hadoop-core включить и дёргать org.apache.hadoop.util.ToolRunner. Вообще ничего ставить не надо.

Простите что и чем дергать?

Из java запускать ToolRunner и далее точно можно выполнять m/r и pig. Остальное не пробовал.
Без установки хадупа вообще.
...
Рейтинг: 0 / 0
22.07.2016, 11:49
| Ответить | Цитировать | Написать  
Hadoop
    #39278534
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
Alexey Tominмигель1пропущено...


Простите что и чем дергать?

Из java запускать ToolRunner и далее точно можно выполнять m/r и pig. Остальное не пробовал.
Без установки хадупа вообще.

Понятно. не я хочу нормально сделать.
Вообщем удалил виртуальную машину, решил заноново все сделать.
Уже без single mod
...
Рейтинг: 0 / 0
22.07.2016, 12:23
| Ответить | Цитировать | Написать  
Hadoop
    #39280490
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
Installation failed. Failed to receive heartbeat
...
Рейтинг: 0 / 0
26.07.2016, 16:34
| Ответить | Цитировать | Написать  
25 сообщений из 138, страница 5 из 6
  5  все
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=48&msg=39278475&tid=1856735]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 58ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 52ms
get tp. blocked users:
 1ms
others: 245ms
total:  398ms
созд. / загр.: 398ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]