powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Solaris Cluster + Oracle 11g disk config
21 сообщений из 46, страница 2 из 2
Solaris Cluster + Oracle 11g disk config
    #36550532
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
эээ... Ещё небольшое дополнение - судя по всему, ошибка была в /etc/hosts на второй ноде, там не была первая нода. Это могло повлиять на визард? Если да, то, соответственно, что надо почистить, что бы запустить его ещё раз?
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36550692
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
В общем, я попробовал сделать всё заново и
1) активировал metaset
2) подмонтировал /u01 /u02
3) удалил ресурсы кластера, поправил /etc/hosts на второй ноде
4) проверил наличие alert_log:
Код: plaintext
1.
# find / -name alert*.log
/u01/app/rdbms/log/alert_db.log
5) запустил визард заново, он опять вывалился с ошибкой:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
Configuration of Sun Cluster HA for Oracle failed
clresource: (C748634) Resource group oracle-rg failed to start on chosen node and might fail over to other node(s) Non-zero exit status

The following Sun Cluster commands were run 

Configuration commands...

/usr/cluster/bin/clresourcegroup create -p nodelist=node- 2 ,node- 1  oracle-rg 

/usr/cluster/bin/clresource create -t SUNW.HAStoragePlus: 8  -g oracle-rg -p FilesystemMountPoints=/u01/app,/u02/oradata -p GlobalDevicePaths=oraset u01_app_u02_oradata-rs 

/usr/cluster/bin/clresourcegroup online -emM oracle-rg 

/usr/cluster/bin/clreslogicalhostname create -g oracle-rg -h clmain -N sc_ipmp0@node- 2 ,sc_ipmp0@node- 1  clmain-rs 

/usr/cluster/bin/clresourcegroup online -emM oracle-rg 

/usr/cluster/bin/clresource create -t SUNW.oracle_server: 6  -g oracle-rg -p Resource_dependencies=clmain-rs,u01_app_u02_oradata-rs -p ORACLE_HOME=/u01/app -p ORACLE_SID=db -p Alert_log_file=/u01/app/rdbms/log/alert_db.log -p Connect_string=oracle/P@ssw0rd -p Debug_level= 1  oracle_serverdb-rs


Unable to roll back commands


/usr/cluster/bin/clresource disable u01_app_u02_oradata-rs

clresource:  (C983921) Skipping resource u01_app_u02_oradata-rs because its resource group oracle-rg is undergoing a reconfiguration.

Подозреваю, что что-то недоудалил в начале :)
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36550918
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Попробовал сделать ещё раз, только не через визард, а вручную через консоль. С каждым шагом "всё страньше и страньше" (ц) Винни-Пух:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
# metaset -s oraset -t
# mount /u01/app 
# mount /u02/oradata 
# cat /etc/hosts
#
# Internet host table
#
:: 1      localhost       
 127 . 0 . 0 . 1        localhost       
 172 . 30 . 8 . 102     node- 1   loghost
 172 . 30 . 8 . 103     node- 2 
 172 . 30 . 8 . 51      clmain
# /usr/cluster/bin/clresourcegroup create -p nodelist=node- 2 ,node- 1  oracle-rg
# /usr/cluster/bin/clresource create -t SUNW.HAStoragePlus: 8  -g oracle-rg -p FilesystemMountPoints=/u01/app,/u02/oradata -p GlobalDevicePaths=oraset u01_app_u02_oradata-rs 
# /usr/cluster/bin/clresourcegroup online -emM oracle-rg 
(C348385) WARNING: Cannot enable monitoring on resource u01_app_u02_oradata-rs because it already has monitoring enabled. To force the monitor to restart, disable monitoring using 'clresource unmonitor u01_app_u02_oradata-rs' and re-enable monitoring using 'clresource monitor u01_app_u02_oradata-rs'.
(C748634) Resource group oracle-rg failed to start on chosen node and might fail over to other node(s)
####ок, следуем рекомендации:
# /usr/cluster/bin/clresource unmonitor u01_app_u02_oradata-rs
# /usr/cluster/bin/clresource monitor u01_app_u02_oradata-rs
# /usr/cluster/bin/clreslogicalhostname create -g oracle-rg -h clmain -N sc_ipmp0@node- 2 ,sc_ipmp0@node- 1  clmain-rs 
# /usr/cluster/bin/clresourcegroup online -emM oracle-rg 
(C348385) WARNING: Cannot enable monitoring on resource u01_app_u02_oradata-rs because it already has monitoring enabled. To force the monitor to restart, disable monitoring using 'clresource unmonitor u01_app_u02_oradata-rs' and re-enable monitoring using 'clresource monitor u01_app_u02_oradata-rs'.
(C348385) WARNING: Cannot enable monitoring on resource clmain-rs because it already has monitoring enabled. To force the monitor to restart, disable monitoring using 'clresource unmonitor clmain-rs' and re-enable monitoring using 'clresource monitor clmain-rs'.
####аналогично предыдущему:
# /usr/cluster/bin/clresource unmonitor clmain-rs             
# /usr/cluster/bin/clresource monitor clmain-rs
# /usr/cluster/bin/clresource create -t SUNW.oracle_server: 6  -g oracle-rg -p Resource_dependencies=clmain-rs,u01_app_u02_oradata-rs -p ORACLE_HOME=/u01/app -p ORACLE_SID=db -p Alert_log_file=/u01/app/rdbms/log/alert_db.log -p Connect_string=oracle/P@ssw0rd -p Debug_level= 1  oracle_serverdb-rs
node- 2  - Validation failed. ORACLE binaries not found ORACLE_HOME=/u01/app
node- 2  - ALERT_LOG_FILE /u01/app/rdbms/log/alert_db.log doesn't exist
node- 2  - PARAMETER_FILE: /u01/app/dbs/initdb.ora nor server PARAMETER_FILE: /u01/app/dbs/spfiledb.ora exists
node- 2  - This resource depends on a HAStoragePlus resouce that is not online on this node. Ignoring validation errors.

clresource:  (C748634) Resource group oracle-rg failed to start on chosen node and might fail over to other node(s)
# 

Я попробовал поменять местами
Код: plaintext
# /usr/cluster/bin/clresourcegroup online -emM oracle-rg 
и
Код: plaintext
1.
# /usr/cluster/bin/clresource unmonitor u01_app_u02_oradata-rs
# /usr/cluster/bin/clresource monitor u01_app_u02_oradata-rs
но ошибка осталась той же.
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36551163
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
этот варнинг нестрашный, это просто тупит визард, нет нужды там звать clrg online так часто.

Покажите нам тут вывод head /u01/app/rdbms/log/alert_db.log и ls -ld /u01/app/bin/oracle
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36552026
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Мутаген,

Код: plaintext
1.
2.
3.
4.
5.
# ls -ld /u01/app/bin/oracle
-rwsr-s--x   1 oracle   oinstall 132820944 Mar 30 12:17 /u01/app/bin/oracle
# head /u01/app/rdbms/log/alert_db.log
Tue Mar  30   12 : 24 : 55   2010 
Shutting down instance (abort)
# 
Это на первой ноде, которая основная.
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36556528
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Файлы впроде все на месте, хотя и на неожиданном.

Я так понимаю, сейчас кластер более-менее работает. То есть, clrg status должна показывать ресурс-группу oracle-rg в состоянии online на одном из узлов. И при переключении её на другой узел (clrg switch -n <nodename> oracle-rg) на втором узле монтируются ФС и поднимается этот IP?

Если это так, то я бы попробовал ещё раз просто запустить создание ресурса ораклового.
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36559794
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Созданный ранее кластер погиб в неравном бою с раздолбайством коллег, так что пришлось всё поднять заново. Итак, ноды: node-1, node-2, соответственно, оракл ставится на node-1 и она же подразумевается основной. Каждой ноде виден общий лун c1t1d0 - для самого оракла и базы данных. Содержимое /etc/hosts идентично (ну, с поправкой наличия loghost). Дисковая конфигурация node-1:
Код: plaintext
1.
2.
/dev/did/dsk/d5s3 /dev/did/rdsk/d5s3 /global/.devices/node@ 2  ufs  2  no global
/dev/md/oraset/dsk/d0 /dev/md/oraset/rdsk/d0 /u01/app ufs  2  no logging
/dev/md/oraset/dsk/d1 /dev/md/oraset/rdsk/d1 /u02/oradata ufs  2  no logging,forcedirectio


node-2:
Код: plaintext
1.
2.
/dev/did/dsk/d2s3 /dev/did/rdsk/d2s3 /global/.devices/node@ 1  ufs  2  no global
/dev/md/oraset/dsk/d0 /dev/md/oraset/rdsk/d0 /u01/app ufs  2  no logging
/dev/md/oraset/dsk/d1 /dev/md/oraset/rdsk/d1 /u02/oradata ufs  2  no logging,forcedirectio

В скобках два замечания:
1) Я не совсем понял, почему /globaldevices закомментирован в обоих файлах, несмотря на то, что при установке я явно его указывал монтировать... Впрочем, как я понимаю, это не суть важно.
2) И не совсем понятно, почему в одном случае
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36559821
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Упс... Случайно нажал post :). Сорри, продолжаю:

2) И не совсем понятно, почему в одном случае /dev/did/dsk/d5s3 а в другом - /dev/did/dsk/d2s3 - я так понял, это всё создал сам кластер, так что руками лезть не стал.

Далее, статус кластера с node-1:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
# /usr/cluster/bin/cluster status

=== Cluster Nodes ===

--- Node Status ---

Node Name                                       Status
---------                                       ------
node- 2                                           Online
node- 1                                           Online


=== Cluster Transport Paths ===

Endpoint1               Endpoint2               Status
---------               ---------               ------
node- 2 :e1000g2          node- 1 :e1000g2          Path online
node- 2 :e1000g1          node- 1 :e1000g1          Path online


=== Cluster Quorum ===

--- Quorum Votes Summary from latest node reconfiguration ---

            Needed   Present   Possible
            ------   -------   --------
             2          3           3 


--- Quorum Votes by Node (current status) ---

Node Name       Present       Possible       Status
---------       -------       --------       ------
node- 2            1               1               Online
node- 1            1               1               Online


--- Quorum Votes by Device (current status) ---

Device Name       Present      Possible      Status
-----------       -------      --------      ------
d3                 1              1              Online


=== Cluster Device Groups ===

--- Device Group Status ---

Device Group Name     Primary     Secondary     Status
-----------------     -------     ---------     ------
oraset                node- 1       node- 2         Online


--- Spare, Inactive, and In Transition Nodes ---

Device Group Name   Spare Nodes   Inactive Nodes   In Transistion Nodes
-----------------   -----------   --------------   --------------------
oraset              -             -                -


--- Multi-owner Device Group Status ---

Device Group Name           Node Name           Status
-----------------           ---------           ------

=== Cluster Resource Groups ===

Group Name       Node Name       Suspended      State
----------       ---------       ---------      -----

=== Cluster Resources ===

Resource Name       Node Name       State       Status Message
-------------       ---------       -----       --------------

=== Cluster DID Devices ===

Device Instance              Node               Status
---------------              ----               ------
/dev/did/rdsk/d2             node- 2              Ok

/dev/did/rdsk/d3             node- 1              Ok
                             node- 2              Ok

/dev/did/rdsk/d5             node- 1              Ok


=== Zone Clusters ===

--- Zone Cluster Status ---

Name    Node Name    Zone HostName    Status    Zone Status
----    ---------    -------------    ------    -----------

и node-2
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
# /usr/cluster/bin/cluster status

=== Cluster Nodes ===

--- Node Status ---

Node Name                                       Status
---------                                       ------
node- 2                                           Online
node- 1                                           Online


=== Cluster Transport Paths ===

Endpoint1               Endpoint2               Status
---------               ---------               ------
node- 2 :e1000g2          node- 1 :e1000g2          Path online
node- 2 :e1000g1          node- 1 :e1000g1          Path online


=== Cluster Quorum ===

--- Quorum Votes Summary from latest node reconfiguration ---

            Needed   Present   Possible
            ------   -------   --------
             2          3           3 


--- Quorum Votes by Node (current status) ---

Node Name       Present       Possible       Status
---------       -------       --------       ------
node- 2            1               1               Online
node- 1            1               1               Online


--- Quorum Votes by Device (current status) ---

Device Name       Present      Possible      Status
-----------       -------      --------      ------
d3                 1              1              Online


=== Cluster Device Groups ===

--- Device Group Status ---

Device Group Name     Primary     Secondary     Status
-----------------     -------     ---------     ------
oraset                node- 1       node- 2         Online


--- Spare, Inactive, and In Transition Nodes ---

Device Group Name   Spare Nodes   Inactive Nodes   In Transistion Nodes
-----------------   -----------   --------------   --------------------
oraset              -             -                -


--- Multi-owner Device Group Status ---

Device Group Name           Node Name           Status
-----------------           ---------           ------

=== Cluster Resource Groups ===

Group Name       Node Name       Suspended      State
----------       ---------       ---------      -----

=== Cluster Resources ===

Resource Name       Node Name       State       Status Message
-------------       ---------       -----       --------------

=== Cluster DID Devices ===

Device Instance              Node               Status
---------------              ----               ------
/dev/did/rdsk/d2             node- 2              Ok

/dev/did/rdsk/d3             node- 1              Ok
                             node- 2              Ok

/dev/did/rdsk/d5             node- 1              Ok


=== Zone Clusters ===

--- Zone Cluster Status ---

Name    Node Name    Zone HostName    Status    Zone Status
----    ---------    -------------    ------    -----------

оракл стоит на первой ноде, в /u01/app база лежит в /u02/oradata

на всякий случай вывод с node-1:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
# find /* -name *alert*.log
/u01/app/admin/db/bdump/alert_db.log
# ls -ld /u01/app/bin/oracle
-rwsr-s--x   1 oracle   oinstall 132820944 Apr  4 17:06 /u01/app/bin/oracle
# metaset

Set name = oraset, Set number =  1 

Host                Owner
  node- 1              Yes
  node- 2              

Driv Dbase

d3   Yes 

Содержимое /etc/lvm/md.tab:

Код: plaintext
1.
2.
3.
        oraset/d2       -m oraset/d12
        oraset/d12       1   1  /dev/did/rdsk/d3s0
        oraset/d0       -p oraset/d2 3G
        oraset/d1       -p oraset/d2 3G

Теперь идём в веб-интерфейс и сначала создаём highly-available storage. На вопрос "Select Shared Storage Type" из
Код: plaintext
1.
2.
Shared File System
Shared Device
Both Types
выбираю Both Types. Дальше, на вопрос "Select File-System Mount Points" выбираю обе точки монтирования /u01/app и /u02/oradata. Дальше, на вопрос "Select Global Device Groups" можно выбрать:
Код: plaintext
1.
dsk/d3 	Disk
oraset 	SVM
По умолчанию выбран только oraset, его и оставляю. Остальное по умолчанию и в итоге:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
The following Sun Cluster configuration will be created.
Information
To create the configuration, click Next. This operation might require several minutes to complete. Do not perform any further actions in this panel while this operation is in progress.
Resource Group Name: u01_app-rg
Primary Node: node- 2 
Potential Primary Nodes: node- 1 
Resource Name: u01_app-rs
File-System Mount Points:/u01/app, /u02/oradata
Global Device Groups:oraset
Теперь я не понял один момент - с какого перепугу он сделал primary node node-2, когда метасет смонтирован на node-1 и вся конфигурация происходит на node-1? Дальше визард валится: "Configuration of the highly available storage resource failed.
Communication with the common agent container or the web server lost during command execution. Log out of the Java Web Console, restart the common agent container and the console's web server, and try again." Пояснений никаких нет. Ок, пробую делать сразу, через визард configure Data Services for Applications для Oracle. В визарде выбираю опцию Server and Listener, в качестве Specify Oracle Home Directory визард сам предлагает по умолчанию /u01/app, аналогично на Specify Oracle System Identifier сам же предлагает выбрать db, как SID для ранее созданной базы. Дальше прописываю путь к alert log: /u01/app/admin/db/bdump/alert_db.log и connect string: oracle/P@ssw0rd.
Дальше Configure Highly Available Storage Resources, на вопрос Select Shared Storage Type выбираю Both Types. Аналогично предыдущей попытке выбираю /u01 и/u02, выбираю oraset в секции Select global device groups for use by your data files. Получаю сообщение "Added /u01/app,/u02/oradata,oraset to the table of highly available storage resources.".
Configure Logical Hostname Resource. Беру из /etc/hosts ранее добавленную запись dbcls и получаю вот такое сообщение:
IPMP Group Warning
Unable to find suitable IPMP groups for plumbing the hostnames on the specified nodes node-2,node-1. The wizard might be able to create a default IPMP group when there is one adapter configured for the subnet. Click Next to let the wizard create the IPMP groups.
Жму Next. Вроде получается:
Added dbcls to the table of logical hostname resources.
Дальше визард предлагает пересмотреть, что получилось (Review Sun Cluster Objects), оставляю всё так, как создал визард.
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
he following Sun Cluster configuration will be created.
InformationInformation
To create the configuration, click Next. This operation might require several minutes to complete. Do not perform any further actions in this panel while this operation is in progress.
Global Device Paths:
	
oraset
Highly Available Storage Resources:
	
u01_app_u02_oradata-rs
Resource Group Name:
	
oracle-rg
File-System Mount Points:
	
/u01/app,/u02/oradata
Listener Resource Name:
	
oracle_listener-rs
Server Resource Name:
	
oracle_serverdb-rs
Node List:
	
node- 2 ,node- 1 
Logical Hostname:
	
dbcls
Logical Hostname Resource:
	
dbcls-rs
IPMP Group List:
	
sc_ipmp0@node- 2 ,sc_ipmp0@node- 1 

Next. Через минут десять получаю "Configuration of Sun Cluster HA for Oracle failed
clresource: (C748634) Resource group oracle-rg failed to start on chosen node and might fail over to other node(s) Non-zero exit status"
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
The following Sun Cluster commands were run 

Configuration commands...

/usr/cluster/bin/clresourcegroup create -p nodelist=node- 2 ,node- 1  oracle-rg 

/usr/cluster/bin/clresourcetype register SUNW.HAStoragePlus: 8  

/usr/cluster/bin/clresource create -t SUNW.HAStoragePlus: 8  -g oracle-rg -p FilesystemMountPoints=/u01/app,/u02/oradata -p GlobalDevicePaths=oraset u01_app_u02_oradata-rs 

/usr/cluster/bin/clresourcegroup online -emM oracle-rg 

/usr/cluster/bin/clreslogicalhostname create -g oracle-rg -h dbcls -N sc_ipmp0@node- 2 ,sc_ipmp0@node- 1  dbcls-rs 

/usr/cluster/bin/clresourcegroup online -emM oracle-rg 

/usr/cluster/bin/clresource create -t SUNW.oracle_server: 6  -g oracle-rg -p Resource_dependencies=dbcls-rs,u01_app_u02_oradata-rs -p ORACLE_HOME=/u01/app -p ORACLE_SID=db -p Alert_log_file=/u01/app/admin/db/bdump/alert_db.log -p Connect_string=oracle/P@ssw0rd -p Debug_level= 1  oracle_serverdb-rs


Unable to roll back commands


/usr/cluster/bin/clresource disable u01_app_u02_oradata-rs

clresource:  (C983921) Skipping resource u01_app_u02_oradata-rs because its resource group oracle-rg is undergoing a reconfiguration.

Дальше вывод с node-1:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
113.
114.
115.
116.
117.
118.
119.
120.
121.
122.
123.
124.
125.
126.
127.
128.
129.
130.
131.
132.
133.
134.
135.
136.
137.
138.
# /usr/cluster/bin/cluster check
  Some checks might take a few moments to run (use -v to see progress)...
  Maximum severity of all violations: Critical
  Reports in: /var/cluster/logs/cluster_check/ 2010 - 04 - 04 . 18 : 14 : 22 /

# /usr/cluster/bin/cluster status

=== Cluster Nodes ===

--- Node Status ---

Node Name                                       Status
---------                                       ------
node- 2                                           Online
node- 1                                           Online


=== Cluster Transport Paths ===

Endpoint1               Endpoint2               Status
---------               ---------               ------
node- 2 :e1000g2          node- 1 :e1000g2          Path online
node- 2 :e1000g1          node- 1 :e1000g1          Path online


=== Cluster Quorum ===

--- Quorum Votes Summary from latest node reconfiguration ---

            Needed   Present   Possible
            ------   -------   --------
             2          3           3 


--- Quorum Votes by Node (current status) ---

Node Name       Present       Possible       Status
---------       -------       --------       ------
node- 2            1               1               Online
node- 1            1               1               Online


--- Quorum Votes by Device (current status) ---

Device Name       Present      Possible      Status
-----------       -------      --------      ------
d3                 1              1              Online


=== Cluster Device Groups ===

--- Device Group Status ---

Device Group Name     Primary     Secondary     Status
-----------------     -------     ---------     ------
oraset                node- 2       node- 1         Online


--- Spare, Inactive, and In Transition Nodes ---

Device Group Name   Spare Nodes   Inactive Nodes   In Transistion Nodes
-----------------   -----------   --------------   --------------------
oraset              -             -                -


--- Multi-owner Device Group Status ---

Device Group Name           Node Name           Status
-----------------           ---------           ------

=== Cluster Resource Groups ===

Group Name       Node Name       Suspended      State
----------       ---------       ---------      -----
oracle-rg        node- 2           No             Offline
                 node- 1           No             Offline


=== Cluster Resources ===

Resource Name             Node Name   State     Status Message
-------------             ---------   -----     --------------
u01_app_u02_oradata-rs    node- 2       Offline   Offline
                          node- 1       Offline   Offline

dbcls-rs                  node- 2       Offline   Offline - LogicalHostname offline.
                          node- 1       Offline   Offline - LogicalHostname offline.

oracle_serverdb-rs        node- 2       Offline   Offline
                          node- 1       Offline   Offline


=== Cluster DID Devices ===

Device Instance              Node               Status
---------------              ----               ------
/dev/did/rdsk/d2             node- 2              Ok

/dev/did/rdsk/d3             node- 1              Ok
                             node- 2              Ok

/dev/did/rdsk/d5             node- 1              Ok


=== Zone Clusters ===

--- Zone Cluster Status ---

Name    Node Name    Zone HostName    Status    Zone Status
----    ---------    -------------    ------    -----------
# mount
/ on /dev/dsk/c1t0d0s0 read/write/setuid/devices/intr/largefiles/logging/xattr/onerror=panic/dev= 800000  on Fri Apr   2   18 : 42 : 12   2010 
/devices on /devices read/write/setuid/devices/dev=47c0000 on Fri Apr   2   18 : 42 : 03   2010 
/system/contract on ctfs read/write/setuid/devices/dev= 4800001  on Fri Apr   2   18 : 42 : 03   2010 
/proc on proc read/write/setuid/devices/dev= 4840000  on Fri Apr   2   18 : 42 : 03   2010 
/etc/mnttab on mnttab read/write/setuid/devices/dev= 4880001  on Fri Apr   2   18 : 42 : 03   2010 
/etc/svc/volatile on swap read/write/setuid/devices/xattr/dev=48c0001 on Fri Apr   2   18 : 42 : 03   2010 
/system/object on objfs read/write/setuid/devices/dev= 4900001  on Fri Apr   2   18 : 42 : 03   2010 
/etc/dfs/sharetab on sharefs read/write/setuid/devices/dev= 4940001  on Fri Apr   2   18 : 42 : 03   2010 
/lib/libc.so. 1  on /usr/lib/libc/libc_hwcap1.so. 1  read/write/setuid/devices/dev= 800000  on Fri Apr   2   18 : 42 : 08   2010 
/dev/fd on fd read/write/setuid/devices/dev=4ac0001 on Fri Apr   2   18 : 42 : 12   2010 
/tmp on swap read/write/setuid/devices/xattr/dev=48c0002 on Fri Apr   2   18 : 42 : 17   2010 
/var/run on swap read/write/setuid/devices/xattr/dev=48c0003 on Fri Apr   2   18 : 42 : 17   2010 
/export/home on /dev/dsk/c1t0d0s7 read/write/setuid/devices/intr/largefiles/logging/xattr/onerror=panic/dev= 800007  on Fri Apr   2   18 : 42 : 58   2010 
/global/.devices/node@ 1  on /dev/did/dsk/d2s3 read/write/setuid/devices/intr/largefiles/logging/noquota/global/xattr/nodfratime/onerror=panic/dev=3bc0043 on Fri Apr   2   18 : 43 : 00   2010 
/global/.devices/node@ 2  on /dev/did/dsk/d5s3 read/write/setuid/devices/intr/largefiles/logging/noquota/global/xattr/nodfratime/onerror=panic/dev=3bc00a3 on Fri Apr   2   18 : 43 : 00   2010 
/cdrom/sc_32u3_dvd on /vol/dev/dsk/c0t0d0/sc_32u3_dvd read only/nosetuid/nodevices/noglobal/maplcase/rr/traildot/dev= 1740002  on Fri Apr   2   18 : 43 : 07   2010 
/home/oracle on /export/home/oracle read/write/setuid/devices/dev= 800007  on Fri Apr   2   18 : 43 : 46   2010 
# metaset 

Set name = oraset, Set number =  1 

Host                Owner
  node- 1              
  node- 2              

Driv Dbase

d3   Yes  

В общем, я в тупике :(
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36561193
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Код: plaintext
1.
2.
3.
4.
5.
# /usr/cluster/bin/clresourcegroup online -emM oracle-rg
(C348385) WARNING: Cannot enable monitoring on resource u01_app_u02_oradata-rs because it already has monitoring enabled. To force the monitor to restart, disable monitoring using 'clresource unmonitor u01_app_u02_oradata-rs' and re-enable monitoring using 'clresource monitor u01_app_u02_oradata-rs'.
(C348385) WARNING: Cannot enable monitoring on resource dbcls-rs because it already has monitoring enabled. To force the monitor to restart, disable monitoring using 'clresource unmonitor dbcls-rs' and re-enable monitoring using 'clresource monitor dbcls-rs'.
(C348385) WARNING: Cannot enable monitoring on resource oracle_serverdb-rs because it already has monitoring enabled. To force the monitor to restart, disable monitoring using 'clresource unmonitor oracle_serverdb-rs' and re-enable monitoring using 'clresource monitor oracle_serverdb-rs'.
clresourcegroup:  (C748634) Resource group oracle-rg failed to start on chosen node and might fail over to other node(s)
clresourcegroup:  (C135343) No primary node could be found for resource group oracle-rg; it remains offline
Ерунда какая-то...

Я вот думаю, может быть, я просто занимаюсь ерундой и внутри ESX такая конфигурация просто не будет работать по определению?
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36561250
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
у меня на Virtualbox более-менее работает. Правда, без Oracle и на solaris express (i.e. 11) с Sun cluster express.

А cldevicegroup switch делал? И в логах (dmesg) есть чего интересное? И там где вывод cluster check есть чего интересное?

Ну и руководство как бы говорит, что сначала редактирование md.tab, metainit и только потом newfs, mount и установка софта.
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36561339
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
113.
# /usr/cluster/bin/clresourcegroup switch -n node- 1  oracle-rg
clresourcegroup:  (C748634) Resource group oracle-rg failed to start on chosen node and might fail over to other node(s)
#dmesg
...........
Apr   5   18 : 03 : 17  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hafoip_prenet_start> for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 300 > seconds
Apr   5   18 : 03 : 17  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hafoip_prenet_start> completed successfully for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 300  seconds>
Apr   5   18 : 03 : 17  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hastorageplus_prenet_start> for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 1800 > seconds
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hastorageplus_prenet_start> completed successfully for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 1800  seconds>
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hafoip_start> for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 500 > seconds
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hastorageplus_monitor_start> for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 90 > seconds
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hastorageplus_monitor_start> completed successfully for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 90  seconds>
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hafoip_start> completed successfully for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 500  seconds>
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <bin/oracle_server_start> for resource <oracle_serverdb-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 600 > seconds
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hafoip_monitor_start> for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 300 > seconds
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hafoip_monitor_start> completed successfully for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 300  seconds>
Apr   5   18 : 03 : 22  node- 1  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: [ID  876834  daemon.error] Could not start server
Apr   5   18 : 03 : 22  node- 1  Cluster.RGM.global.rgmd: [ID  938318  daemon.error] Method <bin/oracle_server_start> failed on resource <oracle_serverdb-rs> in resource group <oracle-rg> [exit code < 1 >, time used:  0 % of timeout < 600  seconds>] 
Apr   5   18 : 03 : 22  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <bin/oracle_server_stop> for resource <oracle_serverdb-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 600 > seconds
Apr   5   18 : 03 : 22  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hafoip_monitor_stop> for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 300 > seconds
Apr   5   18 : 03 : 22  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hastorageplus_monitor_stop> for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 90 > seconds
Apr   5   18 : 03 : 22  node- 1  Cluster.RGM.global.rgmd: [ID  652764  daemon.notice] libsecurity, door_call: Resource temporarily unavailable; will retry
Apr   5   18 : 03 : 22  node- 1  last message repeated  1  time
Apr   5   18 : 03 : 23  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hastorageplus_monitor_stop> completed successfully for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  1 % of timeout < 90  seconds>
Apr   5   18 : 03 : 23  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hafoip_monitor_stop> completed successfully for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 300  seconds>
Apr   5   18 : 03 : 24  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <bin/oracle_server_stop> completed successfully for resource <oracle_serverdb-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 600  seconds>
Apr   5   18 : 03 : 24  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hafoip_stop> for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 300 > seconds
Apr   5   18 : 03 : 24  node- 1  ip: [ID  678092  kern.notice] TCP_IOC_ABORT_CONN: local =  172 . 030 . 008 . 051 : 0 , remote =  000 . 000 . 000 . 000 : 0 , start = - 2 , end =  6 
Apr   5   18 : 03 : 24  node- 1  ip: [ID  302654  kern.notice] TCP_IOC_ABORT_CONN: aborted  0  connection 
Apr   5   18 : 03 : 24  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hafoip_stop> completed successfully for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 300  seconds>
Apr   5   18 : 03 : 24  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hastorageplus_postnet_stop> for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 1800 > seconds
Apr   5   18 : 03 : 24  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hastorageplus_postnet_stop> completed successfully for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 1800  seconds>
# date
Mon Apr   5   18 : 04 : 25  GMT+ 4   2010 
# /usr/cluster/bin/cluster check -v
  initializing...
  initializing xml output...
  loading auxiliary data...
  starting check run...
     node- 2 , node- 1 :     M6708613.... starting:  vxio major numbers are not consistent across...
     node- 2 , node- 1 :     M6708613       not applicable
     node- 2 :     S6708496.... starting:  Cluster node ( 3 . 1  or later) OpenBoot Prom (O...
     node- 2 :     S6708496       not applicable
     node- 1 :     S6708496.... starting:  Cluster node ( 3 . 1  or later) OpenBoot Prom (O...
     node- 1 :     S6708496       not applicable
     node- 2 , node- 1 :     M6336822.... starting:  Global filesystem /etc/vfstab entries are no...
     node- 2 , node- 1 :     M6336822       passed
     node- 2 :     S6708255.... starting:  The nsswitch.conf file 'hosts' database entr...
     node- 2 :     S6708255       passed
     node- 1 :     S6708255.... starting:  The nsswitch.conf file 'hosts' database entr...
     node- 1 :     S6708255       passed
     node- 2 :     S6708479.... starting:  The /etc/system rpcmod:svc_default_stksize p...
     node- 2 :     S6708479       passed
     node- 1 :     S6708479.... starting:  The /etc/system rpcmod:svc_default_stksize p...
     node- 1 :     S6708479       passed
     node- 2 :     S6708586.... starting:  The nsswitch.conf file "netmasks" database e...
     node- 2 :     S6708586       passed
     node- 1 :     S6708586.... starting:  The nsswitch.conf file "netmasks" database e...
     node- 1 :     S6708586       passed
     node- 2 :     S6708502.... starting:  Unsupported Real Time processes are running ...
     node- 2 :     S6708502       passed
     node- 1 :     S6708502.... starting:  Unsupported Real Time processes are running ...
     node- 1 :     S6708502       passed
     node- 2 :     S6708599.... starting:  Sun Cluster node does not have a mount point...
     node- 2 :     S6708599       passed
     node- 1 :     S6708599.... starting:  Sun Cluster node does not have a mount point...
     node- 1 :     S6708599       passed
     node- 2 :     S6708605.... starting:  The /dev/rmt directory is missing.          
     node- 2 :     S6708605       passed
     node- 1 :     S6708605.... starting:  The /dev/rmt directory is missing.          
     node- 1 :     S6708605       passed
     node- 2 :     S6708589.... starting:  The nsswitch.conf file "services" database e...
     node- 2 :     S6708589       passed
     node- 1 :     S6708589.... starting:  The nsswitch.conf file "services" database e...
     node- 1 :     S6708589       passed
     node- 2 :     S6708592.... starting:  The nsswitch.conf file "group" database entr...
     node- 2 :     S6708592       passed
     node- 1 :     S6708592.... starting:  The nsswitch.conf file "group" database entr...
     node- 1 :     S6708592       passed
     node- 2 :     S6708606.... starting:  Multiple network interfaces on a single subn...
     node- 2 :     S6708606       passed
     node- 1 :     S6708606.... starting:  Multiple network interfaces on a single subn...
     node- 1 :     S6708606       passed
     node- 2 :     S6708644.... starting:  Global Veritas File Systems (VxFS) without l...
     node- 2 :     S6708644       not applicable
     node- 1 :     S6708644.... starting:  Global Veritas File Systems (VxFS) without l...
     node- 1 :     S6708644       not applicable
     node- 2 :     S6708638.... starting:  Node has insufficient physical memory.      
     node- 2 :     S6708638       passed
     node- 1 :     S6708638.... starting:  Node has insufficient physical memory.      
     node- 1 :     S6708638       passed
     node- 2 :     S6708641.... starting:  Cluster failover/switchover might fail becau...
     node- 2 :     S6708641       passed
     node- 1 :     S6708641.... starting:  Cluster failover/switchover might fail becau...
     node- 1 :     S6708641       passed
     node- 2 :     S6708689.... starting:  One or more Sun Cluster resources cannot be ...
     node- 2 :     S6708689       violated
     node- 1 :     S6708689.... starting:  One or more Sun Cluster resources cannot be ...
     node- 1 :     S6708689       violated
     node- 2 :     S6708642.... starting:  /proc fails to mount periodically during reb...
        searching /var/adm/messages
        searching /var/adm/messages. 0 
        searching /var/adm/messages. 1 
     node- 2 :     S6708642       passed
     node- 1 :     S6708642.... starting:  /proc fails to mount periodically during reb...
        searching /var/adm/messages
        searching /var/adm/messages. 0 
        searching /var/adm/messages. 1 
     node- 1 :     S6708642       passed
  finished check run
  finishing xml output...
  Maximum severity of all violations: Critical
  Reports in: /var/cluster/logs/cluster_check/ 2010 - 04 - 05 . 18 : 05 : 33 /
  cleaning up...

Вечерком попробую сделать кластер заново, точно соблюдая последовательность.
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36562712
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
авторApr 5 18:03:18 node-1 Cluster.RGM.global.rgmd: [ID 515159 daemon.notice] method <hafoip_monitor_start> completed successfully for resource <dbcls-rs>, resource group <oracle-rg>, node <node-1>, time used: 0% of timeout <300 seconds>
Apr 5 18:03:22 node-1 SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: [ID 876834 daemon.error] Could not start server
Apr 5 18:03:22 node-1 Cluster.RGM.global.rgmd: [ID 938318 daemon.error] Method <bin/oracle_server_start> failed on resource <oracle_serverdb-rs> in resource group <oracle-rg> [exit code <1>, time used: 0% of timeout <600 seconds>]


Это он не может Oracle запустить почему-то. См. файл /var/opt/SUNWscor/oracle_server/message_log.oracle_rg (или как-то там рядом)
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36562829
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
О, а вот в логе очень интересно:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
Enter user-name: Enter password: 
ERROR:
ORA- 01005 : null password given; logon denied


Enter user-name: 

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Mon Apr  5   18 : 03 : 22   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
SP2- 0157 : unable to CONNECT to ORACLE after  3  attempts, exiting SQL*Plus
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage startup FALSE
Apr  05   18 : 03 : 22  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Could not start server
Apr  05   18 : 03 : 24  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute shutdown commands
Apr  05   18 : 03 : 24  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Server is not running. Calling shutdown abort to clear shared memory (if any)
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Mon Apr  5   18 : 03 : 24   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort
Apr  05   18 : 05 : 49  SC[SUNWscor.oracle_server.validate]:oracle-rg:oracle_serverdb-rs: Validate method invoked on resource oracle_serverdb-rs.
Apr  05   18 : 05 : 49  SC[SUNWscor.oracle_server.validate]:oracle-rg:oracle_serverdb-rs: Validation failed. ORACLE binaries not found ORACLE_HOME=/u01/app
Apr  05   18 : 05 : 49  SC[SUNWscor.oracle_server.validate]:oracle-rg:oracle_serverdb-rs: ALERT_LOG_FILE /u01/app/admin/db/bdump/alert_db.log doesn't exist
Apr  05   18 : 05 : 49  SC[SUNWscor.oracle_server.validate]:oracle-rg:oracle_serverdb-rs: Validation failed. Neither default PARAMETER_FILE: nor Validation failed. Neither default PARAMETER_FILE: server Validation failed. Neither default PARAMETER_FILE: PARAMETER_FILE: Validation failed. Neither default PARAMETER_FILE: %s Validation failed. Neither default PARAMETER_FILE: exists Validation failed. Neither default PARAMETER_FILE: /u01/app/dbs/initdb.ora Validation failed. Neither default PARAMETER_FILE: /u01/app/dbs/spfiledb.ora 
Apr  05   18 : 05 : 49  SC[SUNWscor.oracle_server.validate]:oracle-rg:oracle_serverdb-rs: This resource depends on a HAStoragePlus resouce that is not online. Unable to perform validations.

Насколько я понял, проблемы с авторизацией в оракле. Вопрос: я правильно понял, что надо давать логон\пароль от операционной системы, а не от SYSDBA, например?
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36563015
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Oracle он должен запускать через ОС аутентификацию. То есть, аналогично как если написать su oracle, там sqlplus и в нём startup.
Может, на второй ноде забыли пользователя oracle с группами dba/oinstall в solaris завести?

А логин-пароль ему указывается для ораклового юзера, Sun cluster туда будет ходить его мониторить. Перезапускать если здох и тд.
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36563141
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Так-так-так... На второй ноде юзер не был вообще ни в одной группе, хотя я точно помню, что добавлял его туда через SMC... Попробовал ещё раз сделать /usr/cluster/bin/clresourcegroup online -emM oracle-rg получил
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
113.
114.
115.
116.
117.
118.
119.
120.
121.
122.
123.
124.
125.
126.
127.
128.
129.
130.
Apr  06   14 : 49 : 32  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Starting Oracle server.
Apr  06   14 : 49 : 32  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute start commands
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 49 : 36   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 49 : 43   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: Enter password: 
ERROR:
ORA- 01005 : null password given; logon denied


Enter user-name: 

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 49 : 45   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
SP2- 0157 : unable to CONNECT to ORACLE after  3  attempts, exiting SQL*Plus
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage startup FALSE
Apr  06   14 : 49 : 45  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Could not start server
Apr  06   14 : 49 : 47  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute shutdown commands
Apr  06   14 : 49 : 47  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Server is not running. Calling shutdown abort to clear shared memory (if any)
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 49 : 47   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort
Apr  06   14 : 49 : 51  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Starting Oracle server.
Apr  06   14 : 49 : 51  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute start commands
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 49 : 55   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 50 : 05   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: Enter password: 
ERROR:
ORA- 01005 : null password given; logon denied


Enter user-name: 

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 50 : 07   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
SP2- 0157 : unable to CONNECT to ORACLE after  3  attempts, exiting SQL*Plus
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage startup FALSE
Apr  06   14 : 50 : 07  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Could not start server
Apr  06   14 : 50 : 08  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute shutdown commands
Apr  06   14 : 50 : 08  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Server is not running. Calling shutdown abort to clear shared memory (if any)
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 50 : 09   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort
на обоих нодах /etc/group выглядит теперь одинаково:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
root:: 0 :
other:: 1 :root
bin:: 2 :daemon,root
sys:: 3 :bin,adm,root
adm:: 4 :daemon,root
uucp:: 5 :root
mail:: 6 :root
tty:: 7 :adm,root
lp:: 8 :adm,root
nuucp:: 9 :root
staff:: 10 :
daemon:: 12 :root
sysadmin:: 14 :
smmsp:: 25 :
gdm:: 50 :
webservd:: 80 :
postgres:: 90 :
nobody:: 60001 :
noaccess:: 60002 :
nogroup:: 65534 :
oinstall:: 100 :oracle
dba:: 101 :oracle
oper:: 102 :oracle

Попробовал вручную зайти в sqlplus:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
-bash- 3 . 00 $ sqlplus

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   15 : 58 : 04   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Enter user-name: sysdba
Enter password: 
ERROR:
ORA- 12162 : TNS:net service name is incorrectly specified

localhost:1158/em тоже не отвечает - по-видимому, после размонтирования /u01 во время неудачного запуска кластера.
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36563200
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ну, надо же $ORACLE_SID нормально выставить же!
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36563280
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Да, oracle_sid таки не был установлен. Пробуем ещё раз:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
113.
114.
115.
116.
117.
118.
119.
120.
121.
122.
123.
124.
125.
126.
127.
128.
129.
130.
131.
132.
133.
134.
135.
136.
137.
138.
139.
140.
141.
142.
143.
Apr  06   16 : 07 : 10  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Starting Oracle server.
Apr  06   16 : 07 : 10  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute start commands
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 10   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> ORACLE instance shut down.
SQL> Disconnected
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 12   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> ORA- 27102 : out of memory
Solaris-AMD64 Error:  22 : Invalid argument
SQL> Disconnected

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 17   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> grant select on v_$sysstat to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> grant select on v_$archive_dest to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> grant select on v_$database to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> grant select on v_$version to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> Disconnected
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage startup FALSE
Apr  06   16 : 07 : 17  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Could not start server
Apr  06   16 : 07 : 19  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute shutdown commands
Apr  06   16 : 07 : 19  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Server is not running. Calling shutdown abort to clear shared memory (if any)
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 19   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> ORACLE instance shut down.
SQL> Disconnected
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort
Apr  06   16 : 07 : 23  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Starting Oracle server.
Apr  06   16 : 07 : 23  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute start commands
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 24   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> ORACLE instance shut down.
SQL> Disconnected
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 26   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> ORA- 27102 : out of memory
Solaris-AMD64 Error:  22 : Invalid argument
SQL> Disconnected

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 29   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> grant select on v_$sysstat to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> grant select on v_$archive_dest to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> grant select on v_$database to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> grant select on v_$version to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> Disconnected
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage startup FALSE
Apr  06   16 : 07 : 29  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Could not start server
Apr  06   16 : 07 : 30  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute shutdown commands
Apr  06   16 : 07 : 30  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Server is not running. Calling shutdown abort to clear shared memory (if any)
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 30   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> ORACLE instance shut down.
SQL> Disconnected
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort
# date
Tue Apr   6   16 : 43 : 12  GMT+ 4   2010 
# echo $ORACLE_SID
db

Что-то я не понял, мои действия clresourcegroup online -emM oracle-rg никак не отразились в логе, судя по timestamp?..
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36563294
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
в out-of-memory какое слово перевести? Зачем пускать скрипты на неработающей базе?
Ну и запуск oracle от root - тоже непонятно.
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36563388
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Насчёт out-of-memory, судя по всему был виноват smc, который изуродовал /etc/user_attr, это я поправил. В каждой машине на самом деле 4Gb, чего, полагаю, должно хватать.
Я подозреваю, что дело в самом оракле, так как em показывает, что ничего не запущено:
Listener status: Down
Agent Connection to Instance status: Failed

Попробовал сделать Perform Recovery, получил отлуп: The database is currently OPEN. However, EM cannot connect to the database due to the above error. Please fix the above error and try again.

Я так думаю, что всё-таки кластер должен работать нормально а проблема в том, что орацль не поднимается из-за предыдущих некорректных попыток.
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36563544
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
em не поднимается потому что листенер не работает. Для него нужен отдельный ресурс:
Код: plaintext
1.
2.
3.
4.
5.
6.
clresource create -t SUNW.oracle_listener -g oracle-rg -p \
Resource_dependencies=u01_app_u02_oradata-rs -p \
ORACLE_HOME=/u01/app -p Listener_name=LISTENER \
oracle_listener-rs

clrg online -emM oracle-rg

А out of memory может вылезать потому что настройки shmem не были сделаны. Те, которые через projmod надо делать.
...
Рейтинг: 0 / 0
Solaris Cluster + Oracle 11g disk config
    #36563652
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Мутаген,

насчёт запуска скриптов на неработающей базе: это была цитата из лога, так что скрипты не я запускал :).

Теперь, насчёт em: я снёс полностью базу и ресурсы в кластере. Создал базу заново, em заработал, показал, что база в дауне, листенер в дауне. Запускать я ничего не стал, сразу попробовал сконфигурировать кластер. Создал все ресурсы, получил уже стандартный ответ:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
Configuration of Sun Cluster HA for Oracle failed
clresource: (C748634) Resource group oracle-rg failed to start on chosen node and might fail over to other node(s) Non-zero exit status

The following Sun Cluster commands were run 

Configuration commands...

/usr/cluster/bin/clresourcegroup create -p nodelist=node- 2 ,node- 1  oracle-rg 

/usr/cluster/bin/clresource create -t SUNW.HAStoragePlus: 8  -g oracle-rg -p FilesystemMountPoints=/u01/app,/u02/oradata -p GlobalDevicePaths=oraset u01_app_u02_oradata-rs 

/usr/cluster/bin/clresourcegroup online -emM oracle-rg 

/usr/cluster/bin/clreslogicalhostname create -g oracle-rg -h dbcls -N sc_ipmp0@node- 2 ,sc_ipmp0@node- 1  dbcls-rs 

/usr/cluster/bin/clresourcegroup online -emM oracle-rg 

/usr/cluster/bin/clresource create -t SUNW.oracle_server: 6  -g oracle-rg -p Resource_dependencies=dbcls-rs,u01_app_u02_oradata-rs -p ORACLE_HOME=/u01/app -p ORACLE_SID=db -p Alert_log_file=/u01/app/rdbms/log/alert_db.log -p Connect_string=oracle/P@ssw0rd -p Debug_level= 1  oracle_serverdb-rs


Unable to roll back commands


/usr/cluster/bin/clresource disable u01_app_u02_oradata-rs

clresource:  (C983921) Skipping resource u01_app_u02_oradata-rs because its resource group oracle-rg is undergoing a reconfiguration

out-of-memory случилось от того, что smc зачем-то отредактировал /etc/user_attr и удалил оттуда строчку с oracle::::project=group.dba со сконфигурированными shmemами.

В общем, я начинаю думать, что надо наверное сначала поднимать ось, так как что-то явно напортачено :(
...
Рейтинг: 0 / 0
21 сообщений из 46, страница 2 из 2
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Solaris Cluster + Oracle 11g disk config
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]