ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Solaris Cluster + Oracle 11g disk config
46 сообщений из 46, показаны все 2 страниц
  все  
Solaris Cluster + Oracle 11g disk config
    #36496799
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Всем привет!
Сразу оговорюсь, я новичок в Solaris Cluster и Oracle, так что прошу сильно не пинать, если вопрос уж очень глупый. Ситуация примерно такая: внутри ESXi хочу поднять кластер на две ноды на солярисе, на котором будет крутиться оракл 11g r1. "Sun Cluster Data Service for Oracle Guide for Solaris OS" почитал, но не до конца понял, обязательно ли конфигурировать cluster file system для датафайлов оракла, или можно в случае тестовой инсталляции тупо взять лун, который будет показываться обоим нодам, отформатируется в UFS один раз на этапе инсталляции, скажем, первой ноды и монтироваться в /u02 на обоих нодах?
...
Рейтинг: 0 / 0
02.03.2010, 13:04
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36498019
Фотография Ося
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ося
Участник
нет
...
Рейтинг: 0 / 0
02.03.2010, 18:06
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36498637
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
cluster fs (aka pxfs) не только не нужен, но и не поддерживается для работы Oracle.
LUN надо отдать под контроль volume manager'а.

Для начала есть неплохая книга в комплекте документации:
http://docs.sun.com/app/docs/doc/820-4989/chapter1-1?l=en&a=view

Sun Cluster Quick Start Guide for Solaris OS
...
Рейтинг: 0 / 0
03.03.2010, 01:30
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36502103
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Мутаген,

Спасибо!
...
Рейтинг: 0 / 0
04.03.2010, 12:40
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36528671
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Решил не создавать дополнительную тему, дабы не плодить лишние сущности :). Сделал всё по мануалу Quick Start Guide, но на этапе конфигурирования lvm возникла проблема:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
# /usr/cluster/bin/cldevice show

=== DID Device Instances ===                   

DID Device Name:                                /dev/did/rdsk/d1
  Full Device Path:                                suncluster- 2 :/dev/rdsk/c0t0d0
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d2
  Full Device Path:                                suncluster- 2 :/dev/rdsk/c1t0d0
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d3
  Full Device Path:                                suncluster- 1 :/dev/rdsk/c1t1d0
  Full Device Path:                                suncluster- 2 :/dev/rdsk/c1t1d0
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d4
  Full Device Path:                                suncluster- 1 :/dev/rdsk/c1t2d0
  Full Device Path:                                suncluster- 2 :/dev/rdsk/c1t2d0
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d5
  Full Device Path:                                suncluster- 1 :/dev/rdsk/c0t0d0
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d6
  Full Device Path:                                suncluster- 1 :/dev/rdsk/c1t0d0
  Replication:                                     none
  default_fencing:                                 global

/dev/did/rdsk/d4 - LUN на 2Gb для данных оракла, так что его и конфигурируем.

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
# /usr/cluster/bin/cldevicegroup switch -n suncluster- 1  oraset
# metaset -s oraset -a /dev/did/rdsk/d4
# metaset -s oraset

Set name = oraset, Set number =  1 

Host                Owner
  suncluster- 1        Yes
  suncluster- 2        

Driv Dbase

d4   Yes

Дальше, в мануале сказано изменить /etc/lvm/md.tab. Добавил следующие строчки:

Код: plaintext
1.
2.
3.
4.
        oraset/d2       -m oraset/d12
        oraset/d12       1   1  /dev/did/rdsk/d4s0
        oraset/d0       -p oraset/d2 3G
        oraset/d1       -p oraset/d2 3G

Не до конца уверен, что надо брать d4s0 (в мануале несколько по-другому, но, насколько я понял, там опечатка и перепутали примеры, стр. 32, если что - How to create and activate md.tab file), но я вписал именно его. Дальше получаю ошибку:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
# /usr/cluster/bin/cldevicegroup switch -n suncluster- 1  oraset
# metainit -s oraset -a
metainit: suncluster- 1 : /etc/lvm/md.tab line  59 : oraset/d2: unit already set up

metainit: suncluster- 1 : /etc/lvm/md.tab line  60 : oraset/d12: unit already set up

metainit: suncluster- 1 : /etc/lvm/md.tab line  61 : oraset/d0: not enough space available for request

metainit: suncluster- 1 : /etc/lvm/md.tab line  62 : oraset/d1: not enough space available for request

Чую, что сделал какую-то глупость, но не могу понять - где именно :(.
...
Рейтинг: 0 / 0
18.03.2010, 15:10
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36529120
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
Ну, там в одном месте 2 ГБ, а во втором - 3 Гб. Логично, что места не хватает
...
Рейтинг: 0 / 0
18.03.2010, 17:01
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36529219
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Я, честно говоря, не совсем понимаю "физический смысл" последних двух строчек. В мануале написано следующая конфигурация:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
apacheset/d0 -m apacheset/d10
apacheset/d10  1   1  /dev/did/rdsk/d3s0
nfsset/d1 -m nfsset/d11
nfsset/d11  1   1  /dev/did/rdsk/d4s0
oraset/d2 -m oraset/d12
oraset/d12  1   1  /dev/did/rdsk/d5s0
oraset/d0 -p oraset/d2 3G
oraset/d1 -p oraset/d2 3G

Можно прояснить - какая смысловая нагрузка на последние две строчки и почему их тогда не добавили для первых двух сетов?
...
Рейтинг: 0 / 0
18.03.2010, 17:31
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36529280
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
эти строчки создают на диске две партиции (soft partitions) по 3 ГБ. Добавили их чтобы разнести бинарники ораклка (ORACLE_HOME) и данные оракла, потому что они их монтируют потом с разными параметрами - для данных включают forcedirectio.

Я бы не стал заморачиваться с софтпартициями, а просто сделал бы два LUNf на массиве.
...
Рейтинг: 0 / 0
18.03.2010, 17:53
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36530040
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Я не совсем понял один момент: бинарники оракла должны тоже сидеть в shared LUNе? И ещё один вопрос: что посоветуете почитать насчёт конфигурирования lvm применительно к данному случаю (что-то вроде курса молодого бойца, что бы не отвлекаться от главной темы :) )?
...
Рейтинг: 0 / 0
19.03.2010, 09:18
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36531535
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
Там они ставят на общий LUN, что в общем логично.
Что касается LVM, в System administration collection от solaris10 есть отдельная книга про него. Но по большому счёту, всё нужное описано в man metainit и metaset
...
Рейтинг: 0 / 0
19.03.2010, 17:01
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36532513
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
То есть, я правильно понял, что установка oracle_home в общий LUN - средство избежать многократных (кратных количеству нод в кластере) установок и настроек оракла, так?
...
Рейтинг: 0 / 0
20.03.2010, 16:51
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36540769
Фотография GL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GL
Участник
z3r0c0l,

Так, но в случае апгрейда придётся останавливать всё. В случае, когда софт стоит на локальных дисках, можно накатывать патчи на ноды по очереди, не останавливая базу. Что, на мой взгляд, значительно удобнее...
...
Рейтинг: 0 / 0
24.03.2010, 20:12
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36541770
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
GL,

Понятно, спасибо за информацию.

Поставил оракл (/u01/app/oracle), создал базу данных (/u02/oradata), всё лежит, как и сказано в документации, на шаред луне:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
# cat /etc/vfstab 
#device device  mount   FS      fsck    mount   mount
#to     mount   to      fsck            point           type    pass    at boot options
#                       
fd      -       /dev/fd fd      -       no      -
/proc   -       /proc   proc    -       no      -
/dev/dsk/c1t0d0s1       -       -       swap    -       no      -
/dev/dsk/c1t0d0s0       /dev/rdsk/c1t0d0s0      /       ufs      1        no      -
/dev/dsk/c1t0d0s7       /dev/rdsk/c1t0d0s7      /export/home    ufs      2        yes     -
#/dev/dsk/c1t0d0s3      /dev/rdsk/c1t0d0s3      /globaldevices  ufs      2        yes     -
/devices        -       /devices        devfs   -       no      -
sharefs -       /etc/dfs/sharetab       sharefs -       no      -
ctfs    -       /system/contract        ctfs    -       no      -
objfs   -       /system/object  objfs   -       no      -
swap    -       /tmp    tmpfs   -       yes     -
/dev/did/dsk/d5s3 /dev/did/rdsk/d5s3 /global/.devices/node@ 2  ufs  2  no global
/dev/md/oraset/dsk/d0 /dev/md/oraset/rdsk/d0 /u01/app/oracle ufs  2  no logging
/dev/md/oraset/dsk/d1 /dev/md/oraset/rdsk/d1 /u02/oradata ufs  2  no logging,forcedirectio

тот же vfstab - на второй ноде, куда, разумеется, я ничего не ставил. Начал поднимать HA-агент для оракла, всё делал по дефолту, в качестве общего ресурса взял запись из cluster /etc/hosts (одинаковый на обоих нодах):

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
# cat /etc/hosts
#
# Internet host table
#
:: 1      localhost       
 127 . 0 . 0 . 1        localhost       
 172 . 30 . 8 . 102     suncluster- 1     loghost
 172 . 30 . 8 . 103     suncluster- 2  # Cluster Node
 172 . 30 . 8 . 51      cluster # virtual ip for cluster

в итоге, визард сдох на последнем этапе, выведя ошибку от второй ноды, где указывалось на невозможность записать лог в /u01/app/oracle/..... Зашёл на вторую ноду, в /u01/app/oracle ничего не было:
Код: plaintext
1.
2.
-bash- 3 . 00 $ ls -l
total  0 
-bash- 3 . 00 $

Сказал ему mount /u01/app/oracle и заодно /u02/oradata, содержимое увидел. Начал визард снова, но он упал с другой ошибкой. Дальше интереснее: зашёл на первую ноду, где и /u01 и /u02 были видны изначально (иначе оракл не встал бы) и теперь вижу следующее:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
# cd app/oracle/
# ls -l 
total  0 
# cd /u02/oradata 
# ls -l
total  0 
# mount /u01/a
admin/ app/   
# mount /u01/app/oracle 
mount: No such device
mount: Cannot mount /dev/md/oraset/dsk/d0
# mount /u02/oradata   
mount: /dev/md/oraset/dsk/d1 is already mounted or /u02/oradata is busy
# mount
/ on /dev/dsk/c1t0d0s0 read/write/setuid/devices/intr/largefiles/logging/xattr/onerror=panic/dev= 800000  on Thu Mar  25   12 : 08 : 58   2010 
/devices on /devices read/write/setuid/devices/dev=47c0000 on Thu Mar  25   12 : 08 : 46   2010 
/system/contract on ctfs read/write/setuid/devices/dev= 4800001  on Thu Mar  25   12 : 08 : 46   2010 
/proc on proc read/write/setuid/devices/dev= 4840000  on Thu Mar  25   12 : 08 : 46   2010 
/etc/mnttab on mnttab read/write/setuid/devices/dev= 4880001  on Thu Mar  25   12 : 08 : 46   2010 
/etc/svc/volatile on swap read/write/setuid/devices/xattr/dev=48c0001 on Thu Mar  25   12 : 08 : 46   2010 
/system/object on objfs read/write/setuid/devices/dev= 4900001  on Thu Mar  25   12 : 08 : 46   2010 
/etc/dfs/sharetab on sharefs read/write/setuid/devices/dev= 4940001  on Thu Mar  25   12 : 08 : 46   2010 
/lib/libc.so. 1  on /usr/lib/libc/libc_hwcap1.so. 1  read/write/setuid/devices/dev= 800000  on Thu Mar  25   12 : 08 : 57   2010 
/dev/fd on fd read/write/setuid/devices/dev=4ac0001 on Thu Mar  25   12 : 08 : 58   2010 
/tmp on swap read/write/setuid/devices/xattr/dev=48c0002 on Thu Mar  25   12 : 09 : 03   2010 
/var/run on swap read/write/setuid/devices/xattr/dev=48c0003 on Thu Mar  25   12 : 09 : 03   2010 
/export/home on /dev/dsk/c1t0d0s7 read/write/setuid/devices/intr/largefiles/logging/xattr/onerror=panic/dev= 800007  on Thu Mar  25   12 : 09 : 19   2010 
/global/.devices/node@ 1  on /dev/did/dsk/d2s3 read/write/setuid/devices/intr/largefiles/logging/noquota/global/xattr/nodfratime/onerror=panic/dev=3bc0043 on Thu Mar  25   12 : 09 : 26   2010 
/global/.devices/node@ 2  on /dev/did/dsk/d5s3 read/write/setuid/devices/intr/largefiles/logging/noquota/global/xattr/nodfratime/onerror=panic/dev=3bc00a3 on Thu Mar  25   12 : 09 : 26   2010 
/home/oracle on /export/home/oracle read/write/setuid/devices/dev= 800007  on Thu Mar  25   12 : 10 : 58   2010 
# umount /u01/app/oracle 
umount: warning: /u01/app/oracle not in mnttab
umount: /u01/app/oracle not mounted
# umount /u02/oradata   
umount: warning: /u02/oradata not in mnttab
umount: /u02/oradata not mounted

в общем, наблюдается какая-то ерунда: /u01 и /u02 пустые, монтироватьсяв них ничего не хочет... подозреваю, что я напортачил что-то во время одновременного монтирования файловых систем на обе ноды, но перезагрузка обеих нод ничего не дала. Придётся делать newfs и ставить всё заново?
...
Рейтинг: 0 / 0
25.03.2010, 11:58
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36542322
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
Оно, похоже, отдало куда-то метасет и не хочет возвращать.
постите сюда cluster status
...
Рейтинг: 0 / 0
25.03.2010, 14:26
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36542433
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Мутаген,

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
# /usr/cluster/bin/cluster status

=== Cluster Nodes ===

--- Node Status ---

Node Name                                       Status
---------                                       ------
suncluster- 2                                     Online
suncluster- 1                                     Online


=== Cluster Transport Paths ===

Endpoint1               Endpoint2               Status
---------               ---------               ------
suncluster- 2 :e1000g2    suncluster- 1 :e1000g2    Path online
suncluster- 2 :e1000g1    suncluster- 1 :e1000g1    Path online


=== Cluster Quorum ===

--- Quorum Votes Summary from latest node reconfiguration ---

            Needed   Present   Possible
            ------   -------   --------
             2          3           3 


--- Quorum Votes by Node (current status) ---

Node Name         Present      Possible      Status
---------         -------      --------      ------
suncluster- 2        1              1              Online
suncluster- 1        1              1              Online


--- Quorum Votes by Device (current status) ---

Device Name       Present      Possible      Status
-----------       -------      --------      ------
d3                 1              1              Online


=== Cluster Device Groups ===

--- Device Group Status ---

Device Group Name   Primary        Secondary      Status
-----------------   -------        ---------      ------
oraset              suncluster- 2    suncluster- 1    Online


--- Spare, Inactive, and In Transition Nodes ---

Device Group Name   Spare Nodes   Inactive Nodes   In Transistion Nodes
-----------------   -----------   --------------   --------------------
oraset              -             -                -


--- Multi-owner Device Group Status ---

Device Group Name           Node Name           Status
-----------------           ---------           ------

=== Cluster Resource Groups ===

Group Name       Node Name       Suspended      State
----------       ---------       ---------      -----

=== Cluster Resources ===

Resource Name       Node Name       State       Status Message
-------------       ---------       -----       --------------

=== Cluster DID Devices ===

Device Instance           Node                  Status
---------------           ----                  ------
/dev/did/rdsk/d2          suncluster- 2           Ok

/dev/did/rdsk/d3          suncluster- 1           Ok
                          suncluster- 2           Ok

/dev/did/rdsk/d5          suncluster- 1           Ok


=== Zone Clusters ===

--- Zone Cluster Status ---

Name    Node Name    Zone HostName    Status    Zone Status
----    ---------    -------------    ------    -----------

Вот.
...
Рейтинг: 0 / 0
25.03.2010, 14:53
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36542552
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
Вроде нормально всё. А визард чего писал?
А /etc/lvm/md.tab везде одинаковые?
И /etc/hosts тоже одинаковые?
...
Рейтинг: 0 / 0
25.03.2010, 15:24
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36542695
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Мутаген,
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
-bash- 3 . 00 $ cat /etc/lvm/md.tab 
======suncluster- 1  md.tab=========

        oraset/d2       -m oraset/d12
        oraset/d12       1   1  /dev/did/rdsk/d3s0
        oraset/d0       -p oraset/d2 3G
        oraset/d1       -p oraset/d2 3G
==============================

-bash- 3 . 00 $ cat /etc/lvm/md.tab 
======suncluster- 1  md.tab=========

        oraset/d2       -m oraset/d12
        oraset/d12       1   1  /dev/did/rdsk/d3s0
        oraset/d0       -p oraset/d2 3G
        oraset/d1       -p oraset/d2 3G
==============================

-bash- 3 . 00 $ cat /etc/hosts
#
# Internet host table
#
:: 1      localhost       
 127 . 0 . 0 . 1        localhost       
 172 . 30 . 8 . 102     suncluster- 1     loghost
 172 . 30 . 8 . 103     suncluster- 2  # Cluster Node
 172 . 30 . 8 . 51      cluster # virtual ip for cluster

-bash- 3 . 00 $ cat /etc/hosts
#
# Internet host table
#
:: 1      localhost       
 127 . 0 . 0 . 1        localhost       
 172 . 30 . 8 . 103     suncluster- 2     loghost
 172 . 30 . 8 . 102     suncluster- 1  # Cluster Node
 172 . 30 . 8 . 51      cluster # virtual ip for cluster

Запустил визард ещё раз, ошибка теперь другая (визард не дошёл до месте, где умер в прошлый раз):

Код: plaintext
The Oracle home directory does not contain the required Oracle files. To use the directory that you specified, click Next.

Что, собственно, логично - /u01 нормально не монтируется ls ничего не показывает.
...
Рейтинг: 0 / 0
25.03.2010, 16:01
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36542823
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
Раз кластера всеравно пока нет, то активируйте метасет вручную.

Код: plaintext
metaset -t oraset

и можно будет монтировать ФС
...
Рейтинг: 0 / 0
25.03.2010, 16:43
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36543797
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Мутаген,

Насчёт похищения метасета:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
# metaset 

Set name = oraset, Set number =  1 

Host                Owner
  suncluster- 1        
  suncluster- 2        

Driv Dbase

d3   Yes  
# metaset -s oraset -t
# metaset

Set name = oraset, Set number =  1 

Host                Owner
  suncluster- 1        Yes
  suncluster- 2        

Driv Dbase

d3   Yes
# mount /u01/app/oracle 
# mount /u02/oradata   
# cd /u01/app/oracle

То есть, метасет действительно куда-то потерялся... Поставил оракл заново, так как уже успел сделать newfs, создал базу в /u02. Так как в документации не сказано, что надо запускать базу, я оставил всё по дефолту, em показал, что база в дауне. Дальше делал всё по документации, визард нашёл базу. В поле Alert_log_file ввёл "/u01/app/oracle" - вопреки документации, но, думаю, это не смертельно. Правда, по ходу визарда я вспомнил, что забыл смонтировать на второй ноде /u01 и /u02. Отменил визард, попытался смонтировать, получил вот это:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
# mount /u01/app/oracle
mount: No such device
mount: Cannot mount /dev/md/oraset/dsk/d0
# metaset 

Set name = oraset, Set number =  1 

Host                Owner
  suncluster- 1        
  suncluster- 2        

Driv Dbase

d3   Yes  
# metaset -s oraset -t
metaset: failed to notify DCS of take
# metaset

Set name = oraset, Set number =  1 

Host                Owner
  suncluster- 1        
  suncluster- 2        

Driv Dbase

d3   Yes  
# /usr/cluster/bin/scstat -D

-- Device Group Servers --

                         Device Group        Primary             Secondary
                         ------------        -------             ---------
  Device group servers:  oraset              suncluster- 1         suncluster- 2 


-- Device Group Status --

                              Device Group        Status              
                              ------------        ------              
  Device group status:        oraset              Online


-- Multi-owner Device Groups --

                              Device Group        Online Status
                              ------------        -------------
в общем, получается какая-то ерунда, oraset вроде в онлайне, первая нода считает, что она владелец, а вторая вообще не понимает, кто владелец...
Экстремальные меры тоже не помогли:
Код: plaintext
1.
# metaset -s oraset -t -f
metaset: failed to notify DCS of take
Перезагрузил обе ноды, посмотрел на metaset на первой:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
# metaset

Set name = oraset, Set number =  1 

Host                Owner
  suncluster- 1        
  suncluster- 2        

Driv Dbase

d3   Yes
На второй - то же самое. То есть владелец опять потерялся. Что за ерунда?!
...
Рейтинг: 0 / 0
26.03.2010, 09:55
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36543953
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
Ну, файловая система UFS должна быть замонтирована на одном узле. И только так.
Иначе она развалиться.

Соответственно, метасет может быть активирован (taken) только одним узлом, так что всё правильно.
Когда всё настроится, кластер будет его активировать, монтировать ФС, пускть оракл и тд.

Насчёт Alert log не понял - так жалко ему сказать полный путь чтоли? Если неполучается его найти, то по дефолту он будет в $ORACLE_HOME/admin/bdump/alert_${ORACLE_SID}.log. Я подозреваю если его не указать, то визард там и остановиться с ошибкой: он небось может отличить каталог от файла с логом.

Там, кстати, визарду понадобиться ещё и пользователь в Oracle. Его завели?
...
Рейтинг: 0 / 0
26.03.2010, 10:52
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36550181
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Мутаген,

По-видимому я в ходе экспериментов напортачил в конфигах, визард валился, даже если всё правильно указать. Я переставил всё с нуля, но заметил странную вещь: metaset после перезагрузки теряет овнера. И если не сказать metaset -s oraset -t то mount не работает. Так и должно быть?
...
Рейтинг: 0 / 0
30.03.2010, 12:17
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36550376
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Мутаген,

Да, после переустановки заново, визард вывалился с ошибкой:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
The following Sun Cluster commands were run 

Configuration commands...

/usr/cluster/bin/clresourcegroup create -p nodelist=node- 2 ,node- 1  oracle-rg 

/usr/cluster/bin/clresourcetype register SUNW.HAStoragePlus: 8  

/usr/cluster/bin/clresource create -t SUNW.HAStoragePlus: 8  -g oracle-rg -p FilesystemMountPoints=/u01/app,/u02/oradata -p GlobalDevicePaths=oraset u01_app_u02_oradata-rs 

/usr/cluster/bin/clresourcegroup online -emM oracle-rg 

/usr/cluster/bin/clreslogicalhostname create -g oracle-rg -h clmain -N sc_ipmp0@node- 2 ,sc_ipmp0@node- 1  clmain-rs 

/usr/cluster/bin/clresourcegroup online -emM oracle-rg 

/usr/cluster/bin/clresource create -t SUNW.oracle_server: 6  -g oracle-rg -p Resource_dependencies=clmain-rs,u01_app_u02_oradata-rs -p ORACLE_HOME=/u01/app -p ORACLE_SID=db -p Alert_log_file=/u01/app/rdbms/log/alert_db.log -p Connect_string=oracle/P@ssw0rd -p Debug_level= 1  oracle_serverdb-rs


Unable to roll back commands


/usr/cluster/bin/clresource disable u01_app_u02_oradata-rs

clresource:  (C983921) Skipping resource u01_app_u02_oradata-rs because its resource group oracle-rg is undergoing a reconfiguration.

Кстати, после работы визарда em стал недоступен. Сама база была в оффлайне в момент его работы (т.к. в документации не сказано, что её надо переводить в онлайн и визард её находил) - это могло повлиять на процесс создания кластера?
...
Рейтинг: 0 / 0
30.03.2010, 13:24
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36550446
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
То, что метасет после ребута недоступен - это так и должно быть, его либо кластер должен активировать, либо другой какой метод. Сам он не будет подниматься.

Почему разваливается визард я не понял, там точно не было никаких больше сообщений об ошибке?
И смущает меня путь до alert.log.

Постите cluster status снова, давайте смотреть чего там визард сделал.
...
Рейтинг: 0 / 0
30.03.2010, 13:43
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36550506
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Мутаген,

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
# /usr/cluster/bin/cluster status 

=== Cluster Nodes ===

--- Node Status ---

Node Name                                       Status
---------                                       ------
node- 2                                           Online
node- 1                                           Online


=== Cluster Transport Paths ===

Endpoint1               Endpoint2               Status
---------               ---------               ------
node- 2 :e1000g2          node- 1 :e1000g2          Path online
node- 2 :e1000g1          node- 1 :e1000g1          Path online


=== Cluster Quorum ===

--- Quorum Votes Summary from latest node reconfiguration ---

            Needed   Present   Possible
            ------   -------   --------
             2          3           3 


--- Quorum Votes by Node (current status) ---

Node Name       Present       Possible       Status
---------       -------       --------       ------
node- 2            1               1               Online
node- 1            1               1               Online


--- Quorum Votes by Device (current status) ---

Device Name       Present      Possible      Status
-----------       -------      --------      ------
d3                 1              1              Online


=== Cluster Device Groups ===

--- Device Group Status ---

Device Group Name     Primary     Secondary     Status
-----------------     -------     ---------     ------
oraset                node- 2       node- 1         Online


--- Spare, Inactive, and In Transition Nodes ---

Device Group Name   Spare Nodes   Inactive Nodes   In Transistion Nodes
-----------------   -----------   --------------   --------------------
oraset              -             -                -


--- Multi-owner Device Group Status ---

Device Group Name           Node Name           Status
-----------------           ---------           ------

=== Cluster Resource Groups ===

Group Name       Node Name       Suspended      State
----------       ---------       ---------      -----
oracle-rg        node- 2           No             Offline
                 node- 1           No             Offline


=== Cluster Resources ===

Resource Name             Node Name   State     Status Message
-------------             ---------   -----     --------------
u01_app_u02_oradata-rs    node- 2       Offline   Offline
                          node- 1       Offline   Offline

clmain-rs                 node- 2       Offline   Offline - LogicalHostname offline.
                          node- 1       Offline   Offline - LogicalHostname offline.

oracle_serverdb-rs        node- 2       Offline   Offline
                          node- 1       Offline   Offline


=== Cluster DID Devices ===

Device Instance              Node               Status
---------------              ----               ------
/dev/did/rdsk/d2             node- 2              Ok

/dev/did/rdsk/d3             node- 1              Ok
                             node- 2              Ok

/dev/did/rdsk/d5             node- 1              Ok


=== Zone Clusters ===

--- Zone Cluster Status ---

Name    Node Name    Zone HostName    Status    Zone Status
----    ---------    -------------    ------    -----------

Да, в данный момент отпять отвалился овнер от метасета:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
# metaset

Set name = oraset, Set number =  1 

Host                Owner
  node- 1              
  node- 2              

Driv Dbase

d3   Yes
Его опять надо -s oraset -t перед запуском визарда?

Собственно, перед тем как попробовать визард ещё раз, хочу уточнить: монтировать вручную /u01 и /u02 перед выполнением визарда надо, или он сам сообразит? Кроме того, я так понял, надо бы почистить кластер от ресурс-групп и ресурсов, котрорые там сейчас остались, перед запуском визарда, так?
Что касается ошибок, я скопировал полный аутпут команды, то есть, вроде бы больше не было ничего. Насчёт alert_log, визард его сам обнаружил, я проверил, файл присутствовал.
...
Рейтинг: 0 / 0
30.03.2010, 13:59
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36550520
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Да, небольшое допролнение:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
-bash- 3 . 00 $ cat /etc/hosts
#
# Internet host table
#
:: 1      localhost       
 127 . 0 . 0 . 1        localhost       
 172 . 30 . 8 . 103     node- 2   loghost
 172 . 30 . 8 . 103     node- 2 
 172 . 30 . 8 . 51      clmain
Это к вопросу о clmain-rs
...
Рейтинг: 0 / 0
30.03.2010, 14:02
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36550532
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
эээ... Ещё небольшое дополнение - судя по всему, ошибка была в /etc/hosts на второй ноде, там не была первая нода. Это могло повлиять на визард? Если да, то, соответственно, что надо почистить, что бы запустить его ещё раз?
...
Рейтинг: 0 / 0
30.03.2010, 14:05
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36550692
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
В общем, я попробовал сделать всё заново и
1) активировал metaset
2) подмонтировал /u01 /u02
3) удалил ресурсы кластера, поправил /etc/hosts на второй ноде
4) проверил наличие alert_log:
Код: plaintext
1.
# find / -name alert*.log
/u01/app/rdbms/log/alert_db.log
5) запустил визард заново, он опять вывалился с ошибкой:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
Configuration of Sun Cluster HA for Oracle failed
clresource: (C748634) Resource group oracle-rg failed to start on chosen node and might fail over to other node(s) Non-zero exit status

The following Sun Cluster commands were run 

Configuration commands...

/usr/cluster/bin/clresourcegroup create -p nodelist=node- 2 ,node- 1  oracle-rg 

/usr/cluster/bin/clresource create -t SUNW.HAStoragePlus: 8  -g oracle-rg -p FilesystemMountPoints=/u01/app,/u02/oradata -p GlobalDevicePaths=oraset u01_app_u02_oradata-rs 

/usr/cluster/bin/clresourcegroup online -emM oracle-rg 

/usr/cluster/bin/clreslogicalhostname create -g oracle-rg -h clmain -N sc_ipmp0@node- 2 ,sc_ipmp0@node- 1  clmain-rs 

/usr/cluster/bin/clresourcegroup online -emM oracle-rg 

/usr/cluster/bin/clresource create -t SUNW.oracle_server: 6  -g oracle-rg -p Resource_dependencies=clmain-rs,u01_app_u02_oradata-rs -p ORACLE_HOME=/u01/app -p ORACLE_SID=db -p Alert_log_file=/u01/app/rdbms/log/alert_db.log -p Connect_string=oracle/P@ssw0rd -p Debug_level= 1  oracle_serverdb-rs


Unable to roll back commands


/usr/cluster/bin/clresource disable u01_app_u02_oradata-rs

clresource:  (C983921) Skipping resource u01_app_u02_oradata-rs because its resource group oracle-rg is undergoing a reconfiguration.

Подозреваю, что что-то недоудалил в начале :)
...
Рейтинг: 0 / 0
30.03.2010, 14:53
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36550918
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Попробовал сделать ещё раз, только не через визард, а вручную через консоль. С каждым шагом "всё страньше и страньше" (ц) Винни-Пух:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
# metaset -s oraset -t
# mount /u01/app 
# mount /u02/oradata 
# cat /etc/hosts
#
# Internet host table
#
:: 1      localhost       
 127 . 0 . 0 . 1        localhost       
 172 . 30 . 8 . 102     node- 1   loghost
 172 . 30 . 8 . 103     node- 2 
 172 . 30 . 8 . 51      clmain
# /usr/cluster/bin/clresourcegroup create -p nodelist=node- 2 ,node- 1  oracle-rg
# /usr/cluster/bin/clresource create -t SUNW.HAStoragePlus: 8  -g oracle-rg -p FilesystemMountPoints=/u01/app,/u02/oradata -p GlobalDevicePaths=oraset u01_app_u02_oradata-rs 
# /usr/cluster/bin/clresourcegroup online -emM oracle-rg 
(C348385) WARNING: Cannot enable monitoring on resource u01_app_u02_oradata-rs because it already has monitoring enabled. To force the monitor to restart, disable monitoring using 'clresource unmonitor u01_app_u02_oradata-rs' and re-enable monitoring using 'clresource monitor u01_app_u02_oradata-rs'.
(C748634) Resource group oracle-rg failed to start on chosen node and might fail over to other node(s)
####ок, следуем рекомендации:
# /usr/cluster/bin/clresource unmonitor u01_app_u02_oradata-rs
# /usr/cluster/bin/clresource monitor u01_app_u02_oradata-rs
# /usr/cluster/bin/clreslogicalhostname create -g oracle-rg -h clmain -N sc_ipmp0@node- 2 ,sc_ipmp0@node- 1  clmain-rs 
# /usr/cluster/bin/clresourcegroup online -emM oracle-rg 
(C348385) WARNING: Cannot enable monitoring on resource u01_app_u02_oradata-rs because it already has monitoring enabled. To force the monitor to restart, disable monitoring using 'clresource unmonitor u01_app_u02_oradata-rs' and re-enable monitoring using 'clresource monitor u01_app_u02_oradata-rs'.
(C348385) WARNING: Cannot enable monitoring on resource clmain-rs because it already has monitoring enabled. To force the monitor to restart, disable monitoring using 'clresource unmonitor clmain-rs' and re-enable monitoring using 'clresource monitor clmain-rs'.
####аналогично предыдущему:
# /usr/cluster/bin/clresource unmonitor clmain-rs             
# /usr/cluster/bin/clresource monitor clmain-rs
# /usr/cluster/bin/clresource create -t SUNW.oracle_server: 6  -g oracle-rg -p Resource_dependencies=clmain-rs,u01_app_u02_oradata-rs -p ORACLE_HOME=/u01/app -p ORACLE_SID=db -p Alert_log_file=/u01/app/rdbms/log/alert_db.log -p Connect_string=oracle/P@ssw0rd -p Debug_level= 1  oracle_serverdb-rs
node- 2  - Validation failed. ORACLE binaries not found ORACLE_HOME=/u01/app
node- 2  - ALERT_LOG_FILE /u01/app/rdbms/log/alert_db.log doesn't exist
node- 2  - PARAMETER_FILE: /u01/app/dbs/initdb.ora nor server PARAMETER_FILE: /u01/app/dbs/spfiledb.ora exists
node- 2  - This resource depends on a HAStoragePlus resouce that is not online on this node. Ignoring validation errors.

clresource:  (C748634) Resource group oracle-rg failed to start on chosen node and might fail over to other node(s)
#

Я попробовал поменять местами
Код: plaintext
# /usr/cluster/bin/clresourcegroup online -emM oracle-rg
и
Код: plaintext
1.
# /usr/cluster/bin/clresource unmonitor u01_app_u02_oradata-rs
# /usr/cluster/bin/clresource monitor u01_app_u02_oradata-rs
но ошибка осталась той же.
...
Рейтинг: 0 / 0
30.03.2010, 16:14
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36551163
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
этот варнинг нестрашный, это просто тупит визард, нет нужды там звать clrg online так часто.

Покажите нам тут вывод head /u01/app/rdbms/log/alert_db.log и ls -ld /u01/app/bin/oracle
...
Рейтинг: 0 / 0
30.03.2010, 17:30
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36552026
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Мутаген,

Код: plaintext
1.
2.
3.
4.
5.
# ls -ld /u01/app/bin/oracle
-rwsr-s--x   1 oracle   oinstall 132820944 Mar 30 12:17 /u01/app/bin/oracle
# head /u01/app/rdbms/log/alert_db.log
Tue Mar  30   12 : 24 : 55   2010 
Shutting down instance (abort)
#
Это на первой ноде, которая основная.
...
Рейтинг: 0 / 0
31.03.2010, 09:57
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36556528
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
Файлы впроде все на месте, хотя и на неожиданном.

Я так понимаю, сейчас кластер более-менее работает. То есть, clrg status должна показывать ресурс-группу oracle-rg в состоянии online на одном из узлов. И при переключении её на другой узел (clrg switch -n <nodename> oracle-rg) на втором узле монтируются ФС и поднимается этот IP?

Если это так, то я бы попробовал ещё раз просто запустить создание ресурса ораклового.
...
Рейтинг: 0 / 0
01.04.2010, 20:02
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36559794
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Созданный ранее кластер погиб в неравном бою с раздолбайством коллег, так что пришлось всё поднять заново. Итак, ноды: node-1, node-2, соответственно, оракл ставится на node-1 и она же подразумевается основной. Каждой ноде виден общий лун c1t1d0 - для самого оракла и базы данных. Содержимое /etc/hosts идентично (ну, с поправкой наличия loghost). Дисковая конфигурация node-1:
Код: plaintext
1.
2.
/dev/did/dsk/d5s3 /dev/did/rdsk/d5s3 /global/.devices/node@ 2  ufs  2  no global
/dev/md/oraset/dsk/d0 /dev/md/oraset/rdsk/d0 /u01/app ufs  2  no logging
/dev/md/oraset/dsk/d1 /dev/md/oraset/rdsk/d1 /u02/oradata ufs  2  no logging,forcedirectio


node-2:
Код: plaintext
1.
2.
/dev/did/dsk/d2s3 /dev/did/rdsk/d2s3 /global/.devices/node@ 1  ufs  2  no global
/dev/md/oraset/dsk/d0 /dev/md/oraset/rdsk/d0 /u01/app ufs  2  no logging
/dev/md/oraset/dsk/d1 /dev/md/oraset/rdsk/d1 /u02/oradata ufs  2  no logging,forcedirectio

В скобках два замечания:
1) Я не совсем понял, почему /globaldevices закомментирован в обоих файлах, несмотря на то, что при установке я явно его указывал монтировать... Впрочем, как я понимаю, это не суть важно.
2) И не совсем понятно, почему в одном случае
...
Рейтинг: 0 / 0
04.04.2010, 14:38
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36559821
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Упс... Случайно нажал post :). Сорри, продолжаю:

2) И не совсем понятно, почему в одном случае /dev/did/dsk/d5s3 а в другом - /dev/did/dsk/d2s3 - я так понял, это всё создал сам кластер, так что руками лезть не стал.

Далее, статус кластера с node-1:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
# /usr/cluster/bin/cluster status

=== Cluster Nodes ===

--- Node Status ---

Node Name                                       Status
---------                                       ------
node- 2                                           Online
node- 1                                           Online


=== Cluster Transport Paths ===

Endpoint1               Endpoint2               Status
---------               ---------               ------
node- 2 :e1000g2          node- 1 :e1000g2          Path online
node- 2 :e1000g1          node- 1 :e1000g1          Path online


=== Cluster Quorum ===

--- Quorum Votes Summary from latest node reconfiguration ---

            Needed   Present   Possible
            ------   -------   --------
             2          3           3 


--- Quorum Votes by Node (current status) ---

Node Name       Present       Possible       Status
---------       -------       --------       ------
node- 2            1               1               Online
node- 1            1               1               Online


--- Quorum Votes by Device (current status) ---

Device Name       Present      Possible      Status
-----------       -------      --------      ------
d3                 1              1              Online


=== Cluster Device Groups ===

--- Device Group Status ---

Device Group Name     Primary     Secondary     Status
-----------------     -------     ---------     ------
oraset                node- 1       node- 2         Online


--- Spare, Inactive, and In Transition Nodes ---

Device Group Name   Spare Nodes   Inactive Nodes   In Transistion Nodes
-----------------   -----------   --------------   --------------------
oraset              -             -                -


--- Multi-owner Device Group Status ---

Device Group Name           Node Name           Status
-----------------           ---------           ------

=== Cluster Resource Groups ===

Group Name       Node Name       Suspended      State
----------       ---------       ---------      -----

=== Cluster Resources ===

Resource Name       Node Name       State       Status Message
-------------       ---------       -----       --------------

=== Cluster DID Devices ===

Device Instance              Node               Status
---------------              ----               ------
/dev/did/rdsk/d2             node- 2              Ok

/dev/did/rdsk/d3             node- 1              Ok
                             node- 2              Ok

/dev/did/rdsk/d5             node- 1              Ok


=== Zone Clusters ===

--- Zone Cluster Status ---

Name    Node Name    Zone HostName    Status    Zone Status
----    ---------    -------------    ------    -----------

и node-2
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
# /usr/cluster/bin/cluster status

=== Cluster Nodes ===

--- Node Status ---

Node Name                                       Status
---------                                       ------
node- 2                                           Online
node- 1                                           Online


=== Cluster Transport Paths ===

Endpoint1               Endpoint2               Status
---------               ---------               ------
node- 2 :e1000g2          node- 1 :e1000g2          Path online
node- 2 :e1000g1          node- 1 :e1000g1          Path online


=== Cluster Quorum ===

--- Quorum Votes Summary from latest node reconfiguration ---

            Needed   Present   Possible
            ------   -------   --------
             2          3           3 


--- Quorum Votes by Node (current status) ---

Node Name       Present       Possible       Status
---------       -------       --------       ------
node- 2            1               1               Online
node- 1            1               1               Online


--- Quorum Votes by Device (current status) ---

Device Name       Present      Possible      Status
-----------       -------      --------      ------
d3                 1              1              Online


=== Cluster Device Groups ===

--- Device Group Status ---

Device Group Name     Primary     Secondary     Status
-----------------     -------     ---------     ------
oraset                node- 1       node- 2         Online


--- Spare, Inactive, and In Transition Nodes ---

Device Group Name   Spare Nodes   Inactive Nodes   In Transistion Nodes
-----------------   -----------   --------------   --------------------
oraset              -             -                -


--- Multi-owner Device Group Status ---

Device Group Name           Node Name           Status
-----------------           ---------           ------

=== Cluster Resource Groups ===

Group Name       Node Name       Suspended      State
----------       ---------       ---------      -----

=== Cluster Resources ===

Resource Name       Node Name       State       Status Message
-------------       ---------       -----       --------------

=== Cluster DID Devices ===

Device Instance              Node               Status
---------------              ----               ------
/dev/did/rdsk/d2             node- 2              Ok

/dev/did/rdsk/d3             node- 1              Ok
                             node- 2              Ok

/dev/did/rdsk/d5             node- 1              Ok


=== Zone Clusters ===

--- Zone Cluster Status ---

Name    Node Name    Zone HostName    Status    Zone Status
----    ---------    -------------    ------    -----------

оракл стоит на первой ноде, в /u01/app база лежит в /u02/oradata

на всякий случай вывод с node-1:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
# find /* -name *alert*.log
/u01/app/admin/db/bdump/alert_db.log
# ls -ld /u01/app/bin/oracle
-rwsr-s--x   1 oracle   oinstall 132820944 Apr  4 17:06 /u01/app/bin/oracle
# metaset

Set name = oraset, Set number =  1 

Host                Owner
  node- 1              Yes
  node- 2              

Driv Dbase

d3   Yes

Содержимое /etc/lvm/md.tab:

Код: plaintext
1.
2.
3.
        oraset/d2       -m oraset/d12
        oraset/d12       1   1  /dev/did/rdsk/d3s0
        oraset/d0       -p oraset/d2 3G
        oraset/d1       -p oraset/d2 3G

Теперь идём в веб-интерфейс и сначала создаём highly-available storage. На вопрос "Select Shared Storage Type" из
Код: plaintext
1.
2.
Shared File System
Shared Device
Both Types
выбираю Both Types. Дальше, на вопрос "Select File-System Mount Points" выбираю обе точки монтирования /u01/app и /u02/oradata. Дальше, на вопрос "Select Global Device Groups" можно выбрать:
Код: plaintext
1.
dsk/d3 	Disk
oraset 	SVM
По умолчанию выбран только oraset, его и оставляю. Остальное по умолчанию и в итоге:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
The following Sun Cluster configuration will be created.
Information
To create the configuration, click Next. This operation might require several minutes to complete. Do not perform any further actions in this panel while this operation is in progress.
Resource Group Name: u01_app-rg
Primary Node: node- 2 
Potential Primary Nodes: node- 1 
Resource Name: u01_app-rs
File-System Mount Points:/u01/app, /u02/oradata
Global Device Groups:oraset
Теперь я не понял один момент - с какого перепугу он сделал primary node node-2, когда метасет смонтирован на node-1 и вся конфигурация происходит на node-1? Дальше визард валится: "Configuration of the highly available storage resource failed.
Communication with the common agent container or the web server lost during command execution. Log out of the Java Web Console, restart the common agent container and the console's web server, and try again." Пояснений никаких нет. Ок, пробую делать сразу, через визард configure Data Services for Applications для Oracle. В визарде выбираю опцию Server and Listener, в качестве Specify Oracle Home Directory визард сам предлагает по умолчанию /u01/app, аналогично на Specify Oracle System Identifier сам же предлагает выбрать db, как SID для ранее созданной базы. Дальше прописываю путь к alert log: /u01/app/admin/db/bdump/alert_db.log и connect string: oracle/P@ssw0rd.
Дальше Configure Highly Available Storage Resources, на вопрос Select Shared Storage Type выбираю Both Types. Аналогично предыдущей попытке выбираю /u01 и/u02, выбираю oraset в секции Select global device groups for use by your data files. Получаю сообщение "Added /u01/app,/u02/oradata,oraset to the table of highly available storage resources.".
Configure Logical Hostname Resource. Беру из /etc/hosts ранее добавленную запись dbcls и получаю вот такое сообщение:
IPMP Group Warning
Unable to find suitable IPMP groups for plumbing the hostnames on the specified nodes node-2,node-1. The wizard might be able to create a default IPMP group when there is one adapter configured for the subnet. Click Next to let the wizard create the IPMP groups.
Жму Next. Вроде получается:
Added dbcls to the table of logical hostname resources.
Дальше визард предлагает пересмотреть, что получилось (Review Sun Cluster Objects), оставляю всё так, как создал визард.
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
he following Sun Cluster configuration will be created.
InformationInformation
To create the configuration, click Next. This operation might require several minutes to complete. Do not perform any further actions in this panel while this operation is in progress.
Global Device Paths:
	
oraset
Highly Available Storage Resources:
	
u01_app_u02_oradata-rs
Resource Group Name:
	
oracle-rg
File-System Mount Points:
	
/u01/app,/u02/oradata
Listener Resource Name:
	
oracle_listener-rs
Server Resource Name:
	
oracle_serverdb-rs
Node List:
	
node- 2 ,node- 1 
Logical Hostname:
	
dbcls
Logical Hostname Resource:
	
dbcls-rs
IPMP Group List:
	
sc_ipmp0@node- 2 ,sc_ipmp0@node- 1

Next. Через минут десять получаю "Configuration of Sun Cluster HA for Oracle failed
clresource: (C748634) Resource group oracle-rg failed to start on chosen node and might fail over to other node(s) Non-zero exit status"
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
The following Sun Cluster commands were run 

Configuration commands...

/usr/cluster/bin/clresourcegroup create -p nodelist=node- 2 ,node- 1  oracle-rg 

/usr/cluster/bin/clresourcetype register SUNW.HAStoragePlus: 8  

/usr/cluster/bin/clresource create -t SUNW.HAStoragePlus: 8  -g oracle-rg -p FilesystemMountPoints=/u01/app,/u02/oradata -p GlobalDevicePaths=oraset u01_app_u02_oradata-rs 

/usr/cluster/bin/clresourcegroup online -emM oracle-rg 

/usr/cluster/bin/clreslogicalhostname create -g oracle-rg -h dbcls -N sc_ipmp0@node- 2 ,sc_ipmp0@node- 1  dbcls-rs 

/usr/cluster/bin/clresourcegroup online -emM oracle-rg 

/usr/cluster/bin/clresource create -t SUNW.oracle_server: 6  -g oracle-rg -p Resource_dependencies=dbcls-rs,u01_app_u02_oradata-rs -p ORACLE_HOME=/u01/app -p ORACLE_SID=db -p Alert_log_file=/u01/app/admin/db/bdump/alert_db.log -p Connect_string=oracle/P@ssw0rd -p Debug_level= 1  oracle_serverdb-rs


Unable to roll back commands


/usr/cluster/bin/clresource disable u01_app_u02_oradata-rs

clresource:  (C983921) Skipping resource u01_app_u02_oradata-rs because its resource group oracle-rg is undergoing a reconfiguration.

Дальше вывод с node-1:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
113.
114.
115.
116.
117.
118.
119.
120.
121.
122.
123.
124.
125.
126.
127.
128.
129.
130.
131.
132.
133.
134.
135.
136.
137.
138.
# /usr/cluster/bin/cluster check
  Some checks might take a few moments to run (use -v to see progress)...
  Maximum severity of all violations: Critical
  Reports in: /var/cluster/logs/cluster_check/ 2010 - 04 - 04 . 18 : 14 : 22 /

# /usr/cluster/bin/cluster status

=== Cluster Nodes ===

--- Node Status ---

Node Name                                       Status
---------                                       ------
node- 2                                           Online
node- 1                                           Online


=== Cluster Transport Paths ===

Endpoint1               Endpoint2               Status
---------               ---------               ------
node- 2 :e1000g2          node- 1 :e1000g2          Path online
node- 2 :e1000g1          node- 1 :e1000g1          Path online


=== Cluster Quorum ===

--- Quorum Votes Summary from latest node reconfiguration ---

            Needed   Present   Possible
            ------   -------   --------
             2          3           3 


--- Quorum Votes by Node (current status) ---

Node Name       Present       Possible       Status
---------       -------       --------       ------
node- 2            1               1               Online
node- 1            1               1               Online


--- Quorum Votes by Device (current status) ---

Device Name       Present      Possible      Status
-----------       -------      --------      ------
d3                 1              1              Online


=== Cluster Device Groups ===

--- Device Group Status ---

Device Group Name     Primary     Secondary     Status
-----------------     -------     ---------     ------
oraset                node- 2       node- 1         Online


--- Spare, Inactive, and In Transition Nodes ---

Device Group Name   Spare Nodes   Inactive Nodes   In Transistion Nodes
-----------------   -----------   --------------   --------------------
oraset              -             -                -


--- Multi-owner Device Group Status ---

Device Group Name           Node Name           Status
-----------------           ---------           ------

=== Cluster Resource Groups ===

Group Name       Node Name       Suspended      State
----------       ---------       ---------      -----
oracle-rg        node- 2           No             Offline
                 node- 1           No             Offline


=== Cluster Resources ===

Resource Name             Node Name   State     Status Message
-------------             ---------   -----     --------------
u01_app_u02_oradata-rs    node- 2       Offline   Offline
                          node- 1       Offline   Offline

dbcls-rs                  node- 2       Offline   Offline - LogicalHostname offline.
                          node- 1       Offline   Offline - LogicalHostname offline.

oracle_serverdb-rs        node- 2       Offline   Offline
                          node- 1       Offline   Offline


=== Cluster DID Devices ===

Device Instance              Node               Status
---------------              ----               ------
/dev/did/rdsk/d2             node- 2              Ok

/dev/did/rdsk/d3             node- 1              Ok
                             node- 2              Ok

/dev/did/rdsk/d5             node- 1              Ok


=== Zone Clusters ===

--- Zone Cluster Status ---

Name    Node Name    Zone HostName    Status    Zone Status
----    ---------    -------------    ------    -----------
# mount
/ on /dev/dsk/c1t0d0s0 read/write/setuid/devices/intr/largefiles/logging/xattr/onerror=panic/dev= 800000  on Fri Apr   2   18 : 42 : 12   2010 
/devices on /devices read/write/setuid/devices/dev=47c0000 on Fri Apr   2   18 : 42 : 03   2010 
/system/contract on ctfs read/write/setuid/devices/dev= 4800001  on Fri Apr   2   18 : 42 : 03   2010 
/proc on proc read/write/setuid/devices/dev= 4840000  on Fri Apr   2   18 : 42 : 03   2010 
/etc/mnttab on mnttab read/write/setuid/devices/dev= 4880001  on Fri Apr   2   18 : 42 : 03   2010 
/etc/svc/volatile on swap read/write/setuid/devices/xattr/dev=48c0001 on Fri Apr   2   18 : 42 : 03   2010 
/system/object on objfs read/write/setuid/devices/dev= 4900001  on Fri Apr   2   18 : 42 : 03   2010 
/etc/dfs/sharetab on sharefs read/write/setuid/devices/dev= 4940001  on Fri Apr   2   18 : 42 : 03   2010 
/lib/libc.so. 1  on /usr/lib/libc/libc_hwcap1.so. 1  read/write/setuid/devices/dev= 800000  on Fri Apr   2   18 : 42 : 08   2010 
/dev/fd on fd read/write/setuid/devices/dev=4ac0001 on Fri Apr   2   18 : 42 : 12   2010 
/tmp on swap read/write/setuid/devices/xattr/dev=48c0002 on Fri Apr   2   18 : 42 : 17   2010 
/var/run on swap read/write/setuid/devices/xattr/dev=48c0003 on Fri Apr   2   18 : 42 : 17   2010 
/export/home on /dev/dsk/c1t0d0s7 read/write/setuid/devices/intr/largefiles/logging/xattr/onerror=panic/dev= 800007  on Fri Apr   2   18 : 42 : 58   2010 
/global/.devices/node@ 1  on /dev/did/dsk/d2s3 read/write/setuid/devices/intr/largefiles/logging/noquota/global/xattr/nodfratime/onerror=panic/dev=3bc0043 on Fri Apr   2   18 : 43 : 00   2010 
/global/.devices/node@ 2  on /dev/did/dsk/d5s3 read/write/setuid/devices/intr/largefiles/logging/noquota/global/xattr/nodfratime/onerror=panic/dev=3bc00a3 on Fri Apr   2   18 : 43 : 00   2010 
/cdrom/sc_32u3_dvd on /vol/dev/dsk/c0t0d0/sc_32u3_dvd read only/nosetuid/nodevices/noglobal/maplcase/rr/traildot/dev= 1740002  on Fri Apr   2   18 : 43 : 07   2010 
/home/oracle on /export/home/oracle read/write/setuid/devices/dev= 800007  on Fri Apr   2   18 : 43 : 46   2010 
# metaset 

Set name = oraset, Set number =  1 

Host                Owner
  node- 1              
  node- 2              

Driv Dbase

d3   Yes

В общем, я в тупике :(
...
Рейтинг: 0 / 0
04.04.2010, 15:17
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36561193
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Код: plaintext
1.
2.
3.
4.
5.
# /usr/cluster/bin/clresourcegroup online -emM oracle-rg
(C348385) WARNING: Cannot enable monitoring on resource u01_app_u02_oradata-rs because it already has monitoring enabled. To force the monitor to restart, disable monitoring using 'clresource unmonitor u01_app_u02_oradata-rs' and re-enable monitoring using 'clresource monitor u01_app_u02_oradata-rs'.
(C348385) WARNING: Cannot enable monitoring on resource dbcls-rs because it already has monitoring enabled. To force the monitor to restart, disable monitoring using 'clresource unmonitor dbcls-rs' and re-enable monitoring using 'clresource monitor dbcls-rs'.
(C348385) WARNING: Cannot enable monitoring on resource oracle_serverdb-rs because it already has monitoring enabled. To force the monitor to restart, disable monitoring using 'clresource unmonitor oracle_serverdb-rs' and re-enable monitoring using 'clresource monitor oracle_serverdb-rs'.
clresourcegroup:  (C748634) Resource group oracle-rg failed to start on chosen node and might fail over to other node(s)
clresourcegroup:  (C135343) No primary node could be found for resource group oracle-rg; it remains offline
Ерунда какая-то...

Я вот думаю, может быть, я просто занимаюсь ерундой и внутри ESX такая конфигурация просто не будет работать по определению?
...
Рейтинг: 0 / 0
05.04.2010, 14:11
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36561250
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
у меня на Virtualbox более-менее работает. Правда, без Oracle и на solaris express (i.e. 11) с Sun cluster express.

А cldevicegroup switch делал? И в логах (dmesg) есть чего интересное? И там где вывод cluster check есть чего интересное?

Ну и руководство как бы говорит, что сначала редактирование md.tab, metainit и только потом newfs, mount и установка софта.
...
Рейтинг: 0 / 0
05.04.2010, 14:36
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36561339
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
113.
# /usr/cluster/bin/clresourcegroup switch -n node- 1  oracle-rg
clresourcegroup:  (C748634) Resource group oracle-rg failed to start on chosen node and might fail over to other node(s)
#dmesg
...........
Apr   5   18 : 03 : 17  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hafoip_prenet_start> for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 300 > seconds
Apr   5   18 : 03 : 17  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hafoip_prenet_start> completed successfully for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 300  seconds>
Apr   5   18 : 03 : 17  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hastorageplus_prenet_start> for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 1800 > seconds
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hastorageplus_prenet_start> completed successfully for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 1800  seconds>
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hafoip_start> for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 500 > seconds
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hastorageplus_monitor_start> for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 90 > seconds
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hastorageplus_monitor_start> completed successfully for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 90  seconds>
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hafoip_start> completed successfully for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 500  seconds>
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <bin/oracle_server_start> for resource <oracle_serverdb-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 600 > seconds
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hafoip_monitor_start> for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 300 > seconds
Apr   5   18 : 03 : 18  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hafoip_monitor_start> completed successfully for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 300  seconds>
Apr   5   18 : 03 : 22  node- 1  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: [ID  876834  daemon.error] Could not start server
Apr   5   18 : 03 : 22  node- 1  Cluster.RGM.global.rgmd: [ID  938318  daemon.error] Method <bin/oracle_server_start> failed on resource <oracle_serverdb-rs> in resource group <oracle-rg> [exit code < 1 >, time used:  0 % of timeout < 600  seconds>] 
Apr   5   18 : 03 : 22  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <bin/oracle_server_stop> for resource <oracle_serverdb-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 600 > seconds
Apr   5   18 : 03 : 22  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hafoip_monitor_stop> for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 300 > seconds
Apr   5   18 : 03 : 22  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hastorageplus_monitor_stop> for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 90 > seconds
Apr   5   18 : 03 : 22  node- 1  Cluster.RGM.global.rgmd: [ID  652764  daemon.notice] libsecurity, door_call: Resource temporarily unavailable; will retry
Apr   5   18 : 03 : 22  node- 1  last message repeated  1  time
Apr   5   18 : 03 : 23  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hastorageplus_monitor_stop> completed successfully for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  1 % of timeout < 90  seconds>
Apr   5   18 : 03 : 23  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hafoip_monitor_stop> completed successfully for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 300  seconds>
Apr   5   18 : 03 : 24  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <bin/oracle_server_stop> completed successfully for resource <oracle_serverdb-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 600  seconds>
Apr   5   18 : 03 : 24  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hafoip_stop> for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 300 > seconds
Apr   5   18 : 03 : 24  node- 1  ip: [ID  678092  kern.notice] TCP_IOC_ABORT_CONN: local =  172 . 030 . 008 . 051 : 0 , remote =  000 . 000 . 000 . 000 : 0 , start = - 2 , end =  6 
Apr   5   18 : 03 : 24  node- 1  ip: [ID  302654  kern.notice] TCP_IOC_ABORT_CONN: aborted  0  connection 
Apr   5   18 : 03 : 24  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hafoip_stop> completed successfully for resource <dbcls-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 300  seconds>
Apr   5   18 : 03 : 24  node- 1  Cluster.RGM.global.rgmd: [ID  224900  daemon.notice] launching method <hastorageplus_postnet_stop> for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, timeout < 1800 > seconds
Apr   5   18 : 03 : 24  node- 1  Cluster.RGM.global.rgmd: [ID  515159  daemon.notice] method <hastorageplus_postnet_stop> completed successfully for resource <u01_app_u02_oradata-rs>, resource group <oracle-rg>, node <node- 1 >, time used:  0 % of timeout < 1800  seconds>
# date
Mon Apr   5   18 : 04 : 25  GMT+ 4   2010 
# /usr/cluster/bin/cluster check -v
  initializing...
  initializing xml output...
  loading auxiliary data...
  starting check run...
     node- 2 , node- 1 :     M6708613.... starting:  vxio major numbers are not consistent across...
     node- 2 , node- 1 :     M6708613       not applicable
     node- 2 :     S6708496.... starting:  Cluster node ( 3 . 1  or later) OpenBoot Prom (O...
     node- 2 :     S6708496       not applicable
     node- 1 :     S6708496.... starting:  Cluster node ( 3 . 1  or later) OpenBoot Prom (O...
     node- 1 :     S6708496       not applicable
     node- 2 , node- 1 :     M6336822.... starting:  Global filesystem /etc/vfstab entries are no...
     node- 2 , node- 1 :     M6336822       passed
     node- 2 :     S6708255.... starting:  The nsswitch.conf file 'hosts' database entr...
     node- 2 :     S6708255       passed
     node- 1 :     S6708255.... starting:  The nsswitch.conf file 'hosts' database entr...
     node- 1 :     S6708255       passed
     node- 2 :     S6708479.... starting:  The /etc/system rpcmod:svc_default_stksize p...
     node- 2 :     S6708479       passed
     node- 1 :     S6708479.... starting:  The /etc/system rpcmod:svc_default_stksize p...
     node- 1 :     S6708479       passed
     node- 2 :     S6708586.... starting:  The nsswitch.conf file "netmasks" database e...
     node- 2 :     S6708586       passed
     node- 1 :     S6708586.... starting:  The nsswitch.conf file "netmasks" database e...
     node- 1 :     S6708586       passed
     node- 2 :     S6708502.... starting:  Unsupported Real Time processes are running ...
     node- 2 :     S6708502       passed
     node- 1 :     S6708502.... starting:  Unsupported Real Time processes are running ...
     node- 1 :     S6708502       passed
     node- 2 :     S6708599.... starting:  Sun Cluster node does not have a mount point...
     node- 2 :     S6708599       passed
     node- 1 :     S6708599.... starting:  Sun Cluster node does not have a mount point...
     node- 1 :     S6708599       passed
     node- 2 :     S6708605.... starting:  The /dev/rmt directory is missing.          
     node- 2 :     S6708605       passed
     node- 1 :     S6708605.... starting:  The /dev/rmt directory is missing.          
     node- 1 :     S6708605       passed
     node- 2 :     S6708589.... starting:  The nsswitch.conf file "services" database e...
     node- 2 :     S6708589       passed
     node- 1 :     S6708589.... starting:  The nsswitch.conf file "services" database e...
     node- 1 :     S6708589       passed
     node- 2 :     S6708592.... starting:  The nsswitch.conf file "group" database entr...
     node- 2 :     S6708592       passed
     node- 1 :     S6708592.... starting:  The nsswitch.conf file "group" database entr...
     node- 1 :     S6708592       passed
     node- 2 :     S6708606.... starting:  Multiple network interfaces on a single subn...
     node- 2 :     S6708606       passed
     node- 1 :     S6708606.... starting:  Multiple network interfaces on a single subn...
     node- 1 :     S6708606       passed
     node- 2 :     S6708644.... starting:  Global Veritas File Systems (VxFS) without l...
     node- 2 :     S6708644       not applicable
     node- 1 :     S6708644.... starting:  Global Veritas File Systems (VxFS) without l...
     node- 1 :     S6708644       not applicable
     node- 2 :     S6708638.... starting:  Node has insufficient physical memory.      
     node- 2 :     S6708638       passed
     node- 1 :     S6708638.... starting:  Node has insufficient physical memory.      
     node- 1 :     S6708638       passed
     node- 2 :     S6708641.... starting:  Cluster failover/switchover might fail becau...
     node- 2 :     S6708641       passed
     node- 1 :     S6708641.... starting:  Cluster failover/switchover might fail becau...
     node- 1 :     S6708641       passed
     node- 2 :     S6708689.... starting:  One or more Sun Cluster resources cannot be ...
     node- 2 :     S6708689       violated
     node- 1 :     S6708689.... starting:  One or more Sun Cluster resources cannot be ...
     node- 1 :     S6708689       violated
     node- 2 :     S6708642.... starting:  /proc fails to mount periodically during reb...
        searching /var/adm/messages
        searching /var/adm/messages. 0 
        searching /var/adm/messages. 1 
     node- 2 :     S6708642       passed
     node- 1 :     S6708642.... starting:  /proc fails to mount periodically during reb...
        searching /var/adm/messages
        searching /var/adm/messages. 0 
        searching /var/adm/messages. 1 
     node- 1 :     S6708642       passed
  finished check run
  finishing xml output...
  Maximum severity of all violations: Critical
  Reports in: /var/cluster/logs/cluster_check/ 2010 - 04 - 05 . 18 : 05 : 33 /
  cleaning up...

Вечерком попробую сделать кластер заново, точно соблюдая последовательность.
...
Рейтинг: 0 / 0
05.04.2010, 15:08
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36562712
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
авторApr 5 18:03:18 node-1 Cluster.RGM.global.rgmd: [ID 515159 daemon.notice] method <hafoip_monitor_start> completed successfully for resource <dbcls-rs>, resource group <oracle-rg>, node <node-1>, time used: 0% of timeout <300 seconds>
Apr 5 18:03:22 node-1 SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: [ID 876834 daemon.error] Could not start server
Apr 5 18:03:22 node-1 Cluster.RGM.global.rgmd: [ID 938318 daemon.error] Method <bin/oracle_server_start> failed on resource <oracle_serverdb-rs> in resource group <oracle-rg> [exit code <1>, time used: 0% of timeout <600 seconds>]


Это он не может Oracle запустить почему-то. См. файл /var/opt/SUNWscor/oracle_server/message_log.oracle_rg (или как-то там рядом)
...
Рейтинг: 0 / 0
06.04.2010, 11:06
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36562829
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
О, а вот в логе очень интересно:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
Enter user-name: Enter password: 
ERROR:
ORA- 01005 : null password given; logon denied


Enter user-name: 

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Mon Apr  5   18 : 03 : 22   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
SP2- 0157 : unable to CONNECT to ORACLE after  3  attempts, exiting SQL*Plus
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage startup FALSE
Apr  05   18 : 03 : 22  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Could not start server
Apr  05   18 : 03 : 24  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute shutdown commands
Apr  05   18 : 03 : 24  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Server is not running. Calling shutdown abort to clear shared memory (if any)
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Mon Apr  5   18 : 03 : 24   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort
Apr  05   18 : 05 : 49  SC[SUNWscor.oracle_server.validate]:oracle-rg:oracle_serverdb-rs: Validate method invoked on resource oracle_serverdb-rs.
Apr  05   18 : 05 : 49  SC[SUNWscor.oracle_server.validate]:oracle-rg:oracle_serverdb-rs: Validation failed. ORACLE binaries not found ORACLE_HOME=/u01/app
Apr  05   18 : 05 : 49  SC[SUNWscor.oracle_server.validate]:oracle-rg:oracle_serverdb-rs: ALERT_LOG_FILE /u01/app/admin/db/bdump/alert_db.log doesn't exist
Apr  05   18 : 05 : 49  SC[SUNWscor.oracle_server.validate]:oracle-rg:oracle_serverdb-rs: Validation failed. Neither default PARAMETER_FILE: nor Validation failed. Neither default PARAMETER_FILE: server Validation failed. Neither default PARAMETER_FILE: PARAMETER_FILE: Validation failed. Neither default PARAMETER_FILE: %s Validation failed. Neither default PARAMETER_FILE: exists Validation failed. Neither default PARAMETER_FILE: /u01/app/dbs/initdb.ora Validation failed. Neither default PARAMETER_FILE: /u01/app/dbs/spfiledb.ora 
Apr  05   18 : 05 : 49  SC[SUNWscor.oracle_server.validate]:oracle-rg:oracle_serverdb-rs: This resource depends on a HAStoragePlus resouce that is not online. Unable to perform validations.

Насколько я понял, проблемы с авторизацией в оракле. Вопрос: я правильно понял, что надо давать логон\пароль от операционной системы, а не от SYSDBA, например?
...
Рейтинг: 0 / 0
06.04.2010, 11:32
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36563015
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
Oracle он должен запускать через ОС аутентификацию. То есть, аналогично как если написать su oracle, там sqlplus и в нём startup.
Может, на второй ноде забыли пользователя oracle с группами dba/oinstall в solaris завести?

А логин-пароль ему указывается для ораклового юзера, Sun cluster туда будет ходить его мониторить. Перезапускать если здох и тд.
...
Рейтинг: 0 / 0
06.04.2010, 12:25
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36563141
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Так-так-так... На второй ноде юзер не был вообще ни в одной группе, хотя я точно помню, что добавлял его туда через SMC... Попробовал ещё раз сделать /usr/cluster/bin/clresourcegroup online -emM oracle-rg получил
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
113.
114.
115.
116.
117.
118.
119.
120.
121.
122.
123.
124.
125.
126.
127.
128.
129.
130.
Apr  06   14 : 49 : 32  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Starting Oracle server.
Apr  06   14 : 49 : 32  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute start commands
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 49 : 36   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 49 : 43   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: Enter password: 
ERROR:
ORA- 01005 : null password given; logon denied


Enter user-name: 

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 49 : 45   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
SP2- 0157 : unable to CONNECT to ORACLE after  3  attempts, exiting SQL*Plus
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage startup FALSE
Apr  06   14 : 49 : 45  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Could not start server
Apr  06   14 : 49 : 47  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute shutdown commands
Apr  06   14 : 49 : 47  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Server is not running. Calling shutdown abort to clear shared memory (if any)
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 49 : 47   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort
Apr  06   14 : 49 : 51  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Starting Oracle server.
Apr  06   14 : 49 : 51  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute start commands
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 49 : 55   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 50 : 05   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: Enter password: 
ERROR:
ORA- 01005 : null password given; logon denied


Enter user-name: 

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 50 : 07   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
SP2- 0157 : unable to CONNECT to ORACLE after  3  attempts, exiting SQL*Plus
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage startup FALSE
Apr  06   14 : 50 : 07  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Could not start server
Apr  06   14 : 50 : 08  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute shutdown commands
Apr  06   14 : 50 : 08  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Server is not running. Calling shutdown abort to clear shared memory (if any)
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   14 : 50 : 09   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

ERROR:
ORA- 01031 : insufficient privileges


Enter user-name: SP2- 0306 : Invalid option.
Usage: CONN[ECT] [logon] [AS {SYSDBA|SYSOPER}]
where <logon>  ::= <username>[/<password>][@<connect_identifier>] | /
Enter user-name: Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort
на обоих нодах /etc/group выглядит теперь одинаково:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
root:: 0 :
other:: 1 :root
bin:: 2 :daemon,root
sys:: 3 :bin,adm,root
adm:: 4 :daemon,root
uucp:: 5 :root
mail:: 6 :root
tty:: 7 :adm,root
lp:: 8 :adm,root
nuucp:: 9 :root
staff:: 10 :
daemon:: 12 :root
sysadmin:: 14 :
smmsp:: 25 :
gdm:: 50 :
webservd:: 80 :
postgres:: 90 :
nobody:: 60001 :
noaccess:: 60002 :
nogroup:: 65534 :
oinstall:: 100 :oracle
dba:: 101 :oracle
oper:: 102 :oracle

Попробовал вручную зайти в sqlplus:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
-bash- 3 . 00 $ sqlplus

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   15 : 58 : 04   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Enter user-name: sysdba
Enter password: 
ERROR:
ORA- 12162 : TNS:net service name is incorrectly specified

localhost:1158/em тоже не отвечает - по-видимому, после размонтирования /u01 во время неудачного запуска кластера.
...
Рейтинг: 0 / 0
06.04.2010, 13:02
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36563200
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
ну, надо же $ORACLE_SID нормально выставить же!
...
Рейтинг: 0 / 0
06.04.2010, 13:19
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36563280
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Да, oracle_sid таки не был установлен. Пробуем ещё раз:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
113.
114.
115.
116.
117.
118.
119.
120.
121.
122.
123.
124.
125.
126.
127.
128.
129.
130.
131.
132.
133.
134.
135.
136.
137.
138.
139.
140.
141.
142.
143.
Apr  06   16 : 07 : 10  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Starting Oracle server.
Apr  06   16 : 07 : 10  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute start commands
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 10   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> ORACLE instance shut down.
SQL> Disconnected
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 12   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> ORA- 27102 : out of memory
Solaris-AMD64 Error:  22 : Invalid argument
SQL> Disconnected

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 17   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> grant select on v_$sysstat to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> grant select on v_$archive_dest to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> grant select on v_$database to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> grant select on v_$version to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> Disconnected
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage startup FALSE
Apr  06   16 : 07 : 17  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Could not start server
Apr  06   16 : 07 : 19  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute shutdown commands
Apr  06   16 : 07 : 19  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Server is not running. Calling shutdown abort to clear shared memory (if any)
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 19   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> ORACLE instance shut down.
SQL> Disconnected
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort
Apr  06   16 : 07 : 23  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Starting Oracle server.
Apr  06   16 : 07 : 23  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute start commands
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 24   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> ORACLE instance shut down.
SQL> Disconnected
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 26   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> ORA- 27102 : out of memory
Solaris-AMD64 Error:  22 : Invalid argument
SQL> Disconnected

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 29   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> grant select on v_$sysstat to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> grant select on v_$archive_dest to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> grant select on v_$database to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> grant select on v_$version to oracle
*
ERROR at line  1 :
ORA- 01034 : ORACLE not available


SQL> Disconnected
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage startup FALSE
Apr  06   16 : 07 : 29  SC[SUNWscor.oracle_server.start]:oracle-rg:oracle_serverdb-rs: Could not start server
Apr  06   16 : 07 : 30  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Using method 'run_setuid_prog' to execute shutdown commands
Apr  06   16 : 07 : 30  SC[SUNWscor.oracle_server.stop]:oracle-rg:oracle_serverdb-rs: Server is not running. Calling shutdown abort to clear shared memory (if any)
Shutting down Oracle instance: db  : /u01/app.

SQL*Plus: Release  10 . 2 . 0 . 1 . 0  - Production on Tue Apr  6   16 : 07 : 30   2010 

Copyright (c)  1982 ,  2005 , Oracle.  All rights reserved.

Connected to an idle instance.

SQL> ORACLE instance shut down.
SQL> Disconnected
Executing command: /opt/SUNWscor/oracle_server/bin/oracle_server_manage shutdown abort
# date
Tue Apr   6   16 : 43 : 12  GMT+ 4   2010 
# echo $ORACLE_SID
db

Что-то я не понял, мои действия clresourcegroup online -emM oracle-rg никак не отразились в логе, судя по timestamp?..
...
Рейтинг: 0 / 0
06.04.2010, 13:47
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36563294
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
в out-of-memory какое слово перевести? Зачем пускать скрипты на неработающей базе?
Ну и запуск oracle от root - тоже непонятно.
...
Рейтинг: 0 / 0
06.04.2010, 13:51
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36563388
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Насчёт out-of-memory, судя по всему был виноват smc, который изуродовал /etc/user_attr, это я поправил. В каждой машине на самом деле 4Gb, чего, полагаю, должно хватать.
Я подозреваю, что дело в самом оракле, так как em показывает, что ничего не запущено:
Listener status: Down
Agent Connection to Instance status: Failed

Попробовал сделать Perform Recovery, получил отлуп: The database is currently OPEN. However, EM cannot connect to the database due to the above error. Please fix the above error and try again.

Я так думаю, что всё-таки кластер должен работать нормально а проблема в том, что орацль не поднимается из-за предыдущих некорректных попыток.
...
Рейтинг: 0 / 0
06.04.2010, 14:14
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36563544
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
em не поднимается потому что листенер не работает. Для него нужен отдельный ресурс:
Код: plaintext
1.
2.
3.
4.
5.
6.
clresource create -t SUNW.oracle_listener -g oracle-rg -p \
Resource_dependencies=u01_app_u02_oradata-rs -p \
ORACLE_HOME=/u01/app -p Listener_name=LISTENER \
oracle_listener-rs

clrg online -emM oracle-rg

А out of memory может вылезать потому что настройки shmem не были сделаны. Те, которые через projmod надо делать.
...
Рейтинг: 0 / 0
06.04.2010, 15:05
| Ответить | Цитировать | Написать  
Solaris Cluster + Oracle 11g disk config
    #36563652
z3r0c0l
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
z3r0c0l
Гость
Мутаген,

насчёт запуска скриптов на неработающей базе: это была цитата из лога, так что скрипты не я запускал :).

Теперь, насчёт em: я снёс полностью базу и ресурсы в кластере. Создал базу заново, em заработал, показал, что база в дауне, листенер в дауне. Запускать я ничего не стал, сразу попробовал сконфигурировать кластер. Создал все ресурсы, получил уже стандартный ответ:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
Configuration of Sun Cluster HA for Oracle failed
clresource: (C748634) Resource group oracle-rg failed to start on chosen node and might fail over to other node(s) Non-zero exit status

The following Sun Cluster commands were run 

Configuration commands...

/usr/cluster/bin/clresourcegroup create -p nodelist=node- 2 ,node- 1  oracle-rg 

/usr/cluster/bin/clresource create -t SUNW.HAStoragePlus: 8  -g oracle-rg -p FilesystemMountPoints=/u01/app,/u02/oradata -p GlobalDevicePaths=oraset u01_app_u02_oradata-rs 

/usr/cluster/bin/clresourcegroup online -emM oracle-rg 

/usr/cluster/bin/clreslogicalhostname create -g oracle-rg -h dbcls -N sc_ipmp0@node- 2 ,sc_ipmp0@node- 1  dbcls-rs 

/usr/cluster/bin/clresourcegroup online -emM oracle-rg 

/usr/cluster/bin/clresource create -t SUNW.oracle_server: 6  -g oracle-rg -p Resource_dependencies=dbcls-rs,u01_app_u02_oradata-rs -p ORACLE_HOME=/u01/app -p ORACLE_SID=db -p Alert_log_file=/u01/app/rdbms/log/alert_db.log -p Connect_string=oracle/P@ssw0rd -p Debug_level= 1  oracle_serverdb-rs


Unable to roll back commands


/usr/cluster/bin/clresource disable u01_app_u02_oradata-rs

clresource:  (C983921) Skipping resource u01_app_u02_oradata-rs because its resource group oracle-rg is undergoing a reconfiguration

out-of-memory случилось от того, что smc зачем-то отредактировал /etc/user_attr и удалил оттуда строчку с oracle::::project=group.dba со сконфигурированными shmemами.

В общем, я начинаю думать, что надо наверное сначала поднимать ось, так как что-то явно напортачено :(
...
Рейтинг: 0 / 0
06.04.2010, 15:37
| Ответить | Цитировать | Написать  
46 сообщений из 46, показаны все 2 страниц
  все  
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Solaris Cluster + Oracle 11g disk config
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=25&tid=1485009]:
 0ms
get settings:
 8ms
get forum list:
 20ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 204ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 89ms
get tp. blocked users:
 2ms
others: 233ms
total:  577ms
созд. / загр.: 577ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]