powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / DB2v11.5.5 purescale.
21 сообщений из 46, страница 2 из 2
DB2v11.5.5 purescale.
    #40124002
curious_man
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
curious_man,
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40124003
curious_man
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
curious_man,
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40124004
curious_man
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
curious_man,
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40124005
curious_man
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
curious_man,
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40124006
curious_man
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
curious_man,
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40124039
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
автор
curious_man
Пошел дальше, но наткнулся на очередную проблему:
Прошел шаги 3.1-3.4 так:
(3) Post Installation tasks:
3.1
На хосте K1 от root сгенерил файл known_hosts
3.2
Скопировал этот файл по этим путям со след аттрибутами:
K1 - /etc/ssh/known_hosts(-rwxrwxrwx),/home/db2inst1/.ssh/known_hosts(group=db2iadm,owner=db2inst1,-rw-r--r--)
K2 - /etc/ssh/known_hosts(-rwxrwxrwx),/home/db2inst1/.ssh/known_hosts(db2iadm,db2inst1,-rw-r--r--)
K3 - /etc/ssh/known_hosts(-rwxrwxrwx)
3.3
Под пользователем db2inst1
обединил содержимое файлов K1:id_rsa.pub + K2:id_rsa.pub и положил в файл на K1 и K2:
/home/db2inst1/.ssh/authorized_keys(db2iadm,db2inst1,-rw-r--r--)
3.4
Под root запустил на K1,K2: ./setup_db2locssh db2inst1
Создались файлы:
root@76K1.pub (root,root,-rw-r--r--)
root@76K2.pub (root,root,-rw-r--r--)
Скопировал их в /var/db2/db2ssh обоих серверов K1,K2

Согласно CHECKPOINT 3 документации начинаю проверять как отзываются по SSH хосты.И SSH не работает везде.
Прикрепил файлом. В чкм может быть ошибка, может что неправильно по документации сделал?
Или может неправильно сгенерились файлы known_hosts,authorized_keys,root@76K1.pub?

В этой статье производятся какие-то ненужные действия. А вы еще и добавляете свои, которые даже там не были указаны, типа копирования в /etc/ssh/know_hosts.
Вкратце про то, что происходит: вам надо сконфигурировать либо беспарольный доступ по ssh на всех хостах c Db2 для root (по ip, длинному и короткому имени на всякий), либо беспарольный доступ с использованием вспомогательного пользователя, если из-за политик безопасности первое сделать нельзя.
В статье, видимо, описывается последний вариант, когда в качестве такого пользователя выбран владелец экземпляра db2, хотя это может быть любой non-root пользователь.
Базой для этой статьи, наверное, служит ссылка из документации, которой лучше пользоваться: Setting up db2locssh
Сделайте в точности шаги, описанные по ссылке, ничего от себя не добавляя. Можете тодже использовать в качестве этого пользователя владельца инстанса, если отдельного пользователя лень заводить.

Инструкция
1) на всех хостах запустить:
db2/linuxamd64/install/setup_db2locssh db2inst1
По паре ключей получили
в /var/db2/db2ssh/ - для root
в ~db2inst1/.ssh/ - для db2inst1

2) обменялись root@host.pub ключами, т.е. на каждом сервере должно быть:
ls -1 /var/db2/db2ssh/*.pub
root@76K1.pub
root
@76K2.pub

3) От db2inst1 со всех хостов собрали в один файл authorized_keys (он будет одинаковый для всех хостов) содержимое id_rsa.pub:
cat ~db2inst1/.ssh/id_rsa.pub >> authorized_keys
Скопировали его в ~db2inst1/.ssh/ на всех хостах, установили на него права 644

4) От db2inst1 сформировали known_hosts:
ssh-keyscan -t rsa 10.1.0.XX,76K1.fyre.ibm.com,76K1 >> known_hosts
ssh-keyscan -t rsa 10.1.0.XX,76K2.fyre.ibm.com,76K2 >> known_hosts
скопировали его на каждый в ~db2inst1/.ssh/

5) От db2inst1 проверили беспарольный доступ на все хосты:
ssh 76kx hostname
ssh 76kx.fyre.ibm.com hostname
ssh 10.1.0.XX hostname

6) От root проврили то же самое:
/var/db2/db2ssh/db2locssh 76kx hostname
/var/db2/db2ssh/db2locssh 76kx.fyre.ibm.com hostname
/var/db2/db2ssh/db2locssh 10.1.0.XX hostname

У вас почему-то сначала формируется authorized_keys для db2inst1 (вы что, ключи заранее сгенерировали чем-то что-ли?), а потом запускается ./setup_db2locssh db2inst1, который перебивает пару ключей для db2inst1. Получается, что в authorized_keys будут старые публичные ключи.
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40125478
curious_man
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mark Barinstein,

Сделал все как и написали. Получилось, теперь от root и db2inst1 работает корректно SSH для K1,K2.
Продолжил процесс установки. Остановился на создании инстанса от root на хосте K1:
nohup /opt/ibm/db2/V11.5/instance/db2icrt -d -m 76K1 -mnet 76K1 -cf 76K1 -cfnet 76K1 -m 76K2 -mnet 76K2 -cf 76K2 -cfnet 76K2 -instance_shared_dev /dev/sda2 -instance_shared_mount /boot -tbdev 10.1.0.98 -u db2fenc1 db2inst1 & exit

Экземпляр db2inst1 не создался. Ошибки прикрепляю архивом, но уже вижу, что
db2icrt.trc:
...
In the specified command, the path specified for the instance shared
mount point must be a new path and must not be a sub-directory of an
existing GPFS file system.
...
INTERACTIVE=YES
inst1.START_DURING_INSTALL=NO
FILE=/opt/ibm/db2/V11.5
INSTANCE=inst1
inst1.NAME=db2inst1
PROGRAM=db2icrt
NO_GENERATE=inst1.SVCENAME
NO_GENERATE=inst1.PORT_NUMBER
inst1.FENCED_USERNAME=db2fenc1
HOST=host1
inst1.MEMBER=host1
host1.HOSTNAME=76K1
host1.MEMBER_CLUSTER_INTERCONNECT_NETNAME=76K1
inst1.PREFERRED_PRIMARY_CF=host1
host1.CF_CLUSTER_INTERCONNECT_NETNAME=76K1
HOST=host2
inst1.MEMBER=host2
host2.HOSTNAME=76K2
host2.MEMBER_CLUSTER_INTERCONNECT_NETNAME=76K2
inst1.PREFERRED_SECONDARY_CF=host2
host2.CF_CLUSTER_INTERCONNECT_NETNAME=76K2
INSTANCE_SHARED_DEVICE_PATH=/dev/sda2
INSTANCE_SHARED_MOUNT=/boot

DB2_CLUSTER_SERVICES_TIEBREAKER_DEVICE_PATH=10.1.0.98
...

Видимо неправильно указал пути:
- instance_shared_dev /dev/sda2
- instance_shared_mount /boot

Тогда, как правильно?
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40125479
curious_man
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40125486
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
curious_man
In the specified command, the path specified for the instance shared
mount point must be a new path and must not be a sub-directory of an
existing GPFS file system.

У вас:
Код: plaintext
1.
/dev/sda2 -> /boot
/dev/sda1 -> /boot/efi

Т.е. вы пытаетесь указать для новой кластерной файловой системы точку монтирования, в подкаталоге которой уже есть точка монтирования другой. Т.е. вы хотите, чтоб новая точка монтирования перекрыла старую /boot/efi, или чтоб сначала смонтировалась GPFS /boot, а потом в подкаталоге появилась /boot/efi для /dev/sda1?
Не думаю, чтоб вы реально этого хотели, и хорошо, что db2icrt отказалась так делать.

На всех хостах db2 создайте новый каталог в корневой файловой системе, например:
Код: plaintext
mkdir /db2data
и укажите его в:
Код: plaintext
-instance_shared_mount /db2data
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40125544
curious_man
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mark Barinstein,

Создал на K1,K2 в корне папку /db2data
На K1 попробовал 2 варианта c /dev/sda2->/boot и /dev/sda1->/boot/efi Пример:

/opt/ibm/db2/V11.5/instance/db2icrt -d -m 76K1 -mnet 76K1 -cf 76K1 -cfnet 76K1 -m 76K2 -mnet 76K2 -cf 76K2 -cfnet 76K2 -instance_shared_dev /dev/sda2 -instance_shared_mount /db2data -tbdev 10.1.0.98 -u db2fenc1 db2inst1

/opt/ibm/db2/V11.5/instance/db2icrt -d -m 76K1 -mnet 76K1 -cf 76K1 -cfnet 76K1 -m 76K2 -mnet 76K2 -cf 76K2 -cfnet 76K2 -instance_shared_dev /dev/sda1 -instance_shared_mount /db2data -tbdev 10.1.0.98 -u db2fenc1 db2inst1

Файл ошибок прикрепляю. Может вообще демонтировать /dev/sda1->/boot/efi ?
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40125545
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
curious_man,


Я невнимательно посмотрел сначала на ваши диски.
У вас же /dev/sdb - общий диск. Так ведь?
Если да, то зачем же вы указываете /dev/sdaX (разделы локального диска на каждом сервере) в качестве него?

Код: plaintext
ls -l /dev/disk/by-id | grep sdb

Если у вас на всех Db2 серверах одинаковый вывод от команды выше, то вам именно его надо указывать:

Код: plaintext
-instance_shared_dev /dev/sdb
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40125660
curious_man
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mark Barinstein,

Да, вывод командой одинаковый:
[root@76K1 ~]# ls -l /dev/disk/by-id | grep sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 scsi-1LIO-ORG_block_backend:3ef97ba4-a912-4b09-be5e-40b75e9ccb56 -> ../../sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 scsi-360014053ef97ba4a9124b09be5e40b75 -> ../../sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 scsi-SLIO-ORG_block_backend_3ef97ba4-a912-4b09-be5e-40b75e9ccb56 -> ../../sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 wwn-0x60014053ef97ba4a9124b09be5e40b75 -> ../../sdb

[root@76K2 ~]# ls -l /dev/disk/by-id | grep sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 scsi-1LIO-ORG_block_backend:3ef97ba4-a912-4b09-be5e-40b75e9ccb56 -> ../../sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 scsi-360014053ef97ba4a9124b09be5e40b75 -> ../../sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 scsi-SLIO-ORG_block_backend_3ef97ba4-a912-4b09-be5e-40b75e9ccb56 -> ../../sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 wwn-0x60014053ef97ba4a9124b09be5e40b75 -> ../../sdb

Запускаю создание экземпляра db2inst1 на K1:
/opt/ibm/db2/V11.5/instance/db2icrt -d -m 76K1 -mnet 76K1 -cf 76K1 -cfnet 76K1 -m 76K2 -mnet 76K2 -cf 76K2 -cfnet 76K2 -instance_shared_dev /dev/sdb -instance_shared_mount /db2data -tbdev 10.1.0.98 -u db2fenc1 db2inst1

db2icrt.log:
ERROR: DBI1474E The instance shared mount point path is invalid. Command:db2icrt.
Explanation:
In the specified command, the path specified for the instance shared
mount point must be a new path and must not be a sub-directory of an
existing GPFS file system.
User response:
Rerun the command specifying a new path for the instance shared mount
point.

Прикрепляю логи /tmp.
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40125668
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
curious_man,

Попробуйте удалить /db2path на обоих серверах. Может, оно само создаст этот каталог.
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40126329
curious_man
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mark Barinstein,

Удалил папки на обоих серверах /db2data. Пробую запустить снова.
Запускаю создание экземпляра db2inst1 на K1:
/opt/ibm/db2/V11.5/instance/db2icrt -d -m 76K1 -mnet 76K1 -cf 76K1 -cfnet 76K1 -m 76K2 -mnet 76K2 -cf 76K2 -cfnet 76K2 -instance_shared_dev /dev/sdb -instance_shared_mount /db2data -tbdev 10.1.0.98 -u db2fenc1 db2inst1

Несколько неожиданная ошибка. Логи прикрепил.
...
DBI1528E The installation failed because the product installation path
contains a version of a database product that is not compatible
with the version of the product on the installation image.
Installation path: /opt/ibm/db2/V11.5.
...

Т.е установленный db2 не совпадает с дистрибутивом? А при чем тут вообще это. И еще заметил, что на K1,K2 под пользователем команда db2level: command not found. Хотя я ожидал увидеть версию DB2.
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40126538
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
curious_man,

У вас в db2prereqcheckOut.log:
Код: plaintext
1.
2.
3.
4.
Requirement not matched for DB2 database "Server" with pureScale feature . Version: "11.5.6.0". 
Summary of prerequisites that are not met on the current system: 
DBT3514W  The db2prereqcheck utility failed to find the following 32-bit library file: "/lib/libpam.so*". 
DBT3514W  The db2prereqcheck utility failed to find the following 32-bit library file: "libstdc++.so.6". 

Запустите на обоих команды ниже, чтоб выяснить, в каких пакетах эти библиотеки:
Код: plaintext
1.
yum whatprovides /usr/lib/libpam.so
yum whatprovides /usr/lib/libstdc++.so.6

Скорее всего, это pam-devel.i686 и libstdc++.i686, т.е. надо:
Код: plaintext
yum install pam-devel.i686 libstdc++.i686 -y

Потом на обоих из каталога с дистрибутивом проверьте пререквизиты опять:
Код: plaintext
1.
2.
./db2prereqcheck -l -s
./db2prereqcheck -l -s -p
./db2/linuxamd64/tsamp/prereqSAM

Команды не должны ругаться на отсутствие необходимых пакетов.

Если инстанс не создан, то, конечно, никакого db2level под владельцем инстанса не будет доступно.
Посмотреть версию можно так:
Код: plaintext
1.
2.
3.
db2ls
#или
grep '^vrmf' /opt/ibm/db2/V11.5/.metadata/BASE_DB2_ENGINE/spec
Судя по трейсу, оно ругается на несоответствие версий.
Что на обоих хостах выдают команды выше?
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40127134
curious_man
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mark Barinstein,

Может библиотеку "/lib/libpam.so*" не нужно ставить? Как написано в доке:
You may ignore warnings for libpam* libraries as it is not required for core Db2 functionality.
• libpam.so.0 (32-bit) is required for Db2 database servers to run 32-bit nonSQL routines and JDBC type 2 driver applications in 32-bit JDK.
K1:
yum whatprovides /usr/lib/libpam.so
pam-devel-1.3.1-14.el8.i686 : Files needed for developing PAM-aware applications and modules for PAM
Repo : BaseOS
Matched from:
Filename : /usr/lib/libpam.so
yum whatprovides /usr/lib/libstdc++.so.6
libstdc++-8.4.1-1.el8.i686 : GNU Standard C++ Library
Repo : BaseOS
Matched from:
Filename : /usr/lib/libstdc++.so.6
Запускать установку обоих пакетов?
yum install pam-devel.i686 libstdc++.i686 -y

По поводу несовпадения версий DB2 на K1,K2 имеет место быть. На K1 поставил: 11.5.6.0 На K2 по ошибке поставил: 11.5.5.0
Посмотрел подробнее какие features установлены на K2->db2ls -q -b /opt/ibm/db2/V11.5
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
    Feature Response File ID             Level   Fix Pack   Feature Description
    ---------------------------------------------------------------------------------------------------------------------
    BASE_CLIENT                        11.5.5.0          0   Base client support
    JAVA_SUPPORT                       11.5.5.0          0   Java support
    SQL_PROCEDURES                     11.5.5.0          0   SQL procedures
    BASE_DB2_ENGINE                    11.5.5.0          0   Base server support
    DB2_DATA_SOURCE_SUPPORT            11.5.5.0          0   DB2 data source support
    ODBC_DATA_SOURCE_SUPPORT           11.5.5.0          0   ODBC data source support
    TERADATA_DATA_SOURCE_SUPPORT       11.5.5.0          0   Teradata data source support
    SPATIAL_EXTENDER_SERVER_SUPPORT    11.5.5.0          0   Spatial Extender server support
    IINR_SCIENTIFIC_WRAPPER            11.5.5.0          0   Scientific Data Sources
    JDBC_DATA_SOURCE_SUPPORT           11.5.5.0          0   JDBC data source support
    JDK                                11.5.5.0          0   IBM Software Development Kit (SDK) for Java(TM)
    LDAP_EXPLOITATION                  11.5.5.0          0   DB2 LDAP support
    INSTANCE_SETUP_SUPPORT             11.5.5.0          0   DB2 Instance Setup wizard
    IINR_STRUCTURED_FILES_WRAPPER      11.5.5.0          0   Structured file data sources
    ACS                                11.5.5.0          0   Integrated Flash Copy Support
    ORACLE_DATA_SOURCE_SUPPORT         11.5.5.0          0   Oracle data source support
    CONNECT_SUPPORT                    11.5.5.0          0   Connect support
    IINR_APPLICATIONS_WRAPPER          11.5.5.0          0   Application data sources
    SPATIAL_EXTENDER_CLIENT_SUPPORT    11.5.5.0          0   Spatial Extender client
    SQL_SERVER_DATA_SOURCE_SUPPORT     11.5.5.0          0   SQL Server data source support
    COMMUNICATION_SUPPORT_TCPIP        11.5.5.0          0   Communication support - TCP/IP
    APPLICATION_DEVELOPMENT_TOOLS      11.5.5.0          0   Base application development tools
    DB2_UPDATE_SERVICE                 11.5.5.0          0   DB2 Update Service
    REPL_CLIENT                        11.5.5.0          0   Replication tools
    DB2_SAMPLE_DATABASE                11.5.5.0          0   Sample database source
    TEXT_SEARCH                        11.5.5.0          0   DB2 Text Search
    SYBASE_DATA_SOURCE_SUPPORT         11.5.5.0          0   Sybase data source support
    INFORMIX_DATA_SOURCE_SUPPORT       11.5.5.0          0   Informix data source support
    FED_DATA_SOURCE_SUPPORT            11.5.5.0          0   Federated Data Access Support
    PURESCALE                          11.5.5.0          0   IBM DB2 pureScale Feature         !!!
    FIRST_STEPS                        11.5.5.0          0   First Steps
    GUARDIUM_INST_MNGR_CLIENT          11.5.5.0          0   Guardium Installation Manager Client


Я так понимаю есть возможность поднять версию DB2 до уровня 11.5.6.0 на K2 путем установки FixPack: v11.5.6_linuxx64_universal_fixpack.tar.gz ?
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40127142
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
curious_man,

Да, установите эти 2 пакета на оба. И фикспак 6 на К2 либо из universal, либо из server дистрибутива.
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40127677
curious_man
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mark Barinstein,

Установил Fixpack на K2. Установил оба пакета pam-devel.i686, libstdc++.i686 на K1,K2.
Также проверки все закончились успешно для K1,K2:
./db2prereqcheck -l -s
./db2prereqcheck -l -s -p
./db2/linuxamd64/tsamp/prereqSAM

Запускаю снова создание экземпляра на K1. Экземпляры db2inst1 на K1 и K2 не создались.
На K1 смотрю в логе db2icrt.log.6745:
...
WARNING: DBI20072W The DB2 cluster services tiebreaker disk validation failed.
The tiebreaker specified has not been configured.
ERROR: The following hosts have not been started successfully:76K1
A diagnostic log has been saved to '/tmp/ibm.db2.cluster.pporks'.
ERROR: The IBM Spectrum Scale (GPFS) cluster,"db2cluster_20220118080903.fyre.ibm.com", cannot be started up successfully on
host "76K1". Failed command " /opt/ibm/db2/V11.5/bin/db2cluster -cfs -start -host 76K1 ".
...
Прикрепляю /tmp логи K1.

Попробывал на K1 дать команду:
/opt/ibm/db2/V11.5/instance/db2cluster_prepare -l db2cluster_prepare.log -instance_shared_dev /dev/sdb -instance_shared_mount /db2data
Также получил подобную ошибку.

Может дело в том что неправильно резолвиться имя 76K1. Это я про ту ошибку имею в виду что описывал ранее появившейся в Wizard-e:
The host "76K1" could not ping the cluster interconnect netname "76K1.fyre.ibm.com". Check the cables, network adapter, and network configuration on the affected hosts. Ensure all cluster interconnect netnames are defined in each host's /etc/hosts file in exactly the same way.
На K1 /etc/hosts:
10.1.0.99 76K1.fyre.ibm.com 76K1
10.1.0.102 76K2.fyre.ibm.com 76K2
10.1.0.98 76K3.fyre.ibm.com 76K3
На K2 /etc/hosts:
10.1.0.99 76K1.fyre.ibm.com 76K1
10.1.0.102 76K2.fyre.ibm.com 76K2
10.1.0.98 76K3.fyre.ibm.com 76K3
На K3 /etc/hosts:
10.1.0.99 76K1.fyre.ibm.com 76K1
10.1.0.102 76K2.fyre.ibm.com 76K2
10.1.0.98 76K3.fyre.ibm.com 76K3
Или в ISCSII проблема при монтировании /dev/sdb?
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40127930
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
curious_man,

Что-то с gpfs кластером.
Общие замечания.

автор/opt/ibm/db2/V11.5/instance/db2icrt -d -m 76K1 -mnet 76K1 -cf 76K1 -cfnet 76K1 -m 76K2 -mnet 76K2 -cf 76K2 -cfnet 76K2 -instance_shared_dev /dev/sdb -instance_shared_mount /db2data -tbdev 10.1.0.98 -u db2fenc1 db2inst1
См. db2icrt

1. Вы сконфигурировали беспарольный non-root ssh, но запускаете команду создания экземпляра так, чтоб заставить GPFS использовать root для беспарольного ssh - не указываете '-i db2inst1' (или какой там у вас для этого выделен пользователь). Из-за этого, скорее всего, GPFS кластер не может правильно работать.

2. До версии 11.5.7.0 была "особенность" (я с ней столкнулся тоже), что несмотря на указание использовать non-root passwordless ssh, db2icrt и db2iupdt на каком-то шаге всё равно пытались из-под root какие-то удаленные команды использовать, что приводило к запросу пароля root много раз в процессе работы этих утилит.
IT37995: PURESCALE CAN NOT BE SETUP WITH DB2LOCSSH

Что выдают от root на K1, K2:
Код: plaintext
1.
2.
/usr/lpp/mmfs/bin/mmlscluster
/usr/lpp/mmfs/bin/mmgetstate -asL
/usr/lpp/mmfs/bin/mmlsmount all

Надо будет сделать следующее.

1. В зависимости от результатов команд выше удалить все файловые системы, nsd, и сами ноды GPFS кластера, если они есть.
из /usr/lpp/mmfs/bin/
mmlsfs, mmlsnds -aM
для удаления:
mmdelfs, mmdelnsd, mmdelnode -a
А то оно само, видимо, не может по какой-то причине.

2. Сконфигурировать временно беспарольный ssh доступ для root на K1, K2 по длинным и коротким именам, IP адресам (так же как для db2inst1). Либо установить 11.5.7.0, где это исправлено.

3. На всякий на всех выставить имя хоста в длинное имя и перезайти на хост из новой сессии.
Код: plaintext
hostnamectl set-name $(hostname).fyre.ibm.com
М.б. db2icrt не нравится, что имя хоста - короткое, а в /etc/hosts используются длинные имена.

4. Запустить:

Код: plaintext
1.
2.
3.
4.
/opt/ibm/db2/V11.5/instance/db2icrt -d \
-m 76K1.fyre.ibm.com -mnet 76K1.fyre.ibm.com -cf 76K1.fyre.ibm.com -cfnet 76K1.fyre.ibm.com \
-m 76K2.fyre.ibm.com -mnet 76K2.fyre.ibm.com -cf 76K2.fyre.ibm.com -cfnet 76K2.fyre.ibm.com \
-instance_shared_dev /dev/sdb -instance_shared_mount /db2data -tbdev 10.1.0.98 \
-i db2inst1 -u db2fenc1 db2inst1

5. Беспарольный ssh для root можно потом отключить, если решили на 11.5.6.0 запускать. Оно для работы в режиме non-root passwordless ssh не нужно.
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40128483
curious_man
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mark Barinstein,

1.
На K1 root:
/usr/lpp/mmfs/bin/mmlscluster
The command was unable to reach the CCR service on any quorum node. Ensure the CCR service (mmfsd or mmsdrserv daemon) is running on all quorum nodes and the communication port is not blocked by the firewall.
mmlscluster: Command failed. Examine previous error messages to determine cause.
/usr/lpp/mmfs/bin/mmgetstate -asL
mmgetstate: [E] The command was unable to reach the CCR service on any quorum node. Ensure the CCR service (mmfsd or mmsdrserv daemon) is running on all quorum nodes and the communication port is not blocked by the firewall.
mmgetstate: Command failed. Examine previous error messages to determine cause.
/usr/lpp/mmfs/bin/mmlsmount all
mmlsmount: [E] The command was unable to reach the CCR service on any quorum node. Ensure the CCR service (mmfsd or mmsdrserv daemon) is running on all quorum nodes and the communication port is not blocked by the firewall.
mmlsmount: Command failed. Examine previous error messages to determine cause.
На K2 root:
/usr/lpp/mmfs/bin/mmlscluster
mmlscluster: This node does not belong to a GPFS cluster.
mmlscluster: Command failed. Examine previous error messages to determine cause.
/usr/lpp/mmfs/bin/mmgetstate -asL
mmgetstate: This node does not belong to a GPFS cluster.
mmgetstate: Command failed. Examine previous error messages to determine cause.
/usr/lpp/mmfs/bin/mmlsmount all
mmlsmount: This node does not belong to a GPFS cluster.
mmlsmount: Command failed. Examine previous error messages to determine cause.

Тут много примеров всяких, но я пока не ориентируюсь что нужно запускать для успешного выполнения команд выше:
https://www.ibm.com/docs/en/spectrum-scale/5.0.5?topic=available-manual-repair-procedure-broken-multi-node-cluster

2.
Установил на K1,K2 FP7. После установки в логе пишется:
Required steps:
After the last host in the cluster is updated with the fix pack, run the following command to update "Tivoli SA MP " with DB2 cluster services, " /opt/ibm/db2/V11.5/bin/db2cluster -cm -commit ". For more information about the db2cluster command, see the DB2 Information Center.
Но как я понимаю мне ее не нужно запускать, т.к. не создан пока GPFS кластер?

3.
K1,K2,K3 root:
hostnamectl set-hostname $(hostname).fyre.ibm.com

4.
На K1 под root запустил:
/opt/ibm/db2/V11.5/instance/db2icrt -d -m 76K1.fyre.ibm.com -mnet 76K1.fyre.ibm.com -cf 76K1.fyre.ibm.com -cfnet 76K1.fyre.ibm.com -m 76K2.fyre.ibm.com -mnet 76K2.fyre.ibm.com -cf 76K2.fyre.ibm.com -cfnet 76K2.fyre.ibm.com -instance_shared_dev /dev/sdb -instance_shared_mount /db2data -tbdev 10.1.0.98 -i db2inst1 -u db2fenc1 db2inst1

При создании экземпляра снова появилась прошлая ошибка:
db2icrt.log.140748
ERROR: Creating domain 'db2domain_20220121153846' in the cluster ...
There was an internal db2cluster error. Refer to the diagnostic logs (db2diag.log or /tmp/ibm.db2.cluster.*) and the DB2 Information Center for details.
A diagnostic log has been saved to '/tmp/ibm.db2.cluster.doeXc4'.
ERROR: The RSCT peer domain creation failed on host "76K1". Failed command:
" /opt/ibm/db2/V11.5/bin/db2cluster -cm -create -host 76K1 -domain db2domain_20220121153846 ".

В ibm.db2.cluster.doeXc4 сначало идет предупреждение:
mmsdrquery: [E] The command was unable to reach the CCR service on any quorum node. Ensure the CCR service (mmfsd or mmsdrserv daemon) is running on all quorum nodes and the communication port is not blocked by the firewall.
mmsdrquery: 6027-1639 Command failed. Examine previous error messages to determine cause.

А потом и ошибка:
mmsdrquery, probe:20
MESSAGE : ECF=0x9000061D The output from the CFS call is not recognized.
mmsdrquery returned some error

Теперь как я понимаю нужно все таки добиться чтобы заработали команды:
/usr/lpp/mmfs/bin/mmlscluster
/usr/lpp/mmfs/bin/mmgetstate -asL
/usr/lpp/mmfs/bin/mmlsmount all

А потом если нужно, корректно удалить все что связано с GPFS через:
mmdelfs, mmdelnsd, mmdelnode
и снова пытаться запустить ./db2icrt ?

Лог /tmp директории прикрепляю.
...
Рейтинг: 0 / 0
DB2v11.5.5 purescale.
    #40128589
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
curious_man,

Попробуйте удалить все ноды (там только K1 считает себя частью кластера и не может стартовать) из кластера на K1:

Код: plaintext
/usr/lpp/mmfs/bin/mmdelnode -a

Т.е. добиться такого же результата команд, как на K2.
Если не получится, то готового ответа о том, что делать, у меня нет. Я не загонял никогда GPFS кластер в такое состояние, и тут надо либо по-хорошему как-то пробовать починить его, либо удалить GPFS полностью на этом сервере ( Steps to permanently uninstall GPFS ) и переустановить.
...
Рейтинг: 0 / 0
21 сообщений из 46, страница 2 из 2
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / DB2v11.5.5 purescale.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Читали форум (2): Анонимы (2)
Пользователи онлайн (7): Анонимы (5), Bing Bot, Yandex Bot 1 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]