Здравствуйте. Вопрос, может кто-нибудь уже имеет опыт инсталляции DB2 purescale под Linux? Хотя бы для 2-х узлов.
Читал, что для ее установки требуется особая конфигурация оборудования:
Для поддержки:
- Group Bufferpool (GBP) или кэш
– Global Lock Management (GLM)
– Shared Communication Area (SCA)
требуется высокоростная отдельно выделенная сеть.
А так как еще требуется поддержка - RDMA так это и вовсе возможно
при наличии на железе карточки с InfiniBand.
Однако где то вычитал, что c DB2v11.5.5 уже InfiniBand считается устаревшим и работать предпочтительнее через Ethernet 10Gb.
Ну и еще смонтировать shared file system нужно через iSCSI.
В общем если есть хорошая литература,презентация буду рад если поделитесь ссылкой.Ну и последовательность шагов установки.
Спасибо.

Mark Barinstein,

Спасибо, хорошая книжка.
Как будет время, попробую реализовать тестовый кластер. Если будут вопросы, обсудим.

Здравствуйте.
Нашлось время попробовать поставить DB2 + pureScale.
Однако в процессе установки появились ошибки.
Выделили 3 машины c версией Linux:
Red Hat Enterprise Linux 8.4 (Ootpa)
Kernel: Linux 4.18.0-305.el8.x86_64
Architecture: x86-64
Подтянули диск ISCSI для дальнейшего форматирования под GPFS.
Прописали в /etc/hosts на всех 3 машинах:
10.1.0.XX 76K1.fyre.ibm.com 76K1
10.1.0.XX 76K2.fyre.ibm.com 76K2
10.1.0.XX 76K3.fyre.ibm.com 76K3
Прописали в /etc/hostname в каждой из машин свое имя:
76K1, 76K2, 76K3.
Дистрибутив db2v11.5.6 взяли с офф сайта.
Пробуем ставить.
Запускаем проверку все ли необходимые пакеты установлены:
./db2prereqcheck -l -p
Requirement not matched for DB2 database "Server" with pureScale feature . Version: "11.5.6.0".
Summary of prerequisites that are not met on the current system:
DBT3507E The db2prereqcheck utility failed to find the following package or file: "m4".

Игнорируем это предупреждение. Пробуем ставить через Install Wizard.Но в панельке Host list при попытке пройти дальше появляется ошибка:
...
The host "76K1" could not ping the cluster interconnect netname "76K1.fyre.ibm.com". Check the cables, network adapter, and network configuration on the affected hosts. Ensure all cluster interconnect netnames are defined in each host's /etc/hosts file in exactly the same way.
...

На оставшихся 2-х друхих Linux в /etc/hosts прописано все тоже самое что и в первой машине.
В чем может быть проблема?

Mark Barinstein,

host 76K1:
hostname -f
76K1.fyre.ibm.com
sysctl kernel.hostname
kernel.hostname = 76K1
hostnamectl | grep Static
Static hostname: 76K1
ifconfig -a | egrep '^e|inet'
ens192: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.1.0.99 netmask 255.255.254.0 broadcast 10.1.1.255
inet6 fe80::250:56ff:fe86:933c prefixlen 64 scopeid 0x20<link>
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10<host>

host 76K2:
hostname -f
76K2.fyre.ibm.com
sysctl kernel.hostname
kernel.hostname = 76K2
hostnamectl | grep Static
Static hostname: 76K2
ifconfig -a | egrep '^e|inet'
ens192: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.1.0.102 netmask 255.255.254.0 broadcast 10.1.1.255
inet6 fe80::250:56ff:fe86:fc66 prefixlen 64 scopeid 0x20<link>
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10<host>

host 76K3:
hostname -f
76K3.fyre.ibm.com
sysctl kernel.hostname
kernel.hostname = 76K3
hostnamectl | grep Static
Static hostname: 76K3
ifconfig -a | egrep '^e|inet'
ens192: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.1.0.98 netmask 255.255.254.0 broadcast 10.1.1.255
inet6 fe80::250:56ff:fe86:d9f7 prefixlen 64 scopeid 0x20<link>
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10<host>

Mark Barinstein,

Да, пинги идут от любого хоста к любому имени. Корректно определяется IP каждого хоста.
systemctl disable firewalld //вообще эта служба выключена.

Также попробовал поставить DB2 через команду:

./db2_install -b /opt/ibm/db2/V11.5 -p SERVER -f PURESCALE -t /tmp/db2_install.trc -l /tmp/db2_install.log

Однако процесс установки прервался с ошибкой в /tmp/db2_install.log:
...
Checking license agreement acceptance :.......Success
Installing: BASE_CLIENT_R
Installing: DB2_PRODUCT_MESSAGES_EN
Installing: BASE_CLIENT
Installing: JAVA_RUNTIME_SUPPORT
Installing: DB2_JAVA_HELP_EN
Installing: BASE_DB2_ENGINE_R
Installing: GSK
Installing: JAVA_SUPPORT
Installing: SQL_PROCEDURES
Installing: ICU_SUP
Installing: JAVA_COMMON_FILES
Installing: BASE_DB2_ENGINE
Installing: DB2_CONTROL_CENTER_HELP_EN
Installing: RELATIONAL_WRAPPERS_COMMON
Installing: DB2_DATA_SOURCE_SUPPORT
Installing: ODBC_DATA_SOURCE_SUPPORT
Installing: TERADATA_DATA_SOURCE_SUPPORT
Installing: SPATIAL_EXTENDER_SERVER_SUPPORT
Installing: IINR_SCIENTIFIC_WRAPPER
Installing: JDBC_DATA_SOURCE_SUPPORT
Installing: JDK
Installing: LDAP_EXPLOITATION
Installing: INSTANCE_SETUP_SUPPORT
Installing: IINR_STRUCTURED_FILES_WRAPPER
Installing: ACS
Installing: GPFS
ERROR: DBI20105E An error occurred while installing the following file set:
"gpfs". Because these files were not successfully installed, functionality that
depends on these files might not work as expected.
...

Ну и /tmp/installGPFS.log.25774
...
Installing "SpectrumScale_public_key.pgp"
Success
"GPFS" is not installed.
5.0.5.5
0
Installing "gpfs.base-5.0.5-0.x86_64.rpm"
Failure
Installing "gpfs.gpl-5.0.5-0.noarch.rpm"
Failure
Installing "gpfs.msg.en_US-5.0.5-0.noarch.rpm"
Failure
Installing "gpfs.docs-5.0.5-0.noarch.rpm"
Failure
Installing "gpfs.license.da-5.0.5-0.x86_64.rpm"
Failure
Installing "gpfs.gskit-8.0.55-12.x86_64.rpm"
Failure
DBI1065E Program installGPFS terminated prematurely.
Explanation:
An error has occurred during the execution and that has caused this
program to terminate prematurely.
User response:
Correct the problem and try the command again.
...

А что именно не понравилось при установке вышеуказанных пакетов gpfs.* непонятно.

Mark Barinstein,

Удалось поставить напрямую gpfs как вы подсказали. Буду продолжать устанавливать дальше, и подсказывать о процессе.

Ставлю db2 на второй хост: K2
В процессе инсталляции появилась такая ошибка в /tmp/db2_install.log
...
Installing or updating DB2 HA scripts for IBM Tivoli System Automation for Multiplatforms (Tivoli SA MP) :.......Success
Installing or updating DB2 Cluster Scripts for IBM Spectrum Scale (GPFS) :.......Success
Installing or updating DB2 SSH Utilities :.......Success
WARNING: An error occurred while compiling IBM Spectrum Scale (GPFS)
Portability Layer (GPL) on host "76K2". Return code "3" . GPL compilation log
file location "/tmp/compileGPL.log.001". The GPFS file system cannot be
mounted properly until the GPL module is successfully compiled on this host.
For details, see the specified GPL compilation log. After fixing the problems
shown in the log file, re-run the DB2 installer. For information regarding the
GPFS GPL module compile, see DB2 Information Center.
...
Прилагаю полный лог db2_install.log и compileGPL.log.001.

Вроде процесс установки не упал, пакеты доставились до конца. Можно ли игнорировать эту ошибку или нужно исправлять?
В инете пишут следующее:
https://www.ibm.com/support/pages/purescale-installation-failed-compiling-ibm-general-parallel-file-system-gpfs-portability-layer-gpl

Кстати, невнимательно посмотрел, и на 76K1 та же ошибка:
...
Installing or updating DB2 HA scripts for IBM Tivoli System Automation for Multiplatforms (Tivoli SA MP) :.......Success
Installing or updating DB2 Cluster Scripts for IBM Spectrum Scale (GPFS) :.......Success
Installing or updating DB2 SSH Utilities :.......Success
WARNING: An error occurred while compiling IBM Spectrum Scale (GPFS)
Portability Layer (GPL) on host "76K1". Return code "3". GPL compilation log
file location "/tmp/compileGPL.log.000". The GPFS file system cannot be
mounted properly until the GPL module is successfully compiled on this host.
For details, see the specified GPL compilation log. After fixing the problems
shown in the log file, re-run the DB2 installer. For information regarding the
GPFS GPL module compile, see DB2 Information Center.
Compiling GPL :.......Failure
Executing control tasks :.......Success
Updating global registry :.......Success
Updating the db2ls and db2greg link :.......Success
Registering DB2 licenses :.......Success
Setting default global profile registry variables :.......Success
Initializing instance list :.......Success
Updating global profile registry :.......Success
...

Mark Barinstein,

Запустил на хосте K1. Прикрепил файл.

Mark Barinstein,

Доставил пакет на оба хоста: K1,K2.После попробовал снова запустить mmbuildgpl.
Однако ошибки появились на обоих хостах, правда несколько разные.
Если в K1 эти:
...
Makefile:984: *** "Cannot generate ORC metadata for CONFIG_UNWINDER_ORC=y, please install libelf-dev, libelf-devel or elfutils-libelf-devel". Stop.
...
/usr/lpp/mmfs/src/gpl-linux/super.c: In function ‘gpfs_fill_super’:
/usr/lpp/mmfs/src/gpl-linux/super.c:1131:21: error: ‘MS_RDONLY’ undeclared (first use in this function); did you mean ‘IS_RDONLY’?
sbP->s_flags |= MS_RDONLY;
...
Т.е почему то не компилируются код в этой директории /usr/lpp/mmfs/src/gpl-linux/ при помощи компиллятора make.

На хосте K2 только по компилляции ошибки:
...
/usr/lpp/mmfs/src/gpl-linux/kx.c: In function ‘tsstat’:
/usr/lpp/mmfs/src/include/gpl-linux/verdep.h:932:33: error: implicit declaration of function ‘user_lpath’; did you mean ‘seq_path’? [-Werror=implicit-function-declaration]
#define USER_LPATH(pathname, p) user_lpath(pathname, p)
^~~~~~~~~~
/usr/lpp/mmfs/src/gpl-linux/kx.c:318:10: note: in expansion of macro ‘USER_LPATH’
rc = USER_LPATH(pathname, &path);
...

Пакет elfutils-libelf-devel вроде корректно установлен:
yum list | grep elfutils-libelf-devel
elfutils-libelf-devel.x86_64 0.182-3.el8 @BaseOS
elfutils-libelf-devel.i686 0.182-3.el8 BaseOS
gcc-toolset-10-elfutils-libelf-devel.i686 0.182-3.el8 AppStream
gcc-toolset-10-elfutils-libelf-devel.x86_64 0.182-3.el8 AppStream
gcc-toolset-9-elfutils-libelf-devel.i686 0.176-5.el8 AppStream
gcc-toolset-9-elfutils-libelf-devel.x86_64 0.176-5.el8 AppStream

Прикрепляю файлы протоколов K1,K2:

Mark Barinstein,

Да, похоже IBM не успевает выпускать версии DB2 для последних сборок Linux, ну чтож подожду пока допишет для 8.4, не к спеху, просто поиграться хочу.
Выкачал дистрибутив и поставил Spectrum_Scale_Standard-5.0.5.11-x86_64-Linux-install.
Пробую запустить команду mmbuildgpl :

Выдает ошибки похожие как и в предыдущие разы, видимо все таки я недоустановил правильно FP11. Прилагаю mmbuildgpl.log.
Также прикрепляю лог установки FP11(1.Install_Spectrum_scale_fixpack.txt)
В нем говориться, что пакеты успешно извлечены сюда /usr/lpp/mmfs/5.0.5.11 и далее целая инструкция как устанавливать его:
Product packages successfully extracted to /usr/lpp/mmfs/5.0.5.11
Cluster installation and protocol deployment
To install a cluster or deploy protocols with the Spectrum Scale Install Toolkit: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale -h
To install a cluster manually: Use the gpfs packages located within /usr/lpp/mmfs/5.0.5.11/gpfs_<rpms/debs>

To upgrade an existing cluster using the Spectrum Scale Install Toolkit:
1) Copy your old clusterdefinition.txt file to the new /usr/lpp/mmfs/5.0.5.11/installer/configuration/ location
2) Review and update the config: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale config update
3) (Optional) Update the toolkit to reflect the current cluster config:
/usr/lpp/mmfs/5.0.5.11/installer/spectrumscale config populate -N <node>
4) Run the upgrade: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale upgrade -h

To add nodes to an existing cluster using the Spectrum Scale Install Toolkit:
1) Add nodes to the clusterdefinition.txt file: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale node add -h
2) Install GPFS on the new nodes: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale install -h
3) Deploy protocols on the new nodes: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale deploy -h
To add NSDs or file systems to an existing cluster using the Spectrum Scale Install Toolkit:
1) Add nsds and/or filesystems with: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale nsd add -h
2) Install the NSDs: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale install -h
3) Deploy the new file system: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale deploy -h

To update the toolkit to reflect the current cluster config examples:
/usr/lpp/mmfs/5.0.5.11/installer/spectrumscale config populate -N <node>
1) Manual updates outside of the install toolkit
2) Sync the current cluster state to the install toolkit prior to upgrade
3) Switching from a manually managed cluster to the install toolkit

Я так понимаю мне нужно еще выполнить /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale -h
а потом монтировать gpfs командой mmbuildgpl?

curious_man,

Mark Barinstein,

Спасибо, помогло.Установился успешно gpfs.
Пошел дальше, но наткнулся на очередную проблему:
Прошел шаги 3.1-3.4 так:
(3) Post Installation tasks:
3.1
На хосте K1 от root сгенерил файл known_hosts
3.2
Скопировал этот файл по этим путям со след аттрибутами:
K1 - /etc/ssh/known_hosts(-rwxrwxrwx),/home/db2inst1/.ssh/known_hosts(group=db2iadm,owner=db2inst1,-rw-r--r--)
K2 - /etc/ssh/known_hosts(-rwxrwxrwx),/home/db2inst1/.ssh/known_hosts(db2iadm,db2inst1,-rw-r--r--)
K3 - /etc/ssh/known_hosts(-rwxrwxrwx)
3.3
Под пользователем db2inst1
обединил содержимое файлов K1:id_rsa.pub + K2:id_rsa.pub и положил в файл на K1 и K2:
/home/db2inst1/.ssh/authorized_keys(db2iadm,db2inst1,-rw-r--r--)
3.4
Под root запустил на K1,K2: ./setup_db2locssh db2inst1
Создались файлы:
root@76K1.pub (root,root,-rw-r--r--)
root@76K2.pub (root,root,-rw-r--r--)
Скопировал их в /var/db2/db2ssh обоих серверов K1,K2

Согласно CHECKPOINT 3 документации начинаю проверять как отзываются по SSH хосты.И SSH не работает везде.
Прикрепил файлом. В чкм может быть ошибка, может что неправильно по документации сделал?
Или может неправильно сгенерились файлы known_hosts,authorized_keys,root@76K1.pub?

curious_man,

curious_man,

curious_man,

curious_man,

curious_man,

Mark Barinstein,

Сделал все как и написали. Получилось, теперь от root и db2inst1 работает корректно SSH для K1,K2.
Продолжил процесс установки. Остановился на создании инстанса от root на хосте K1:
nohup /opt/ibm/db2/V11.5/instance/db2icrt -d -m 76K1 -mnet 76K1 -cf 76K1 -cfnet 76K1 -m 76K2 -mnet 76K2 -cf 76K2 -cfnet 76K2 -instance_shared_dev /dev/sda2 -instance_shared_mount /boot -tbdev 10.1.0.98 -u db2fenc1 db2inst1 & exit

Экземпляр db2inst1 не создался. Ошибки прикрепляю архивом, но уже вижу, что
db2icrt.trc:
...
In the specified command, the path specified for the instance shared
mount point must be a new path and must not be a sub-directory of an
existing GPFS file system.
...
INTERACTIVE=YES
inst1.START_DURING_INSTALL=NO
FILE=/opt/ibm/db2/V11.5
INSTANCE=inst1
inst1.NAME=db2inst1
PROGRAM=db2icrt
NO_GENERATE=inst1.SVCENAME
NO_GENERATE=inst1.PORT_NUMBER
inst1.FENCED_USERNAME=db2fenc1
HOST=host1
inst1.MEMBER=host1
host1.HOSTNAME=76K1
host1.MEMBER_CLUSTER_INTERCONNECT_NETNAME=76K1
inst1.PREFERRED_PRIMARY_CF=host1
host1.CF_CLUSTER_INTERCONNECT_NETNAME=76K1
HOST=host2
inst1.MEMBER=host2
host2.HOSTNAME=76K2
host2.MEMBER_CLUSTER_INTERCONNECT_NETNAME=76K2
inst1.PREFERRED_SECONDARY_CF=host2
host2.CF_CLUSTER_INTERCONNECT_NETNAME=76K2
INSTANCE_SHARED_DEVICE_PATH=/dev/sda2
INSTANCE_SHARED_MOUNT=/boot
DB2_CLUSTER_SERVICES_TIEBREAKER_DEVICE_PATH=10.1.0.98
...

Видимо неправильно указал пути:
- instance_shared_dev /dev/sda2
- instance_shared_mount /boot

Тогда, как правильно?

Mark Barinstein,

Создал на K1,K2 в корне папку /db2data
На K1 попробовал 2 варианта c /dev/sda2->/boot и /dev/sda1->/boot/efi Пример:

/opt/ibm/db2/V11.5/instance/db2icrt -d -m 76K1 -mnet 76K1 -cf 76K1 -cfnet 76K1 -m 76K2 -mnet 76K2 -cf 76K2 -cfnet 76K2 -instance_shared_dev /dev/sda2 -instance_shared_mount /db2data -tbdev 10.1.0.98 -u db2fenc1 db2inst1

/opt/ibm/db2/V11.5/instance/db2icrt -d -m 76K1 -mnet 76K1 -cf 76K1 -cfnet 76K1 -m 76K2 -mnet 76K2 -cf 76K2 -cfnet 76K2 -instance_shared_dev /dev/sda1 -instance_shared_mount /db2data -tbdev 10.1.0.98 -u db2fenc1 db2inst1

Файл ошибок прикрепляю. Может вообще демонтировать /dev/sda1->/boot/efi ?

Mark Barinstein,

Да, вывод командой одинаковый:
[root@76K1 ~]# ls -l /dev/disk/by-id | grep sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 scsi-1LIO-ORG_block_backend:3ef97ba4-a912-4b09-be5e-40b75e9ccb56 -> ../../sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 scsi-360014053ef97ba4a9124b09be5e40b75 -> ../../sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 scsi-SLIO-ORG_block_backend_3ef97ba4-a912-4b09-be5e-40b75e9ccb56 -> ../../sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 wwn-0x60014053ef97ba4a9124b09be5e40b75 -> ../../sdb

[root@76K2 ~]# ls -l /dev/disk/by-id | grep sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 scsi-1LIO-ORG_block_backend:3ef97ba4-a912-4b09-be5e-40b75e9ccb56 -> ../../sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 scsi-360014053ef97ba4a9124b09be5e40b75 -> ../../sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 scsi-SLIO-ORG_block_backend_3ef97ba4-a912-4b09-be5e-40b75e9ccb56 -> ../../sdb
lrwxrwxrwx 1 root root 9 Dec 29 15:27 wwn-0x60014053ef97ba4a9124b09be5e40b75 -> ../../sdb

Запускаю создание экземпляра db2inst1 на K1:
/opt/ibm/db2/V11.5/instance/db2icrt -d -m 76K1 -mnet 76K1 -cf 76K1 -cfnet 76K1 -m 76K2 -mnet 76K2 -cf 76K2 -cfnet 76K2 -instance_shared_dev /dev/sdb -instance_shared_mount /db2data -tbdev 10.1.0.98 -u db2fenc1 db2inst1

db2icrt.log:
ERROR: DBI1474E The instance shared mount point path is invalid. Command:db2icrt.
Explanation:
In the specified command, the path specified for the instance shared
mount point must be a new path and must not be a sub-directory of an
existing GPFS file system.
User response:
Rerun the command specifying a new path for the instance shared mount
point.

Прикрепляю логи /tmp.

Mark Barinstein,

Удалил папки на обоих серверах /db2data. Пробую запустить снова.
Запускаю создание экземпляра db2inst1 на K1:
/opt/ibm/db2/V11.5/instance/db2icrt -d -m 76K1 -mnet 76K1 -cf 76K1 -cfnet 76K1 -m 76K2 -mnet 76K2 -cf 76K2 -cfnet 76K2 -instance_shared_dev /dev/sdb -instance_shared_mount /db2data -tbdev 10.1.0.98 -u db2fenc1 db2inst1

Несколько неожиданная ошибка. Логи прикрепил.
...
DBI1528E The installation failed because the product installation path
contains a version of a database product that is not compatible
with the version of the product on the installation image.
Installation path: /opt/ibm/db2/V11.5.
...

Т.е установленный db2 не совпадает с дистрибутивом? А при чем тут вообще это. И еще заметил, что на K1,K2 под пользователем команда db2level: command not found. Хотя я ожидал увидеть версию DB2.

Mark Barinstein,

Может библиотеку "/lib/libpam.so*" не нужно ставить? Как написано в доке:
You may ignore warnings for libpam* libraries as it is not required for core Db2 functionality.
• libpam.so.0 (32-bit) is required for Db2 database servers to run 32-bit nonSQL routines and JDBC type 2 driver applications in 32-bit JDK.
K1:
yum whatprovides /usr/lib/libpam.so
pam-devel-1.3.1-14.el8.i686 : Files needed for developing PAM-aware applications and modules for PAM
Repo : BaseOS
Matched from:
Filename : /usr/lib/libpam.so
yum whatprovides /usr/lib/libstdc++.so.6
libstdc++-8.4.1-1.el8.i686 : GNU Standard C++ Library
Repo : BaseOS
Matched from:
Filename : /usr/lib/libstdc++.so.6
Запускать установку обоих пакетов?
yum install pam-devel.i686 libstdc++.i686 -y

По поводу несовпадения версий DB2 на K1,K2 имеет место быть. На K1 поставил: 11.5.6.0 На K2 по ошибке поставил: 11.5.5.0
Посмотрел подробнее какие features установлены на K2->db2ls -q -b /opt/ibm/db2/V11.5


Я так понимаю есть возможность поднять версию DB2 до уровня 11.5.6.0 на K2 путем установки FixPack: v11.5.6_linuxx64_universal_fixpack.tar.gz ?

Mark Barinstein,

Установил Fixpack на K2. Установил оба пакета pam-devel.i686, libstdc++.i686 на K1,K2.
Также проверки все закончились успешно для K1,K2:
./db2prereqcheck -l -s
./db2prereqcheck -l -s -p
./db2/linuxamd64/tsamp/prereqSAM

Запускаю снова создание экземпляра на K1. Экземпляры db2inst1 на K1 и K2 не создались.
На K1 смотрю в логе db2icrt.log.6745:
...
WARNING: DBI20072W The DB2 cluster services tiebreaker disk validation failed.
The tiebreaker specified has not been configured.
ERROR: The following hosts have not been started successfully:76K1
A diagnostic log has been saved to '/tmp/ibm.db2.cluster.pporks'.
ERROR: The IBM Spectrum Scale (GPFS) cluster,"db2cluster_20220118080903.fyre.ibm.com", cannot be started up successfully on
host "76K1". Failed command " /opt/ibm/db2/V11.5/bin/db2cluster -cfs -start -host 76K1 ".
...
Прикрепляю /tmp логи K1.

Попробывал на K1 дать команду:
/opt/ibm/db2/V11.5/instance/db2cluster_prepare -l db2cluster_prepare.log -instance_shared_dev /dev/sdb -instance_shared_mount /db2data
Также получил подобную ошибку.

Может дело в том что неправильно резолвиться имя 76K1. Это я про ту ошибку имею в виду что описывал ранее появившейся в Wizard-e:
The host "76K1" could not ping the cluster interconnect netname "76K1.fyre.ibm.com". Check the cables, network adapter, and network configuration on the affected hosts. Ensure all cluster interconnect netnames are defined in each host's /etc/hosts file in exactly the same way.
На K1 /etc/hosts:
10.1.0.99 76K1.fyre.ibm.com 76K1
10.1.0.102 76K2.fyre.ibm.com 76K2
10.1.0.98 76K3.fyre.ibm.com 76K3
На K2 /etc/hosts:
10.1.0.99 76K1.fyre.ibm.com 76K1
10.1.0.102 76K2.fyre.ibm.com 76K2
10.1.0.98 76K3.fyre.ibm.com 76K3
На K3 /etc/hosts:
10.1.0.99 76K1.fyre.ibm.com 76K1
10.1.0.102 76K2.fyre.ibm.com 76K2
10.1.0.98 76K3.fyre.ibm.com 76K3
Или в ISCSII проблема при монтировании /dev/sdb?

Mark Barinstein,

1.
На K1 root:
/usr/lpp/mmfs/bin/mmlscluster
The command was unable to reach the CCR service on any quorum node. Ensure the CCR service (mmfsd or mmsdrserv daemon) is running on all quorum nodes and the communication port is not blocked by the firewall.
mmlscluster: Command failed. Examine previous error messages to determine cause.
/usr/lpp/mmfs/bin/mmgetstate -asL
mmgetstate: [E] The command was unable to reach the CCR service on any quorum node. Ensure the CCR service (mmfsd or mmsdrserv daemon) is running on all quorum nodes and the communication port is not blocked by the firewall.
mmgetstate: Command failed. Examine previous error messages to determine cause.
/usr/lpp/mmfs/bin/mmlsmount all
mmlsmount: [E] The command was unable to reach the CCR service on any quorum node. Ensure the CCR service (mmfsd or mmsdrserv daemon) is running on all quorum nodes and the communication port is not blocked by the firewall.
mmlsmount: Command failed. Examine previous error messages to determine cause.
На K2 root:
/usr/lpp/mmfs/bin/mmlscluster
mmlscluster: This node does not belong to a GPFS cluster.
mmlscluster: Command failed. Examine previous error messages to determine cause.
/usr/lpp/mmfs/bin/mmgetstate -asL
mmgetstate: This node does not belong to a GPFS cluster.
mmgetstate: Command failed. Examine previous error messages to determine cause.
/usr/lpp/mmfs/bin/mmlsmount all
mmlsmount: This node does not belong to a GPFS cluster.
mmlsmount: Command failed. Examine previous error messages to determine cause.

Тут много примеров всяких, но я пока не ориентируюсь что нужно запускать для успешного выполнения команд выше:
https://www.ibm.com/docs/en/spectrum-scale/5.0.5?topic=available-manual-repair-procedure-broken-multi-node-cluster

2.
Установил на K1,K2 FP7. После установки в логе пишется:
Required steps:
After the last host in the cluster is updated with the fix pack, run the following command to update "Tivoli SA MP " with DB2 cluster services, " /opt/ibm/db2/V11.5/bin/db2cluster -cm -commit ". For more information about the db2cluster command, see the DB2 Information Center.
Но как я понимаю мне ее не нужно запускать, т.к. не создан пока GPFS кластер?

3.
K1,K2,K3 root:
hostnamectl set-hostname $(hostname).fyre.ibm.com

4.
На K1 под root запустил:
/opt/ibm/db2/V11.5/instance/db2icrt -d -m 76K1.fyre.ibm.com -mnet 76K1.fyre.ibm.com -cf 76K1.fyre.ibm.com -cfnet 76K1.fyre.ibm.com -m 76K2.fyre.ibm.com -mnet 76K2.fyre.ibm.com -cf 76K2.fyre.ibm.com -cfnet 76K2.fyre.ibm.com -instance_shared_dev /dev/sdb -instance_shared_mount /db2data -tbdev 10.1.0.98 -i db2inst1 -u db2fenc1 db2inst1

При создании экземпляра снова появилась прошлая ошибка:
db2icrt.log.140748
ERROR: Creating domain 'db2domain_20220121153846' in the cluster ...
There was an internal db2cluster error. Refer to the diagnostic logs (db2diag.log or /tmp/ibm.db2.cluster.*) and the DB2 Information Center for details.
A diagnostic log has been saved to '/tmp/ibm.db2.cluster.doeXc4'.
ERROR: The RSCT peer domain creation failed on host "76K1". Failed command:
" /opt/ibm/db2/V11.5/bin/db2cluster -cm -create -host 76K1 -domain db2domain_20220121153846 ".

В ibm.db2.cluster.doeXc4 сначало идет предупреждение:
mmsdrquery: [E] The command was unable to reach the CCR service on any quorum node. Ensure the CCR service (mmfsd or mmsdrserv daemon) is running on all quorum nodes and the communication port is not blocked by the firewall.
mmsdrquery: 6027-1639 Command failed. Examine previous error messages to determine cause.

А потом и ошибка:
mmsdrquery, probe:20
MESSAGE : ECF=0x9000061D The output from the CFS call is not recognized.
mmsdrquery returned some error

Теперь как я понимаю нужно все таки добиться чтобы заработали команды:
/usr/lpp/mmfs/bin/mmlscluster
/usr/lpp/mmfs/bin/mmgetstate -asL
/usr/lpp/mmfs/bin/mmlsmount all

А потом если нужно, корректно удалить все что связано с GPFS через:
mmdelfs, mmdelnsd, mmdelnode
и снова пытаться запустить ./db2icrt ?

Лог /tmp директории прикрепляю.