Здравствуйте. Вопрос, может кто-нибудь уже имеет опыт инсталляции DB2 purescale под Linux? Хотя бы для 2-х узлов.
Читал, что для ее установки требуется особая конфигурация оборудования:
Для поддержки:
- Group Bufferpool (GBP) или кэш
– Global Lock Management (GLM)
– Shared Communication Area (SCA)
требуется высокоростная отдельно выделенная сеть.
А так как еще требуется поддержка - RDMA так это и вовсе возможно
при наличии на железе карточки с InfiniBand.
Однако где то вычитал, что c DB2v11.5.5 уже InfiniBand считается устаревшим и работать предпочтительнее через Ethernet 10Gb.
Ну и еще смонтировать shared file system нужно через iSCSI.
В общем если есть хорошая литература,презентация буду рад если поделитесь ссылкой.Ну и последовательность шагов установки.
Спасибо.

Mark Barinstein,

Спасибо, хорошая книжка.
Как будет время, попробую реализовать тестовый кластер. Если будут вопросы, обсудим.

Здравствуйте.
Нашлось время попробовать поставить DB2 + pureScale.
Однако в процессе установки появились ошибки.
Выделили 3 машины c версией Linux:
Red Hat Enterprise Linux 8.4 (Ootpa)
Kernel: Linux 4.18.0-305.el8.x86_64
Architecture: x86-64
Подтянули диск ISCSI для дальнейшего форматирования под GPFS.
Прописали в /etc/hosts на всех 3 машинах:
10.1.0.XX 76K1.fyre.ibm.com 76K1
10.1.0.XX 76K2.fyre.ibm.com 76K2
10.1.0.XX 76K3.fyre.ibm.com 76K3
Прописали в /etc/hostname в каждой из машин свое имя:
76K1, 76K2, 76K3.
Дистрибутив db2v11.5.6 взяли с офф сайта.
Пробуем ставить.
Запускаем проверку все ли необходимые пакеты установлены:
./db2prereqcheck -l -p
Requirement not matched for DB2 database "Server" with pureScale feature . Version: "11.5.6.0".
Summary of prerequisites that are not met on the current system:
DBT3507E The db2prereqcheck utility failed to find the following package or file: "m4".

Игнорируем это предупреждение. Пробуем ставить через Install Wizard.Но в панельке Host list при попытке пройти дальше появляется ошибка:
...
The host "76K1" could not ping the cluster interconnect netname "76K1.fyre.ibm.com". Check the cables, network adapter, and network configuration on the affected hosts. Ensure all cluster interconnect netnames are defined in each host's /etc/hosts file in exactly the same way.
...

На оставшихся 2-х друхих Linux в /etc/hosts прописано все тоже самое что и в первой машине.
В чем может быть проблема?

Mark Barinstein,

host 76K1:
hostname -f
76K1.fyre.ibm.com
sysctl kernel.hostname
kernel.hostname = 76K1
hostnamectl | grep Static
Static hostname: 76K1
ifconfig -a | egrep '^e|inet'
ens192: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.1.0.99 netmask 255.255.254.0 broadcast 10.1.1.255
inet6 fe80::250:56ff:fe86:933c prefixlen 64 scopeid 0x20<link>
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10<host>

host 76K2:
hostname -f
76K2.fyre.ibm.com
sysctl kernel.hostname
kernel.hostname = 76K2
hostnamectl | grep Static
Static hostname: 76K2
ifconfig -a | egrep '^e|inet'
ens192: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.1.0.102 netmask 255.255.254.0 broadcast 10.1.1.255
inet6 fe80::250:56ff:fe86:fc66 prefixlen 64 scopeid 0x20<link>
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10<host>

host 76K3:
hostname -f
76K3.fyre.ibm.com
sysctl kernel.hostname
kernel.hostname = 76K3
hostnamectl | grep Static
Static hostname: 76K3
ifconfig -a | egrep '^e|inet'
ens192: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.1.0.98 netmask 255.255.254.0 broadcast 10.1.1.255
inet6 fe80::250:56ff:fe86:d9f7 prefixlen 64 scopeid 0x20<link>
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10<host>

Mark Barinstein,

Да, пинги идут от любого хоста к любому имени. Корректно определяется IP каждого хоста.
systemctl disable firewalld //вообще эта служба выключена.

Также попробовал поставить DB2 через команду:

./db2_install -b /opt/ibm/db2/V11.5 -p SERVER -f PURESCALE -t /tmp/db2_install.trc -l /tmp/db2_install.log

Однако процесс установки прервался с ошибкой в /tmp/db2_install.log:
...
Checking license agreement acceptance :.......Success
Installing: BASE_CLIENT_R
Installing: DB2_PRODUCT_MESSAGES_EN
Installing: BASE_CLIENT
Installing: JAVA_RUNTIME_SUPPORT
Installing: DB2_JAVA_HELP_EN
Installing: BASE_DB2_ENGINE_R
Installing: GSK
Installing: JAVA_SUPPORT
Installing: SQL_PROCEDURES
Installing: ICU_SUP
Installing: JAVA_COMMON_FILES
Installing: BASE_DB2_ENGINE
Installing: DB2_CONTROL_CENTER_HELP_EN
Installing: RELATIONAL_WRAPPERS_COMMON
Installing: DB2_DATA_SOURCE_SUPPORT
Installing: ODBC_DATA_SOURCE_SUPPORT
Installing: TERADATA_DATA_SOURCE_SUPPORT
Installing: SPATIAL_EXTENDER_SERVER_SUPPORT
Installing: IINR_SCIENTIFIC_WRAPPER
Installing: JDBC_DATA_SOURCE_SUPPORT
Installing: JDK
Installing: LDAP_EXPLOITATION
Installing: INSTANCE_SETUP_SUPPORT
Installing: IINR_STRUCTURED_FILES_WRAPPER
Installing: ACS
Installing: GPFS
ERROR: DBI20105E An error occurred while installing the following file set:
"gpfs". Because these files were not successfully installed, functionality that
depends on these files might not work as expected.
...

Ну и /tmp/installGPFS.log.25774
...
Installing "SpectrumScale_public_key.pgp"
Success
"GPFS" is not installed.
5.0.5.5
0
Installing "gpfs.base-5.0.5-0.x86_64.rpm"
Failure
Installing "gpfs.gpl-5.0.5-0.noarch.rpm"
Failure
Installing "gpfs.msg.en_US-5.0.5-0.noarch.rpm"
Failure
Installing "gpfs.docs-5.0.5-0.noarch.rpm"
Failure
Installing "gpfs.license.da-5.0.5-0.x86_64.rpm"
Failure
Installing "gpfs.gskit-8.0.55-12.x86_64.rpm"
Failure
DBI1065E Program installGPFS terminated prematurely.
Explanation:
An error has occurred during the execution and that has caused this
program to terminate prematurely.
User response:
Correct the problem and try the command again.
...

А что именно не понравилось при установке вышеуказанных пакетов gpfs.* непонятно.

Mark Barinstein,

Удалось поставить напрямую gpfs как вы подсказали. Буду продолжать устанавливать дальше, и подсказывать о процессе.

Ставлю db2 на второй хост: K2
В процессе инсталляции появилась такая ошибка в /tmp/db2_install.log
...
Installing or updating DB2 HA scripts for IBM Tivoli System Automation for Multiplatforms (Tivoli SA MP) :.......Success
Installing or updating DB2 Cluster Scripts for IBM Spectrum Scale (GPFS) :.......Success
Installing or updating DB2 SSH Utilities :.......Success
WARNING: An error occurred while compiling IBM Spectrum Scale (GPFS)
Portability Layer (GPL) on host "76K2". Return code "3" . GPL compilation log
file location "/tmp/compileGPL.log.001". The GPFS file system cannot be
mounted properly until the GPL module is successfully compiled on this host.
For details, see the specified GPL compilation log. After fixing the problems
shown in the log file, re-run the DB2 installer. For information regarding the
GPFS GPL module compile, see DB2 Information Center.
...
Прилагаю полный лог db2_install.log и compileGPL.log.001.

Вроде процесс установки не упал, пакеты доставились до конца. Можно ли игнорировать эту ошибку или нужно исправлять?
В инете пишут следующее:
https://www.ibm.com/support/pages/purescale-installation-failed-compiling-ibm-general-parallel-file-system-gpfs-portability-layer-gpl

Кстати, невнимательно посмотрел, и на 76K1 та же ошибка:
...
Installing or updating DB2 HA scripts for IBM Tivoli System Automation for Multiplatforms (Tivoli SA MP) :.......Success
Installing or updating DB2 Cluster Scripts for IBM Spectrum Scale (GPFS) :.......Success
Installing or updating DB2 SSH Utilities :.......Success
WARNING: An error occurred while compiling IBM Spectrum Scale (GPFS)
Portability Layer (GPL) on host "76K1". Return code "3". GPL compilation log
file location "/tmp/compileGPL.log.000". The GPFS file system cannot be
mounted properly until the GPL module is successfully compiled on this host.
For details, see the specified GPL compilation log. After fixing the problems
shown in the log file, re-run the DB2 installer. For information regarding the
GPFS GPL module compile, see DB2 Information Center.
Compiling GPL :.......Failure
Executing control tasks :.......Success
Updating global registry :.......Success
Updating the db2ls and db2greg link :.......Success
Registering DB2 licenses :.......Success
Setting default global profile registry variables :.......Success
Initializing instance list :.......Success
Updating global profile registry :.......Success
...

Mark Barinstein,

Запустил на хосте K1. Прикрепил файл.

Mark Barinstein,

Доставил пакет на оба хоста: K1,K2.После попробовал снова запустить mmbuildgpl.
Однако ошибки появились на обоих хостах, правда несколько разные.
Если в K1 эти:
...
Makefile:984: *** "Cannot generate ORC metadata for CONFIG_UNWINDER_ORC=y, please install libelf-dev, libelf-devel or elfutils-libelf-devel". Stop.
...
/usr/lpp/mmfs/src/gpl-linux/super.c: In function ‘gpfs_fill_super’:
/usr/lpp/mmfs/src/gpl-linux/super.c:1131:21: error: ‘MS_RDONLY’ undeclared (first use in this function); did you mean ‘IS_RDONLY’?
sbP->s_flags |= MS_RDONLY;
...
Т.е почему то не компилируются код в этой директории /usr/lpp/mmfs/src/gpl-linux/ при помощи компиллятора make.

На хосте K2 только по компилляции ошибки:
...
/usr/lpp/mmfs/src/gpl-linux/kx.c: In function ‘tsstat’:
/usr/lpp/mmfs/src/include/gpl-linux/verdep.h:932:33: error: implicit declaration of function ‘user_lpath’; did you mean ‘seq_path’? [-Werror=implicit-function-declaration]
#define USER_LPATH(pathname, p) user_lpath(pathname, p)
^~~~~~~~~~
/usr/lpp/mmfs/src/gpl-linux/kx.c:318:10: note: in expansion of macro ‘USER_LPATH’
rc = USER_LPATH(pathname, &path);
...

Пакет elfutils-libelf-devel вроде корректно установлен:
yum list | grep elfutils-libelf-devel
elfutils-libelf-devel.x86_64 0.182-3.el8 @BaseOS
elfutils-libelf-devel.i686 0.182-3.el8 BaseOS
gcc-toolset-10-elfutils-libelf-devel.i686 0.182-3.el8 AppStream
gcc-toolset-10-elfutils-libelf-devel.x86_64 0.182-3.el8 AppStream
gcc-toolset-9-elfutils-libelf-devel.i686 0.176-5.el8 AppStream
gcc-toolset-9-elfutils-libelf-devel.x86_64 0.176-5.el8 AppStream

Прикрепляю файлы протоколов K1,K2:

Mark Barinstein,

Да, похоже IBM не успевает выпускать версии DB2 для последних сборок Linux, ну чтож подожду пока допишет для 8.4, не к спеху, просто поиграться хочу.
Выкачал дистрибутив и поставил Spectrum_Scale_Standard-5.0.5.11-x86_64-Linux-install.
Пробую запустить команду mmbuildgpl :

Выдает ошибки похожие как и в предыдущие разы, видимо все таки я недоустановил правильно FP11. Прилагаю mmbuildgpl.log.
Также прикрепляю лог установки FP11(1.Install_Spectrum_scale_fixpack.txt)
В нем говориться, что пакеты успешно извлечены сюда /usr/lpp/mmfs/5.0.5.11 и далее целая инструкция как устанавливать его:
Product packages successfully extracted to /usr/lpp/mmfs/5.0.5.11
Cluster installation and protocol deployment
To install a cluster or deploy protocols with the Spectrum Scale Install Toolkit: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale -h
To install a cluster manually: Use the gpfs packages located within /usr/lpp/mmfs/5.0.5.11/gpfs_<rpms/debs>

To upgrade an existing cluster using the Spectrum Scale Install Toolkit:
1) Copy your old clusterdefinition.txt file to the new /usr/lpp/mmfs/5.0.5.11/installer/configuration/ location
2) Review and update the config: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale config update
3) (Optional) Update the toolkit to reflect the current cluster config:
/usr/lpp/mmfs/5.0.5.11/installer/spectrumscale config populate -N <node>
4) Run the upgrade: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale upgrade -h

To add nodes to an existing cluster using the Spectrum Scale Install Toolkit:
1) Add nodes to the clusterdefinition.txt file: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale node add -h
2) Install GPFS on the new nodes: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale install -h
3) Deploy protocols on the new nodes: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale deploy -h
To add NSDs or file systems to an existing cluster using the Spectrum Scale Install Toolkit:
1) Add nsds and/or filesystems with: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale nsd add -h
2) Install the NSDs: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale install -h
3) Deploy the new file system: /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale deploy -h

To update the toolkit to reflect the current cluster config examples:
/usr/lpp/mmfs/5.0.5.11/installer/spectrumscale config populate -N <node>
1) Manual updates outside of the install toolkit
2) Sync the current cluster state to the install toolkit prior to upgrade
3) Switching from a manually managed cluster to the install toolkit

Я так понимаю мне нужно еще выполнить /usr/lpp/mmfs/5.0.5.11/installer/spectrumscale -h
а потом монтировать gpfs командой mmbuildgpl?

curious_man,

Mark Barinstein,

Спасибо, помогло.Установился успешно gpfs.
Пошел дальше, но наткнулся на очередную проблему:
Прошел шаги 3.1-3.4 так:
(3) Post Installation tasks:
3.1
На хосте K1 от root сгенерил файл known_hosts
3.2
Скопировал этот файл по этим путям со след аттрибутами:
K1 - /etc/ssh/known_hosts(-rwxrwxrwx),/home/db2inst1/.ssh/known_hosts(group=db2iadm,owner=db2inst1,-rw-r--r--)
K2 - /etc/ssh/known_hosts(-rwxrwxrwx),/home/db2inst1/.ssh/known_hosts(db2iadm,db2inst1,-rw-r--r--)
K3 - /etc/ssh/known_hosts(-rwxrwxrwx)
3.3
Под пользователем db2inst1
обединил содержимое файлов K1:id_rsa.pub + K2:id_rsa.pub и положил в файл на K1 и K2:
/home/db2inst1/.ssh/authorized_keys(db2iadm,db2inst1,-rw-r--r--)
3.4
Под root запустил на K1,K2: ./setup_db2locssh db2inst1
Создались файлы:
root@76K1.pub (root,root,-rw-r--r--)
root@76K2.pub (root,root,-rw-r--r--)
Скопировал их в /var/db2/db2ssh обоих серверов K1,K2

Согласно CHECKPOINT 3 документации начинаю проверять как отзываются по SSH хосты.И SSH не работает везде.
Прикрепил файлом. В чкм может быть ошибка, может что неправильно по документации сделал?
Или может неправильно сгенерились файлы known_hosts,authorized_keys,root@76K1.pub?