powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Mariadb Galera Cluster: кластер рандомно останавливается
19 сообщений из 69, страница 3 из 3
Mariadb Galera Cluster: кластер рандомно останавливается
    #39503296
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dpronyaev, по логике - да . На практике у меня нет таких инсталляций. Есть пара kvm и там mysql действительно перестал вести себя непредсказуемо.

Я предлагаю опробовать именно bind, а не interleave.
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39503307
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
netwind,

нашёл параметр innodb_numa_interleave=1 , попробую с ним.
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39503316
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dpronyaev, это - шняга.
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39503325
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
netwind,

bind - одна из функций numactl или что-то иное?
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39503338
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dpronyaev, политика привязки. Нужно привязать процесс к памяти и физическому сокету. Я же не будут за вас ман читать.
А если это повлияет, то имеет смысл потом перейти на что-то типа prefered - нестрогая привязка.
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39503639
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
netwind,

Сейчас запускаю вот так:

ExecStart=/usr/bin/numactl --cpunodebind=0 --membind=0 /usr/sbin/mysqld $MYSQLD_OPTS $_WSREP_NEW_CLUSTER $_WSREP_START_POSITION

numastat -p $(pidof mysqld) показывает вот что (в Node 1 всё-таки что-то есть)

Per-node process memory usage (in MBs) for PID 3114 (mysqld)
Node 0 Node 1 Total
--------------- --------------- ---------------
Huge 0.00 0.00 0.00
Heap 3855.70 0.00 3855.70
Stack 8438.64 0.00 8438.64
Private 1142.05 15.96 1158.01
---------------- --------------- --------------- ---------------
Total 13436.39 15.96 13452.35


Я все правильно делаю?
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39503836
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dpronyaev, то же самое поведение у себя и с kvm наблюдаю. Почти всегда есть с десяток мб,но там и механизм используется другой, не numactl.
Вроде неплохо выглядит. Надо смотреть как дальше со временем будет развиваться ситуация.

Что с торможением при этом вот тут http://www.sql.ru/forum/1267776/mariadb-galera-zagruzka-cpu-na-sleyve-ogromna-na-mastere-v-predelah-normy?hl=
Улучшилась ситуация?
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39503950
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
netwind,

К сожалению нет, запросы продолжали виснуть (примерно через 3 часа после запуска серверов). Вернул как было настройки NUMA (убрал кастомный файл из systemd) и при том упростил конфиг до вот такого:


[client]
port = 3306
socket = /var/run/mysqld/mysqld.sock

# This was formally known as [safe_mysqld]. Both versions are currently parsed.
[mysqld_safe]
socket = /var/run/mysqld/mysqld.sock
nice = 0

[mysqld]
#
# * Basic Settings
#
user = mysql
pid-file = /var/run/mysqld/mysqld.pid
socket = /var/run/mysqld/mysqld.sock
port = 3306
basedir = /usr
datadir = /var/lib/mysql
tmpdir = /tmp
lc_messages_dir = /usr/share/mysql
lc_messages = en_US
skip-external-locking
performance_schema=ON

# MyISAM #
key-buffer-size = 32M
myisam-recover = FORCE,BACKUP

# SAFETY #
max-allowed-packet = 16M
max-connect-errors = 1000000
skip-name-resolve

# DATA STORAGE #
datadir = /var/lib/mysql/

# BINARY LOGGING #
log-bin = /var/lib/mysql/mysql-bin
expire-logs-days = 14
sync-binlog = 1

# CACHES AND LIMITS #
tmp-table-size = 32M
max-heap-table-size = 32M
query-cache-type = 0
query-cache-size = 0
max-connections = 500
thread-cache-size = 50
open-files-limit = 65535
table-definition-cache = 4096
table-open-cache = 4096
innodb_flush_log_at_trx_commit = 1

# INNODB #
innodb-flush-method = O_DIRECT
innodb-log-files-in-group = 2
innodb-log-file-size = 512M
innodb-flush-log-at-trx-commit = 1
innodb-file-per-table = 1
innodb-buffer-pool-size = 160G

# LOGGING #
log-error = /var/lib/mysql/mysql-error.log
log-queries-not-using-indexes = 1
slow-query-log = 1
slow-query-log-file = /var/lib/mysql/mysql-slow.log



#GALERA
binlog_format=ROW
default-storage-engine=innodb
innodb_autoinc_lock_mode=2
bind-address=0.0.0.0
# Galera Provider Configuration
wsrep_on=ON
wsrep_provider=/usr/lib/galera/libgalera_smm.so
# Galera Cluster Configuration
wsrep_cluster_name="galera-cluster"
wsrep_cluster_address="gcomm://ip1,ip2"
# Galera Synchronization Configuration
wsrep_sst_method=xtrabackup-v2
wsrep_sst_auth=user:password
# Galera Node Configuration
wsrep_node_address="ip_ноды"
wsrep_node_name="galera-node1"

# Tuning
wsrep_retry_autocommit = 4
wsrep_slave_threads = 64
wsrep_provider_options="gcache.size=5G; gcs.fc_limit = 320; gcs.fc_factor=0.8;"




!includedir /etc/mysql/conf.d/


Конфиг явно не оптимальный, высока нагрузка на диск (из-за innodb-flush-log-at-trx-commit и маленького innodb-log-file-size) - но запросы не виснут! Погонял стресс-тесты на одной ноде (запись только на нее, чтение и с нее и со второй) примерно 12 часов - нет ошибок. Теперь для записи выбрал другую, тестирую. Чудеса в решете.
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39503952
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dpronyaev, ну так понятно что wsrep - сырая лажа, но второй кластер тормозить то перестал?
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39503954
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторsync-binlog = 1

innodb_flush_log_at_trx_commit = 1
innodb-flush-method = O_DIRECT

вы, простите, в банковской отрасли? там такие вопросы про NUMA не задают.

Не нужно вам это. Чесслово.
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39503959
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
netwind,

Почему в банковской области? Потому что настройки параноидально безопасны - чтобы ни одну транзакцию не потерять? :)

Вторая нода загружена лютыми селектами, примерно половина ядер (16 из 32). Мне уже это не кажется проблемой - фактически она не тормозит, просто активно использует проц.
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39503963
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dpronyaev, да. про sync_binlog вообще по-моему мало кто даже знает.

Вы сделали на второй ноде те же манипуляции с NUMA или нет? Тормозить перестало?
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39503966
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
netwind,

делал на обеих нодах синхронно, на ситуацию с загрузкой CPU и быстродействием никак не повлияло. Думаю, потому что ни одна из NUMA-нод памяти не была заполнена полностью.
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39504336
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
dpronyaev,

Проблема оформилась в окончательном виде. Если в качестве "мастера" (и чтение и запись) использовать 1ю ноду (а со второй только чтение) - вышеуказанные проблемы. Но если "мастером" поставить 2ю ноду (а с 1й только читать) - все хорошо, запросы не виснут. Сервера абсолютно идентичны железно\программно. Для чистоты эксперимента я вчера переставил ос на проблемной первой ноде, скопировал туда (подправив имена-адреса) конфиги мускула и галеры со второй ноды - проблема не пропала. Что-то уже пахнет чертовщиной:)
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39504782
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
netwind,

В общем, все интересно. Если писать на вторую ноду (а читать с обеих) - все работает как часы. Если писать на первую ноду (а читать с обеих) - запросы виснут. Переставил ОС на первой ноде, поменял сетевой кабель, воткнул обе ноды в одну циску - проблема не уходит. Чудеса.
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39504784
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ScareCrow,

В общем, все интересно. Если писать на вторую ноду (а читать с обеих) - все работает как часы. Если писать на первую ноду (а читать с обеих) - запросы виснут. Переставил ОС на первой ноде, поменял сетевой кабель, воткнул обе ноды в одну циску - проблема не уходит. Чудеса.
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39504785
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dpronyaev, ну попробуйте написать конкретно в список рассылки wsrep. или переставьте все на percona - там хотя бы не пытаются изображать локомотив mysql и передовые возможности не разрабатывают как в maria.

Отличия при одинаковых конфигурациях - это очень странно (опять же, больше намекает на numa)
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39505177
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
netwind,

да, решение с перконой назревало. Настроил кластер, разворачиваю базу. Расскажу о впечатлениях:)
...
Рейтинг: 0 / 0
Mariadb Galera Cluster: кластер рандомно останавливается
    #39506067
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
netwind,

Переехал на Percona. Больше запросы не виснут ни на одной ноде. Гы.

Пока единственная проблема, что в системе и в mysql (проверял с помощью SELECT NOW () )правильное время, а mysqld.log - на три часа отстает.
...
Рейтинг: 0 / 0
19 сообщений из 69, страница 3 из 3
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Mariadb Galera Cluster: кластер рандомно останавливается
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]