Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
dpronyaev, по логике - да . На практике у меня нет таких инсталляций. Есть пара kvm и там mysql действительно перестал вести себя непредсказуемо. Я предлагаю опробовать именно bind, а не interleave. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.08.2017, 13:13 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
netwind, нашёл параметр innodb_numa_interleave=1 , попробую с ним. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.08.2017, 13:18 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
dpronyaev, это - шняга. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.08.2017, 13:20 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
netwind, bind - одна из функций numactl или что-то иное? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.08.2017, 13:26 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
dpronyaev, политика привязки. Нужно привязать процесс к памяти и физическому сокету. Я же не будут за вас ман читать. А если это повлияет, то имеет смысл потом перейти на что-то типа prefered - нестрогая привязка. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.08.2017, 13:36 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
netwind, Сейчас запускаю вот так: ExecStart=/usr/bin/numactl --cpunodebind=0 --membind=0 /usr/sbin/mysqld $MYSQLD_OPTS $_WSREP_NEW_CLUSTER $_WSREP_START_POSITION numastat -p $(pidof mysqld) показывает вот что (в Node 1 всё-таки что-то есть) Per-node process memory usage (in MBs) for PID 3114 (mysqld) Node 0 Node 1 Total --------------- --------------- --------------- Huge 0.00 0.00 0.00 Heap 3855.70 0.00 3855.70 Stack 8438.64 0.00 8438.64 Private 1142.05 15.96 1158.01 ---------------- --------------- --------------- --------------- Total 13436.39 15.96 13452.35 Я все правильно делаю? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.08.2017, 18:01 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
dpronyaev, то же самое поведение у себя и с kvm наблюдаю. Почти всегда есть с десяток мб,но там и механизм используется другой, не numactl. Вроде неплохо выглядит. Надо смотреть как дальше со временем будет развиваться ситуация. Что с торможением при этом вот тут http://www.sql.ru/forum/1267776/mariadb-galera-zagruzka-cpu-na-sleyve-ogromna-na-mastere-v-predelah-normy?hl= Улучшилась ситуация? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 09:52 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
netwind, К сожалению нет, запросы продолжали виснуть (примерно через 3 часа после запуска серверов). Вернул как было настройки NUMA (убрал кастомный файл из systemd) и при том упростил конфиг до вот такого: [client] port = 3306 socket = /var/run/mysqld/mysqld.sock # This was formally known as [safe_mysqld]. Both versions are currently parsed. [mysqld_safe] socket = /var/run/mysqld/mysqld.sock nice = 0 [mysqld] # # * Basic Settings # user = mysql pid-file = /var/run/mysqld/mysqld.pid socket = /var/run/mysqld/mysqld.sock port = 3306 basedir = /usr datadir = /var/lib/mysql tmpdir = /tmp lc_messages_dir = /usr/share/mysql lc_messages = en_US skip-external-locking performance_schema=ON # MyISAM # key-buffer-size = 32M myisam-recover = FORCE,BACKUP # SAFETY # max-allowed-packet = 16M max-connect-errors = 1000000 skip-name-resolve # DATA STORAGE # datadir = /var/lib/mysql/ # BINARY LOGGING # log-bin = /var/lib/mysql/mysql-bin expire-logs-days = 14 sync-binlog = 1 # CACHES AND LIMITS # tmp-table-size = 32M max-heap-table-size = 32M query-cache-type = 0 query-cache-size = 0 max-connections = 500 thread-cache-size = 50 open-files-limit = 65535 table-definition-cache = 4096 table-open-cache = 4096 innodb_flush_log_at_trx_commit = 1 # INNODB # innodb-flush-method = O_DIRECT innodb-log-files-in-group = 2 innodb-log-file-size = 512M innodb-flush-log-at-trx-commit = 1 innodb-file-per-table = 1 innodb-buffer-pool-size = 160G # LOGGING # log-error = /var/lib/mysql/mysql-error.log log-queries-not-using-indexes = 1 slow-query-log = 1 slow-query-log-file = /var/lib/mysql/mysql-slow.log #GALERA binlog_format=ROW default-storage-engine=innodb innodb_autoinc_lock_mode=2 bind-address=0.0.0.0 # Galera Provider Configuration wsrep_on=ON wsrep_provider=/usr/lib/galera/libgalera_smm.so # Galera Cluster Configuration wsrep_cluster_name="galera-cluster" wsrep_cluster_address="gcomm://ip1,ip2" # Galera Synchronization Configuration wsrep_sst_method=xtrabackup-v2 wsrep_sst_auth=user:password # Galera Node Configuration wsrep_node_address="ip_ноды" wsrep_node_name="galera-node1" # Tuning wsrep_retry_autocommit = 4 wsrep_slave_threads = 64 wsrep_provider_options="gcache.size=5G; gcs.fc_limit = 320; gcs.fc_factor=0.8;" !includedir /etc/mysql/conf.d/ Конфиг явно не оптимальный, высока нагрузка на диск (из-за innodb-flush-log-at-trx-commit и маленького innodb-log-file-size) - но запросы не виснут! Погонял стресс-тесты на одной ноде (запись только на нее, чтение и с нее и со второй) примерно 12 часов - нет ошибок. Теперь для записи выбрал другую, тестирую. Чудеса в решете. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 12:08 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
dpronyaev, ну так понятно что wsrep - сырая лажа, но второй кластер тормозить то перестал? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 12:11 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
авторsync-binlog = 1 innodb_flush_log_at_trx_commit = 1 innodb-flush-method = O_DIRECT вы, простите, в банковской отрасли? там такие вопросы про NUMA не задают. Не нужно вам это. Чесслово. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 12:13 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
netwind, Почему в банковской области? Потому что настройки параноидально безопасны - чтобы ни одну транзакцию не потерять? :) Вторая нода загружена лютыми селектами, примерно половина ядер (16 из 32). Мне уже это не кажется проблемой - фактически она не тормозит, просто активно использует проц. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 12:21 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
dpronyaev, да. про sync_binlog вообще по-моему мало кто даже знает. Вы сделали на второй ноде те же манипуляции с NUMA или нет? Тормозить перестало? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 12:29 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
netwind, делал на обеих нодах синхронно, на ситуацию с загрузкой CPU и быстродействием никак не повлияло. Думаю, потому что ни одна из NUMA-нод памяти не была заполнена полностью. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 12:31 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
dpronyaev, Проблема оформилась в окончательном виде. Если в качестве "мастера" (и чтение и запись) использовать 1ю ноду (а со второй только чтение) - вышеуказанные проблемы. Но если "мастером" поставить 2ю ноду (а с 1й только читать) - все хорошо, запросы не виснут. Сервера абсолютно идентичны железно\программно. Для чистоты эксперимента я вчера переставил ос на проблемной первой ноде, скопировал туда (подправив имена-адреса) конфиги мускула и галеры со второй ноды - проблема не пропала. Что-то уже пахнет чертовщиной:) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2017, 09:55 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
netwind, В общем, все интересно. Если писать на вторую ноду (а читать с обеих) - все работает как часы. Если писать на первую ноду (а читать с обеих) - запросы виснут. Переставил ОС на первой ноде, поменял сетевой кабель, воткнул обе ноды в одну циску - проблема не уходит. Чудеса. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 09:49 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
ScareCrow, В общем, все интересно. Если писать на вторую ноду (а читать с обеих) - все работает как часы. Если писать на первую ноду (а читать с обеих) - запросы виснут. Переставил ОС на первой ноде, поменял сетевой кабель, воткнул обе ноды в одну циску - проблема не уходит. Чудеса. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 09:51 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
dpronyaev, ну попробуйте написать конкретно в список рассылки wsrep. или переставьте все на percona - там хотя бы не пытаются изображать локомотив mysql и передовые возможности не разрабатывают как в maria. Отличия при одинаковых конфигурациях - это очень странно (опять же, больше намекает на numa) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 09:53 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
netwind, да, решение с перконой назревало. Настроил кластер, разворачиваю базу. Расскажу о впечатлениях:) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 17:58 |
|
||
|
Mariadb Galera Cluster: кластер рандомно останавливается
|
|||
|---|---|---|---|
|
#18+
netwind, Переехал на Percona. Больше запросы не виснут ни на одной ноде. Гы. Пока единственная проблема, что в системе и в mysql (проверял с помощью SELECT NOW () )правильное время, а mysqld.log - на три часа отстает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.08.2017, 09:22 |
|
||
|
|

start [/forum/topic.php?fid=47&msg=39504784&tid=1830477]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
37ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
56ms |
get tp. blocked users: |
1ms |
| others: | 236ms |
| total: | 373ms |

| 0 / 0 |
