Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / MySQL [игнор отключен] [закрыт для гостей] / percona cluster - непонятные блокировки / 9 сообщений из 9, страница 1 из 1
15.05.2018, 14:05
    #39645001
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
percona cluster - непонятные блокировки
Есть перкона кластер двух нод master-master (mysql 5.6)
до поры до времени все работает нормально, но иногда начинается какая-то полнейшая хрень, кластер просто перестает выполнять запросы к какой-то определенной таблице (update/delete), причем это всегда разные таблицы, порой даже практически не нагруженные.

Запросы всегда идут к одной ноде, статистика по чтению/записи примерно следующая:
Код: plaintext
37.04 inserts/s, 89.36 updates/s, 0.60 deletes/s, 165319.74 reads/s

Крутится на убунте, SSD, 192 ОЗУ, NUMA-машина из 2х процессоров, нагрузка на процессор вроде не большая (300%), LOA ~3
По железу ничего не нагружено, есть полно свободной памяти.

Так вот раз в месяц начинается эта билибирда и продолжается пол дня. Просто к одной таблице встают в очередь запросы на апдейте, сегодня, например, апдейты по pk, взаимоблокироваться там просто нечему, запросы к таблица редкие, висят штук 10 и отпадают по таймауту. Убивание их ничем не помогает.

Помогает если пустить часть запросов на другую ноду. Например, переключаю один бэкэнд на ноду-2 и, вуаля, - на первой ноде исчезла проблема с локами, возвращаю обратно все запросы на 1-ю ноду и все работает нормально какое-то время.

Куда копать?
...
Рейтинг: 0 / 0
15.05.2018, 14:10
    #39645006
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
percona cluster - непонятные блокировки
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
# CACHES AND LIMITS #
tmp-table-size                 = 4G
max-heap-table-size            = 4G
query-cache-type               = 0
query-cache-size               = 0
max-connections                = 15000
thread-cache-size              = 100
open-files-limit               = 65535
table-definition-cache         = 4096
table-open-cache               = 2048
transaction-isolation           = READ-COMMITTED
sort-buffer-size                = 256M
max-sp-recursion-depth          = 255
group-concat-max-len            = 4294967295

# INNODB #
innodb-flush-method            = O_DSYNC
innodb-log-files-in-group      = 2
innodb-log-file-size           = 512M
innodb-flush-log-at-trx-commit = 2
innodb-buffer-pool-size        = 92G
innodb-file-per-table          = true
innodb-io-capacity             = 80000
innodb-write-io-threads        = 64
innodb-read-io-threads         = 64
innodb-buffer-pool-instances   = 64
innodb-log-buffer-size         = 128M
innodb-sort-buffer-size        = 64M
innodb-numa-interleave	       = OFF
...
Рейтинг: 0 / 0
15.05.2018, 14:16
    #39645011
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
percona cluster - непонятные блокировки
Код: plaintext
innodb-numa-interleave	       = OFF
С этим, помнится, я давно экспериментировал при обострении проблемы, но опция не повлияла на проявление проблем.
...
Рейтинг: 0 / 0
15.05.2018, 14:37
    #39645025
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
percona cluster - непонятные блокировки
Изучаю разные варианты конфигов для галеры.
Много где используют innodb_locks_unsafe_for_binlog = 1
Но до конца не понимаю, на сколько это необходимо и что конкретно это даст.

Так же заметил, что хоть в конфиге кэш выключен:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
mysql> SHOW VARIABLES LIKE 'query_cache_size';
+------------------+-----------+
| Variable_name    | Value     |
+------------------+-----------+
| query_cache_size | 134217728 |
+------------------+-----------+
1 row in set (0.00 sec)

mysql> SHOW VARIABLES LIKE 'query_cache_type';
+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| query_cache_type | OFF   |
+------------------+-------+
1 row in set (0.00 sec)
...
Рейтинг: 0 / 0
15.05.2018, 14:39
    #39645027
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
percona cluster - непонятные блокировки
Например вот

https://www.percona.com/forums/questions-discussions/percona-xtradb-cluster/43785-wsrep_slave_threads-and-deprecated-variable-innodb_locks_unsafe_for_binlog

авторIn Percona XtraDB Cluster 5.6 you should keep innodb_locks_unsafe_for_binlog=1

PS^ кстати забыл вроде написать, mysql версии 5.6
...
Рейтинг: 0 / 0
24.05.2018, 13:59
    #39649425
Набрызг-Бетон
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
percona cluster - непонятные блокировки
Hett, речь о полном зависании или замедлении?
мне NUMA всегда кажется подозрительной. В теории может обострить любую фигню и подтормаживать затейливо, но не зависать.

может статистику снять по этому процессу? если вас 192 памяти, сделайте чтобы mysqd похудел до 96.
numastat -pm - если все идет нормально то mysqld будет тяготеть к одной половинке.
показатели numa можно поставить на мониторинг и посмотреть есть ли корреляция с зависаниями.

и Kernel same-page merging тоже странная штука.
...
Рейтинг: 0 / 0
24.05.2018, 14:17
    #39649441
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
percona cluster - непонятные блокировки
Набрызг-БетонHett, речь о полном зависании или замедлении?

Полностью зависают запросы на запись в одну таблицу (апдейт по pk). Последние несколько раз была одна и та же таблица. Помню с пол года назад была такая же проблема с другой таблицей. Пока пытались понять в чем дело - само прошло.
...
Рейтинг: 0 / 0
24.05.2018, 14:19
    #39649442
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
percona cluster - непонятные блокировки
авторпоказатели numa можно поставить на мониторинг и посмотреть есть ли корреляция с зависаниями.
С numa-interleave = off - он лезет в одну половину, пробовал поставить в on - тогда равномерно распределяется на две, но на данную проблему ни каким образом не влияет, она так же время от времени появляется и пропадает.
...
Рейтинг: 0 / 0
24.05.2018, 14:30
    #39649448
Набрызг-Бетон
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
percona cluster - непонятные блокировки
[quot Hett]Набрызг-Бетон. Пока пытались понять в чем дело - само прошло.
так это значит, что оно не зависло полностью, а выполнялся какой-то подковерный процесс.
например, миграция страниц в numa.
у вас наверняка есть мониторинг. посчитайте эти показатели во времени
...
Рейтинг: 0 / 0
Форумы / MySQL [игнор отключен] [закрыт для гостей] / percona cluster - непонятные блокировки / 9 сообщений из 9, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]