После перевода базы с MyISAM на InnoDB и построения кластера galera из трех нод стал периодически (раз в несколько дней) получать проблему того, что весь кластер встает колом и на одном из серверов (первоначальном) в логах сыпет
1.
2.
3.
4.
2021-09-29 1:00:51 140492072966912 [ERROR] Event Scheduler: [root@localhost][radius.finish_stale_sessions2] Lock wait timeout exceeded; try restarting transaction
2021-09-29 1:00:51 140492072966912 [Note] Event Scheduler: [root@localhost].[radius.finish_stale_sessions2] event execution failed.
2021-09-29 2:00:51 140492072659712 [ERROR] Event Scheduler: [root@localhost][radius.finish_stale_sessions2] Lock wait timeout exceeded; try restarting transaction
2021-09-29 2:00:51 140492072659712 [ERROR] Event Scheduler: [root@localhost][radius.finish_stale_sessions2] Lock wait timeout exceeded; try restarting transacti
При этом процесс mysql на этом сервере жрет весь процессор, даже не могу подключится ни через phpmyadmin, ни через консоль. service mariadb stop долго ждет, потом выдает "не удалось остановить". Помогает только kill -9 [pid-mysql] и рестарт сервера заново.
Как я понимаю, подвисает скрипт из шедулера finish_stale_sessions2 (выполняется раз в час), который довольно простой:
1.
update `radacct` set acctstoptime=CURRENT_TIME(), acctterminatecause='Update timeout' where acctstoptime is NULL and acctupdatetime < DATE_SUB( CURRENT_TIME(), INTERVAL 1440 MINUTE)
Его смысл - поменять пару столбцов в некоторых строках. В эту же таблицу идет поток insert'ов примерно до нескольких штук в секунду (суммарно по всех трем серверам в кластере).
Я не пойму как все это отдебажить и почему оно вообще возникает. Ранее был единственный сервер и база была в MyISAM, ни разу такой проблемы не было. Никаких сложных транзакций в базе нет, размер базы ~1Гб, в проблемной таблице сейчас около 1 млн строк. Update из скрипта пытается поменять ну от силы несколько сотен строк за раз. Больше всего печалит, что колом встает весь кластер, при этом каких то ошибок в логах на других серверах нет.
Есть какие то мысли, как понять причину? Правильно ли я понимаю, что скрипт не успевает уложиться в дефолтные 50сек и делает рестарт? Поможет ли увеличение этого лимита и сколько его надо сделать?
Для теста сейчас выполнил запрос из скрипта руками (уменьшив INTERVAL, чтобы взять больше строк для изменения):
1.
2.
3.
MariaDB [radius]> update `radacct` set acctstoptime=CURRENT_TIME(), acctterminatecause='Update timeout' where acctstoptime is NULL and acctupdatetime < DATE_SUB( CURRENT_TIME(), INTERVAL 360 MINUTE);
Query OK, 2090 rows affected (0.61 sec)
Rows matched: 2090 Changed: 2090 Warnings: 0
0.61 сек, откуда вдруг берется таймаут в 50 сек, я не понимаю.
