ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Mariadb Galera Cluster: зависают запросы.
25 сообщений из 25, страница 1 из 1
Mariadb Galera Cluster: зависают запросы.
    #39496675
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dpronyaev
Гость
Есть кластер (2 ноды + 1 арбитратор). Запросы на него идут через maxscale proxy, настроенную таким образом, чтобы все запросы (и чтения и записи) шли на одну ноду, а в случает если нода оказжется недоступна - на вторую. Производительность кластера хорошая, но время от времени в PROCESSLIST я нахожу зависшие в статусе Execute запросы, причем самые простейшие, например

SELECT * FROM `table_nale` WHERE parameter = ?

которые в реальности выполяются очень быстро, значительно быстрее секунды. KILL запросов ничего не дает - они продолжают висеть в состоянии Killed.

Нагрузка на железо не превышает норму (на обоих серверах 2x Intel Xeon E5-2670 2.6Ghz , 192Gb) - полно свободной памяти, проц основной ноды загружен не более чем 30-40 процентов, дисковая подсистема (RAID 1 на SSD) загружена максимум на 30%.

Конфиг настроек репликации прилагаю.

Где искать косяк, товарищи?
...
Рейтинг: 0 / 0
28.07.2017, 13:55
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497272
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
dpronyaevНагрузка на железо не превышает норму (на обоих серверах 2x Intel Xeon E5-2670 2.6Ghz , 192Gb) - полно свободной памяти, проц основной ноды загружен не более чем 30-40 процентов, дисковая подсистема (RAID 1 на SSD) загружена максимум на 30%.

pt-summary приложите. И изнутри и снаружи на ноде.
Поподробнее опишите что там за система управления виртуализацией.

есть NUMA? . По-моему в этой конфигурации два блока и два сокета - numa наверняка есть)- привяжите на одну ноду и сделайте все чтобы миграция была сведена к минимуму.
KSM включен? -KSM тоже имеет тенденцию оперировать данными между нодами. Посмотрите как выключить "междунодный" KSM, либо просто выкиньте.
При всех описанных проблемах на ровном месте растет %SYS и это должно наталкивать на мысли покопаться именно в виртуализации, а не в mysql.
...
Рейтинг: 0 / 0
30.07.2017, 17:12
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497276
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
да, "нода" здесь имеется ввиду NUMA node, а не нода физическая машина для виртуализации, как можно подумать.
...
Рейтинг: 0 / 0
30.07.2017, 17:15
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497277
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
авторо время от времени в PROCESSLIST я нахожу зависшие в статусе Execute запросы, причем самые простейшие, например
SELECT * FROM `table_nale` WHERE parameter = ?
которые в реальности выполяются очень быстро, значительно быстрее секунды. KILL запросов ничего не дает - они продолжают висеть в состоянии Killed.
хотя вот здесь не понятно.
весь mysql становится колом или остальные запросы в это время неплохо выполняются?
как долго не реагирует на KILL?
...
Рейтинг: 0 / 0
30.07.2017, 17:21
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497356
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
dpronyaev192GbСовершенно случайно Query Cache не выкрутили тоже на гигабайтные значения?
...
Рейтинг: 0 / 0
30.07.2017, 20:29
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497368
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Если инстанс на второй ноде перезапустить, зависшие процессы завершаются?
...
Рейтинг: 0 / 0
30.07.2017, 21:02
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497681
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dpronyaev
Гость
netwind,

Зависшие запросы не мешают другим бодро выполняться. Сейчас нагрузочное тестирование идет уже 4е сутки, два запрос подвисли в первые два часа. Один из низ я попытался kill - висят до сих пор в PROCESS LIST оба, один в статусе Execute, другой Killed. На второй ноде в процесслисте их нет. Вот pt-summary во вложении
...
Рейтинг: 0 / 0
31.07.2017, 12:04
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497684
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dpronyaev
Гость
miksoft,

Нет, кеш отключен (по рекомендациям с сайта Galera)

query_cache_type = 0
...
Рейтинг: 0 / 0
31.07.2017, 12:06
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497744
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
dpronyaev, это с физического сервера? а почему видно mysqld? Там контейнер?
Так что с NUMA? pt-summary не покажет - надо запустить numastat чтобы получить эти циферки .

кстати, обратите внимание на DDR3 на частоте всего-то 1066 MHz. Надо перепроверить через dmidecode, тк и тут pt-summary может слажать. Но вроде это нормально при большом объеме. Я бы обснимал. Все таки задачи mysql связаны с памятью.
...
Рейтинг: 0 / 0
31.07.2017, 13:31
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497746
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
dpronyaevОдин из низ я попытался kill - висят до сих пор в PROCESS LIST оба, один в статусе Execute, другой Killed. На второй ноде в процесслисте их нет.
Но это конечно нельзя объяснить проблемами с виртуализацией. Тут мне нечего добавить.
...
Рейтинг: 0 / 0
31.07.2017, 13:33
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497752
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Не обснимать память тут не получится. И так третий канал свободен. Ну наверное так именно ECC-память в данной конфигурации работает.
...
Рейтинг: 0 / 0
31.07.2017, 13:40
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497765
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dpronyaev
Гость
netwind,

Обе ноды физические, арбитратор виртуальный (Proxmox).

pt-summary я показал с первой ноды (разумеется, физической).

Контейнеры не используются, обычным (через apt) образом установлена mariadb-server-10.2

bash: numastat: команда не найдена
apt-get install numastat
Чтение списков пакетов… Готово
Построение дерева зависимостей
Чтение информации о состоянии… Готово
E: Не удалось найти пакет numastat


dmidecode прилагаю
...
Рейтинг: 0 / 0
31.07.2017, 13:54
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497773
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
dpronyaev, значит в dmesg есть упоминание о NUMA, а программу придется поставить для оценки этого процесса.
...
Рейтинг: 0 / 0
31.07.2017, 13:59
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497775
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
пакет в debian8 называется numactl.
...
Рейтинг: 0 / 0
31.07.2017, 14:01
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497779
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
dpronyaev
Обе ноды физические, арбитратор виртуальный (Proxmox).

pt-summary я показал с первой ноды (разумеется, физической).

Контейнеры не используются, обычным (через apt) образом установлена mariadb-server-10.2

я чет не пойму. У вас сервера для виртуализации, но в mysql поставили прямо в тот debian, который в proxmox,а не в виртуальную машину? Это возможно, но выглядит странно с точки зрения управления. Новые люди в команде будут озадачены.
...
Рейтинг: 0 / 0
31.07.2017, 14:06
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497797
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dpronyaev
Гость
netwind,

Мне кажется, мы друг друга не совсем поняли. Есть две ноды с mariadb + galera, они ПОЛНОСТЬЮ физические, без всяких прослоек виртуализации. Третий член кластера, арбитратор, не требует много ресурсов для своей работы - потому живет на Proxmox, который крутится на СОВСЕМ отдельном сервере, не на одной из нод.

Вот вывод numastat на 1й ноде (на которой повисли описанные выше два запроса):

node0 node1
numa_hit 170636574 81472427
numa_miss 0 0
numa_foreign 0 0
interleave_hit 57557 57725
local_node 170627786 81417495
other_node 8788 54932

а вот на второй:

node0 node1
numa_hit 301106572 202280026
numa_miss 0 0
numa_foreign 0 0
interleave_hit 57562 57731
local_node 301098013 202225138
other_node 8559 54888
...
Рейтинг: 0 / 0
31.07.2017, 14:33
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497808
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
dpronyaev, понятно.
однако, видим, что numa есть. Как это влияет на производительность - из счетчиков не понятно.

а можно еще numastat -pm | grep mysql с любой из двух?

Если большой процесс mysql разлегся в существенно разных "половинках" NUMA - снижается скорость доступа к произвольным участкам памяти и как бы без видимой причины. Вот к чему я веду.

Но раз тут даже kill не помогает, вероятно это все (пока) не очень заметно проявляется, а в galera внутри есть какие-то другие проблемы.
...
Рейтинг: 0 / 0
31.07.2017, 14:57
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497841
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dpronyaev
Гость
netwind,

На первой:
14876 (mysqld) 44195.53 7493.18 51688.71

на второй:
15581 (mysqld) 33913.44 17831.12 51744.55
...
Рейтинг: 0 / 0
31.07.2017, 15:47
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497850
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Галеру обновить/откатить?
...
Рейтинг: 0 / 0
31.07.2017, 15:56
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497865
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
dpronyaevnetwind,

На первой:
14876 (mysqld) 44195.53 7493.18 51688.71


Совершенно точно видно, что часть памяти в другой половине. При этом общий объем -192Г и даже близко не задействован.
Я считаю это плохим фактором требующим перенастройки. Но влияет ли он на это конкретное зависание в Galera - достоверно установить нельзя.
...
Рейтинг: 0 / 0
31.07.2017, 16:08
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497927
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dpronyaev
Гость
netwind,

Не совсем понятно, что это означает. Что посоветуете почитать?
...
Рейтинг: 0 / 0
31.07.2017, 17:38
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39497942
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
dpronyaev, NUMA - это NUMA
Основная функция NUMA - тормозить mysql и другие большие программы активно использующие память.
...
Рейтинг: 0 / 0
31.07.2017, 18:07
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39499735
dpronyaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dpronyaev
Гость
netwind,

Вариант с NUMA мне кажется довольно экзотичным. Может, грубая ошибка в настройках? Вот мой my.cnf
...
Рейтинг: 0 / 0
03.08.2017, 15:15
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39499790
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
dpronyaev, ну почему? в нашу эпоху серьезные инсталляции mysql на обычном железе, но на большом количестве серверов.
А дорогое - для тех кто не смог сделать шардинг.

Сделайте migratepages - это же простой тест.
...
Рейтинг: 0 / 0
03.08.2017, 16:32
| Ответить | Цитировать | Написать  
Mariadb Galera Cluster: зависают запросы.
    #39499883
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ScareCrow
Участник
таки предлагаю станачала посмотреть perfomance shema
...
Рейтинг: 0 / 0
03.08.2017, 18:44
| Ответить | Цитировать | Написать  
25 сообщений из 25, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Mariadb Galera Cluster: зависают запросы.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]