|
|
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
Здравствуйте. Помогите, пожалуйста, найти причину "затыка" базы. Каждые 5 минут, база "замирает" - запросы подвисают, но не отваливаются, новые коннекты не подключаются и не отпадают с ошибкой. При этом активности на сервере нет - все ядра используют 0,1%, сетевая\дисковая активность - под 0. Через 1-1,5 минуты все ядра\диски начинают активно работать как и сама база - зависшие запросы, новые коннекты - развисают. fb_lock_print -h показал большое кол-во Deadlock scans, тут на форуме прочитал что это может вызывать частое обращения к таблицам мониторинга. Был триггер на коннекте, который лазил в таблицу mon$attachments, его отключили. Ситуация с deadlock scans не изменилась. Похоже симптомы поведения базы описаны CORE-3787, откатились на версию 2.5.6 - проблема осталась. :( Linux, Firebird Classic 2.5.6 x86 (откатились с 2.5.7 проблема осталась) Размер базы: 310GB. CPU: 16 ядер, Mem: 32GB. около 200-300 одновременных коннектов к базе. firebird.conf DefaultDbCachePages = 1024 TempBlockSize = 2097152 TempCacheLimit = 536870912 LockMemSize = 67108864 LockHashSlots = 30011 fb_lock_print -h LOCK_HEADER BLOCK Version: 17, Active owner: 0, Length: 67108864, Used: 19963784 Flags: 0x0001 Enqs: 21316962, Converts: 106998, Rejects: 29956, Blocks: 41118 Deadlock scans: 16950, Deadlocks: 0, Scan interval: 10 Acquires: 26067878, Acquire blocks: 2020423, Spin count: 0 Mutex wait: 7.8% Hash slots: 30011, Hash lengths (min/avg/max): 0/ 1/ 9 Remove node: 0, Insert queue: 0, Insert prior: 0 Owners (174): forward: 487352, backward: 11780228 Free owners (157): forward: 11769300, backward: 955512 Free locks (5634): forward: 11623412, backward: 10126092 Free requests (89469): forward: 3174308, backward: 19506404 Lock Ordering: Enabled ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 13:58 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
firemn, А обращений к MON$ таблицам раз в 5 минут нет? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 13:59 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
firemn> Каждые 5 минут, база "замирает" Трассировку делать пробовали? Перед зависанием что видно? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 14:17 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
Шавлюк Евгений, Нет, уже нет. Были обращения при каждом коннекте и жили с этим без проблем достаточно давно - сейчас отключили. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 14:19 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
В момент зависания - снимите дамп лок-таблицы (fb_lock_print -a -c) - снимите бектрейсы с нескольких процессов fb_inet_server (gdb и .debug в помощь) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 14:25 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
firemnРазмер базы: 310GB. CPU: 16 ядер, Mem: 32GB. около 200-300 одновременных коннектов к базе.Как по мне, так явный перекос - памяти очень мало, я бы увеличил раза в 4 как минимум. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 14:29 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
Ivan_PisarevskyfiremnРазмер базы: 310GB. CPU: 16 ядер, Mem: 32GB. около 200-300 одновременных коннектов к базе.Как по мне, так явный перекос - памяти очень мало, я бы увеличил раза в 4 как минимум. Старый добрый CS потянул бы и не поморщился на этой памяти. А вот что там насчёт ядер в 2.5 - я не знаю. По-моему проблема всё-таки между проводами и байтами в оси. Но это не точно (С). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 16:30 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
Старый плюшевый мишка, с точностью до наоборот новый супер потянет не поморщась, а вот с CS могут быть проблемы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 16:54 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
Симонов ДенисСтарый плюшевый мишка, а вот с CS могут быть проблемы разве что кеш надуть до суперного ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 17:06 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
firemnLinux, Firebird Classic 2.5.6 x86Это имеется в виду 32 битная ОСь? Или как? firemnБыл триггер на коннекте, который лазил в таблицу mon$attachments, его отключили.трассировка подтверждает отсутствие обращений к мониторингу? firemnПри этом активности на сервере нет - все ядра используют 0,1%, сетевая\дисковая активность - под 0.чем замеряли? Старый плюшевый мишкаСтарый добрый CS потянул бы и не поморщился на этой памяти.У нас на сопоставимой нагрузке тянул, но после ротации серверов, стал тянуть зело веселей, но мы подрастили и проц, и память, и диск. До "конкретных затупов" мы вестимо не доводили, решили поменять железяку уже по факту мелкого нытья на подтормаживание. Собственно помогло. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 17:49 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
автортут на форуме прочитал что это может вызывать частое обращения к таблицам мониторинга подскажите плиз, где здесь можно про это почитать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 18:30 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
hvlad, автор- снимите дамп лок-таблицы (fb_lock_print -a -c) https://drive.google.com/open?id=0B-fzkIkEB8FQUW5GZnR2amtKOW8 автор- снимите бектрейсы с нескольких процессов fb_inet_server (gdb и .debug в помощь) https://drive.google.com/open?id=0B-fzkIkEB8FQLXRRUXVNbHItdFE Этот процесс на который подозрения что он "валит" базу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 18:46 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
vvvait, Находил поиском по форуму по deadlock scans. Вот тут писали: http://www.sql.ru/forum/1182884/deadlock-scans?hl=deadlock scans ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 18:59 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
firemnавтор- снимите дамп лок-таблицы (fb_lock_print -a -c) https://drive.google.com/open?id=0B-fzkIkEB8FQUW5GZnR2amtKOW8 171 коннект, в пике было 458 коннектов 94 коннекта ждут лок для header page 20 коннектов ждут лок для страницы 133 Возможно, очень медленный IO, возможно (пальцем в небо) из-за проблем с рейдом\барьером в файловой системе, и т.п. firemnавтор- снимите бектрейсы с нескольких процессов fb_inet_server (gdb и .debug в помощь) https://drive.google.com/open?id=0B-fzkIkEB8FQLXRRUXVNbHItdFE Этот процесс на который подозрения что он "валит" базу.Этот процесс выполняет запрос и ждёт дисковый IO (read). Никакого криминала не вижу. Возможно, он создаёт избыточный IO, но по бектрассе это сказать нельзя ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2017, 19:10 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
hvladчень медленный IO, возможно (пальцем в небо) из-за проблем с рейдоммаркировка рэйда не озвучена, есть ли он вообще? Сервер "железный" или виртуальный? hvlad94 коннекта ждут лок для header page 20 коннектов ждут лок для страницы 133Зело поможет увеличение памяти под файловый кэш и райтбэк кэширование на рэйд контроллере. firemnдисковая активность - под 0Еще раз вопрос чем и в чем замеряли? визуально по миганию лампочки на диске и в мегабайтах в секунду? замерять надо в ИОпсах (кол-во операций ввода вывода в секунду). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2017, 12:55 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
Райтбэк кэширование записи - это надо ему ещё убедиться, что рэйд-контроллер с батарейкой. Если база более-менее отвечает в момент подвисаний, то можно и на статистику активных запросов глянуть. Может, оптимизировать что получится? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2017, 14:26 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
А может просто диски на грани издыхания? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2017, 14:43 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
На грани издыхания так, что асфиксия ровно раз в 5 минут случается? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2017, 14:45 |
|
||
|
Проблема с производительностью базы
|
|||
|---|---|---|---|
|
#18+
o_v_aРайтбэк кэширование записи - это надо ему ещё убедиться, что рэйд-контроллер с батарейкой.Нынче моднее конденсатор+флеш, вместо ББУ, но суть та же. Таки да, нужен умный контроллер с соотв. доп оборудованием. Маркировка дисков не озвучена. Под такою нагрузку я бы поставил штучек 6 полутерабайтных ССДшек (с ресурсом перезаписи "сервер баз данных") в рэйд 10 на каком-нидь свеженьком адаптеке с возможностью кэшировать запись. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2017, 15:02 |
|
||
|
|
start [/forum/topic.php?fid=40&fpage=41&tid=1561430]: |
0ms |
get settings: |
10ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
39ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
50ms |
get tp. blocked users: |
1ms |
| others: | 301ms |
| total: | 437ms |
| 0 / 0 |
