powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Падение производительности
25 сообщений из 34, страница 1 из 2
Падение производительности
    #39616634
Wooda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день.

Имеется:
FB 2.5
OC – Ubuntu 10.04 LTS
проц - 16 ядер
ОЗУ - 48 Гб

Проблема:
Резко падает производительность (медленно выполняются запросы, очень медленно проходит коннект к базе) при наличии более 200 открытых соединений (в mon$attachments). При этом аппаратных проблем не видно — загрузка процессоров < 25%, свободной памяти > 30Гб, винт практически не нагружен.
При закрытии, или ручном отключении пары десятков соединений все приходит в норму.

Сборка мусора — раз в сутки.

Firebird.conf:

#RootDirectory =
#DatabaseAccess = Full
#ExternalFileAccess = None
#UdfAccess = Restrict UDF
#TempDirectories =
#LegacyHash = 1
#Authentication = native
#AuditTraceConfigFile =
#MaxUserTraceLogSize = 10
#512
DefaultDbCachePages = 8192
#DatabaseGrowthIncrement = 134217728
#FileSystemCacheThreshold = 65536
#FileSystemCacheSize = 0
#RemoteFileOpenAbility = 0
TempBlockSize = 2048576
#67108864/4
TempCacheLimit = 1073741824
#CompleteBooleanEvaluation = 0
DeadlockTimeout = 10
#MaxUnflushedWrites = 100
#MaxUnflushedWriteTime = 5
#BugcheckAbort = 0
#OldColumnNaming = 0
#OldSetClauseSemantics = 0
#RelaxedAliasChecking = 0
ConnectionTimeout = 10 #180
#DummyPacketInterval = 0
#RemoteServiceName = gds_db
#RemoteServicePort = 3050
#RemoteAuxPort = 0
#TcpRemoteBufferSize = 8192
#TcpNoNagle = 1
#RemoteBindAddress =
LockMemSize = 5048576
#LockGrantOrder = 1
#LockAcquireSpins = 0
LockHashSlots = 30011
#EventMemSize = 65536
#CpuAffinityMask = 1
#UsePriorityScheduler = 1
#PrioritySwitchDelay = 100
#PriorityBoost = 5
#GCPolicy = combined
#GuardianOption = 1
#ProcessPriorityLevel = 0
#IpcName = FIREBIRD
#RemotePipeName = interbas
#Redirection = 0

Может это быть из-за каких-то настроек в ОС? Или ФБ виноват? Кто сталкивался? Куда хоть копать?
Переход на 3.0 не рассматривается.
...
Рейтинг: 0 / 0
Падение производительности
    #39616635
Wooda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
размер страницы - 4096
buffer pages - 8192
buffer KB - 32768
...
Рейтинг: 0 / 0
Падение производительности
    #39616640
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Wooda,

архитектура SS/SC/CS? Разрядность ФБ? Результат gstat -h

WoodaПереход на 3.0 не рассматривается.

если не рассматривается вообще (в долгосрочной перспективе) то зря. В некоторых случаях производительность может вырасти значительно.
...
Рейтинг: 0 / 0
Падение производительности
    #39616641
Wooda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Размер БД - 40Гб
...
Рейтинг: 0 / 0
Падение производительности
    #39616642
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Wooda,

размер страницы увеличь в двое
...
Рейтинг: 0 / 0
Падение производительности
    #39616664
Wooda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
архитектура - SuperClassic

Database header page information:
Flags 0
Checksum 12345
Generation 5355474
Page size 4096
ODS version 11.2
Oldest transaction 4284802
Oldest active 4536285
Oldest snapshot 4536285
Next transaction 4718559
Bumped transaction 1
Sequence number 0
Next attachment ID 636903
Implementation ID 24
Shadow count 0
Page buffers 8192
Next header page 0
Database dialect 3
Creation date Feb 24, 2018 0:26:57
Attributes force write

Variable header data:
Sweep interval: 0
...
Рейтинг: 0 / 0
Падение производительности
    #39616668
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Wooda,

нужно еще смотреть, сколько суперклассик занимает памяти при ваших 200 коннектах. Может банально не хватает памяти, и идет своп.
...
Рейтинг: 0 / 0
Падение производительности
    #39616704
Wooda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
использует не более 15% от общей (48Гб)
размер свопа - 50 Мб и не меняется
...
Рейтинг: 0 / 0
Падение производительности
    #39616749
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WoodaИмеется:
FB 2.5
OC – Ubuntu 10.04 LTS
проц - 16 ядер
ОЗУ - 48 ГбВерсия именно 2.5 или, всё же, 2.5.8(последний релиз 2.5)?
...
Рейтинг: 0 / 0
Падение производительности
    #39616760
Wooda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
rdb_dev,

релиз
firebird2.5-superclassic 2.5.2.26540.ds4-8ubuntu11
...
Рейтинг: 0 / 0
Падение производительности
    #39616766
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Падение производительности
    #39616767
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WoodaКуда хоть копать?Trace самого Firebird, strace линукса.

PS Ubuntu 10.04 LTS - не старовата ли ? Какое там ядро и glibc ?
...
Рейтинг: 0 / 0
Падение производительности
    #39616773
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WoodaОЗУ - 48 ГбWooda200 открытых соединенийWoodaРазмер БД - 40ГбWoodaсвободной памяти > 30ГбНе верю.

Woodaвинт практически не нагружен.На основании чего сделан вывод?

Что за диски?
...
Рейтинг: 0 / 0
Падение производительности
    #39616783
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WoodaOldest transaction 4 284 802
Oldest active 4 536 285
Oldest snapshot 4 536 285
Next transaction 4 718 559

Совершенно безумные счётчики. Программисту приложения руки отрывать по самую задницу.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Падение производительности
    #39616821
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov,

да не так чтобы очень. За месяц почти 5 миллионов транзакций, это примерно 150 тысяч транзакций в сутки. Вот у него где-нибудь IBExpert с открытым коннектом сутки висит.
Правда, может поэтому и "резко тормозит", если версий где-то накопилось. Ибо
WoodaПри закрытии, или ручном отключении пары десятков соединений все приходит в норму.
вполне может быть что закрывают долго висящий коннект с активной транзакцией, версии превращаются в мусор, мусор подсобирается, и "все приходит в норму".
...
Рейтинг: 0 / 0
Падение производительности
    #39616822
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Wooda,

кстати
"Сборка мусора — раз в сутки."

не сборка мусора, а sweep. Сборка мусора все время работает. Ее можно отключить только в конкретном коннекте, и только явно указав специальный параметр, что можно сделать только в компонентах прямого доступа.
...
Рейтинг: 0 / 0
Падение производительности
    #39616826
Wooda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hvlad,
сдержимое трейса FB не меняется, но ночинает тормозить вместе со всем остальным. А в линуксе не силен.


Ivan_Pisarevsky
метрики собраны из htop и iotop
что за диски физически - неизвестно, это ВМ, скорость копирования 80-120Мб/с

по поводу статистики - сейчас делал новую (старой больше 2-х недель):
Database header page information:
Flags 0
Checksum 12345
Generation 13215754
Page size 4096
ODS version 11.2
Oldest transaction 10409382
Oldest active 10409383
Oldest snapshot 10409383
Next transaction 11775740
Bumped transaction 1
Sequence number 0
Next attachment ID 1439999
Implementation ID 24
Shadow count 0
Page buffers 8192
Next header page 0
Database dialect 3
Creation date Feb 24, 2018 0:26:57
Attributes force write

Variable header data:
Sweep interval: 0


что не так с цифрами? БД довольно большая, приложений масса, пользователей тоже хватает
...
Рейтинг: 0 / 0
Падение производительности
    #39616828
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvЗа месяц почти 5 миллионов транзакций, это примерно 150 тысяч транзакций в сутки. Вот у
него где-нибудь IBExpert с открытым коннектом сутки висит.

OAT-OIT 250к транзакций. NT-OST ненамного меньше. Это уже не просто "сутки висит", это
прямой саботаж и диверсия.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Падение производительности
    #39616833
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WoodaOldest snapshot 10409383
Next transaction 11775740

что не так с цифрами?

У тебя за время висения открытого снэпшота успел стартовать миллион с большим гаком
транзакций. Нет, я, конечно, могу представить и практические применения такой штуки, но в
подавляющем большинстве случаев это рукожопство программиста.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Падение производительности
    #39616837
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Wooda, надеюсь, ваш программист знает, что читающим транзакциям надо делать commit ?
...
Рейтинг: 0 / 0
Падение производительности
    #39616839
Wooda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry Sibiryakov,
а есть методы определения при работе с какими таблицами это происходит?
...
Рейтинг: 0 / 0
Падение производительности
    #39616840
Wooda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
rdb_dev,
ну... некоторые знают, а некоторые давно уже тютю
...
Рейтинг: 0 / 0
Падение производительности
    #39616841
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Woodaа есть методы определения при работе с какими таблицами это происходит?

Есть: пригласить DBA, умеющего пользоваться таблицами мониторинга и аудитом.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Падение производительности
    #39616844
Wooda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry Sibiryakov,
select * from mon$statements where mon$state = 0
это оно?

тут таких много
...
Рейтинг: 0 / 0
Падение производительности
    #39616846
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Wooda,

нет конечно. mon$statements - это запросы, а не транзакции
...
Рейтинг: 0 / 0
25 сообщений из 34, страница 1 из 2
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Падение производительности
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]