powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Снова про память (Firebird 3.0.2.32703 SuperServer x64)
8 сообщений из 58, страница 3 из 3
Период между сообщениями больше года.
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #40043862
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ivan_Pisarevsky

Мы на полторы сотни юзеров поставили 256 гб, правда рассчитываем удвоить нагрузку. потребление памяти стабилизировалось на отметке 210-220 гб.
70 гиг тупо мало для нагруженного сервера, у меня в десктопе 32.


Симонов Денис

приблизительно да.
Т.е у тебя должно быть 500 * 300 = 150 Гб + страничный кеш + файловый кеш + память под сортировки. Итого 200 Гб
По хорошему надо ставить не меньше чем у Ивана, т.е. 256 Гб чтоб запас был.


За время с последнего поста, увеличили память до 138Г. И, конечно же, наступил момент, когда и её стало мало.
"Гонку вооружений" удалось приостановить, надеюсь "протянем" ещё несколько лет на этом объёме.

Было.
Каждое клиентское приложение создавало и удерживало активным (сколько это возможно) своё подключение к базе, которое разрушалось при закрытии приложения.
В рамках этого подключения выполнялись все запросы: служебные, читающие, пишущие.

Стало.
Сделали несколько подключений на одного клиента:
один для служебных запросов (которые могут быть очень развесистыми, но только читающими и только очень ограниченный набор записей, так чтобы их можно было получить полностью и отключить датасет от транзакции);
второй для запросов, читающих данные из ограниченного набора таблиц ("реестр документов"), но порциями (спасибо разработчикам), и требующих открытого датасета на сервере данных;
третий для запросов "без ограничений" при чтении, и запросов изменяющих данные.
Первое (служебное) подключение (очень затратное по использованию памяти) переподключаем по OnIdle на клиенте.
Второе и третье по таймеру и наличию возможности на сервере.
Как показали наблюдения второе подключение большинства клиентов держится в рамках 500Кб.
Самое затратное - третье. Но поскольку оно выполняет конечный набор запросов, многие из которых не читающие (пакет insert/update/execute), его удается каждые, в среднем минут 10, переподключать.
В итоге получили (в среднем)
из 2200 подключений
600-700 по 0Кб (первый коннект переподключается по OnIdle),
150-160 от 350М до 450М (второй и третий)
остальные - от 4К до 40М (первый (ещё в запросе) и второй).

Использование памяти сократилось до 60-70Гб
Благодарю всех за участие.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #40044036
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fnvhope,

спасибо за информацию, интересно.

А ещё интересно было бы сравинть потребление памяти в fb4 для этой БД.
Например, вот этим способом 21671658
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #40044242
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hvlad,

Доброго дня, hvlad. Это будет сделано, обязательно, и здесь отчитаюсь, но не в ближ. 3 месяца. Приношу извинения, за задержку.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #40048584
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hvlad,
Удалось сделать раньше.

Система правда другая (на рабочем сервере нет возможности пока)

Название ОС: Майкрософт Windows Server 2019 Datacenter
Версия ОС: 10.0.17763 Н/Д построение 17763
Изготовитель ОС: Microsoft Corporation
Параметры ОС: Рядовой сервер
Сборка ОС: Multiprocessor Free
Модель системы: Virtual Machine
Тип системы: x64-based PC
Процессор(ы): Число процессоров - 2.
[01]: Intel64 Family 6 Model 85 Stepping 7 GenuineIntel ~2893 МГц
[02]: Intel64 Family 6 Model 85 Stepping 7 GenuineIntel ~2893 МГц
Язык системы: ru;Русский
Язык ввода: en-us;Английский (США)
Часовой пояс: (UTC+03:00) Москва, Санкт-Петербург, Волгоград
Полный объем физической памяти: 8 191 МБ
Доступная физическая память: 5 493 МБ
Виртуальная память: Макс. размер: 10 111 МБ
Виртуальная память: Доступна: 7 466 МБ
Виртуальная память: Используется: 2 645 МБ
Расположение файла подкачки: C:\pagefile.sys
Сетевые адаптеры: Число сетевых адаптеров - 1.
[01]: Microsoft Hyper-V Network Adapter
Имя подключения: Ethernet
DHCP включен: Нет
IP-адрес
[01]: 172.16.10.42
Требования Hyper-V: Обнаружена низкоуровневая оболочка. Функции, необходимые для Hyper-V, отображены не будут.


Один бэкап базы восстановлен в для каждой версии Firebird.
Проведено: перекомпиляция объектов БД для Firebird 3.0.7.33374, Firebird 4.0.0.2353

FB3MON$ATTACHMENT_IDMON$USERMON$REMOTE_PROCESSMON$TRANSACTION_IDMON$STAT_IDMON$STAT_GROUPMON$MEMORY_USEDMON$MEMORY_ALLOCATEDMON$MAX_MEMORY_USEDMON$MAX_MEMORY_ALLOCATED1038 554 04839 436 28839 733 34440 689 66435SYSDBAC:\Program Files (x86)\HK-Software\IBExpert\IBExpert.exe2212 847 7602 777 0884 025 6644 030 46433Cache Writer48111 584011 584034Garbage Collector491234 6720234 6720
FB4MON$ATTACHMENT_IDMON$USERMON$REMOTE_PROCESSMON$TRANSACTION_IDMON$STAT_IDMON$STAT_GROUPMON$MEMORY_USEDMON$MEMORY_ALLOCATEDMON$MAX_MEMORY_USEDMON$MAX_MEMORY_ALLOCATED1037 962 59238 928 38439 249 12040 247 29641SYSDBAC:\Program Files (x86)\HK-Software\IBExpert\IBExpert.exe2412 086 0002 183 1683 369 1043 502 08042Cache Writer54112 096012 096043Garbage Collector551211 9200211 9200
Приращение (Кб)MON$ATTACHMENT_IDMON$USERMON$REMOTE_PROCESSMON$TRANSACTION_IDMON$STAT_IDMON$STAT_GROUPMON$MEMORY_USEDMON$MEMORY_ALLOCATEDMON$MAX_MEMORY_USEDMON$MAX_MEMORY_ALLOCATED-577.5938-496.0000-472.8750-432.000041SYSDBAC:\Program Files (x86)\HK-Software\IBExpert\IBExpert.exe-743.9063-580.0000-641.1719-516.000042Cache Writer00.50000.00000.50000.000043Garbage Collector0-22.21880.0000-22.21880.0000
Перекомпиляция всех объектов
FB3MON$ATTACHMENT_IDMON$USERMON$REMOTE_PROCESSMON$TRANSACTION_IDMON$STAT_IDMON$STAT_GROUPMON$MEMORY_USEDMON$MEMORY_ALLOCATEDMON$MAX_MEMORY_USEDMON$MAX_MEMORY_ALLOCATED10642 886 256770 994 176644 071 824771 977 21635SYSDBAC:\Program Files (x86)\HK-Software\IBExpert\IBExpert.exe291604 783 616649 596 928605 894 336650 711 04033Cache Writer28111 584011 584034Garbage Collector6011 094 65665 5361 100 88065 536
FB4MON$ATTACHMENT_IDMON$USERMON$REMOTE_PROCESSMON$TRANSACTION_IDMON$STAT_IDMON$STAT_GROUPMON$MEMORY_USEDMON$MEMORY_ALLOCATEDMON$MAX_MEMORY_USEDMON$MAX_MEMORY_ALLOCATED10333 007 104444 874 752333 607 648445 399 04041SYSDBAC:\Program Files (x86)\HK-Software\IBExpert\IBExpert.exe301291 616 080357 699 584292 146 592358 289 40842Cache Writer29112 096012 096043Garbage Collector631977 93665 536979 45665 536
Приращение (Кб)MON$ATTACHMENT_IDMON$USERMON$REMOTE_PROCESSMON$TRANSACTION_IDMON$STAT_IDMON$STAT_GROUPMON$MEMORY_USEDMON$MEMORY_ALLOCATEDMON$MAX_MEMORY_USEDMON$MAX_MEMORY_ALLOCATED-302 616.3594-318 476.0000-303 187.6719-318 924.000041SYSDBAC:\Program Files (x86)\HK-Software\IBExpert\IBExpert.exe-305 827.6719-285 056.0000-306 394.2813-285 568.000042Cache Writer00.50000.00000.50000.000043Garbage Collector0-113.98440.0000-118.57810.0000
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #40048617
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fnvhope,

спасибо !

Выглядит вроде не плохо :)
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #40049022
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hvlad,
Каждая последующая перекомпиляция, объектов, прибавляет вес подключению, первая почти в 1.5 раза, последующие меньше. На всех версиях 302, 307, 400. Для рабочей базы, в которой компиляция происходит при работе пользователей (знаю это плохо), это объяснимо (накапливаются версии объектов, так как они used). А вот, почему так происходит для базы, в которой я единственный пользователь? Или это особенность реализации IBExpert? Через командную строку попыток не делалось.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #40049231
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fnvhope
Каждая последующая перекомпиляция, объектов, прибавляет вес подключению
Что имеется в виду ? ALTER каждой процедуры\триггера\что_ещё ?
Даже если так (я позже проверю) - а какие проблемы это приносит в реальной жизни ?
Вы так делаете на боевой БД ? В каждом коннекте ?
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #40068699
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Здравствуйте, hvlad.
авторЧто имеется в виду ? ALTER каждой процедуры\триггера\что_ещё ?
Последовательный вызов команд "перекомпилировать все ..." в IBExpert.
авторДаже если так (я позже проверю) - а какие проблемы это приносит в реальной жизни ?
Поскольку, такие действия производятся крайне редко, реальной проблемы нет. Это просто "тень утечки памяти", которая думаю, щимит всем разработчикам.
...
Рейтинг: 0 / 0
8 сообщений из 58, страница 3 из 3
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Снова про память (Firebird 3.0.2.32703 SuperServer x64)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]