powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Снова про память (Firebird 3.0.2.32703 SuperServer x64)
25 сообщений из 58, страница 2 из 3
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39684912
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fnvhope,

к слову, а вот это откуда в свойствах БД взялось?
Reserve Space No
кто его сделал, и зачем? У вас же база не read-only.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39684916
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fnvhopeКак заставить сервер загрузить метаданые в кэш?Обратиться к соотв. объекту. Обращение может быть косвенным, не обязательно прямым.

fnvhopeЕсли ХП рекурсивная сколько копий объектов представления её в памяти будет? Одна.? Столько, сколько вызовов? Столько сколько уровней рекурсии?На каждом уровне рекурсии или ином вложенном вызове создаётся новый экземпляр.

Рекурсивные запросы (WITH RECURSIVE) требуют меньше памяти и не создают свои копии.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39684992
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladНа каждом уровне рекурсии или ином вложенном вызове создаётся новый экземпляр.
гм, это зачем? 2000 рекурсивных вызовов - и в памяти будет 2000 копий метаданных процедуры?
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39685118
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvhvladНа каждом уровне рекурсии или ином вложенном вызове создаётся новый экземпляр.
гм, это зачем? 2000 рекурсивных вызовов - и в памяти будет 2000 копий метаданных процедуры?Не будет, на 1000-ой получишь ошибку implementation limit exceeded (или как-то так) :)

Насчёт зачем - а как\где ты предлагаешь хранить контекст выполнения вызова процедуры ?
Насколько я помню, дерево выполнения не клонируется - оно одинаково и не меняется,
но область памяти, в которой живут переменные, сфетченные данные для каждого контекста и т.п. - она своя в каждом вызове.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39685124
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladно область памяти, в которой живут переменные, сфетченные данные для каждого контекста и т.п. - она своя в каждом вызове.
а, это - сколько угодно, в компиляторах же то же самое. Я имел в виду область памяти, которая отводится под blr хранимой процедуры. Или, ради экономии кода, дублируется весь blr целиком?
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39685126
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv,

blr - это копейки, забудь про него. Он выкидывается после построения дерева выполнения.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39685599
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
kdvfnvhope,

к слову, а вот это откуда в свойствах БД взялось?
Reserve Space No
кто его сделал, и зачем? У вас же база не read-only.
Нет ,не только для чтения. При восстановлении включили галочку "использовать все доступное пространство", видимо.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39685605
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
kdvу супера 2.5 кэш метаданных общий, у 3.0 - как у классика, отдельный на каждый коннект.
Об этом известно, речь идёт о размере кэша на коннект
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39685606
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
09.08.2018 14:58, fnvhope пишет:
> Об этом известно, речь идёт о размере кэша на коннект

- приборы!
- 15!
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39685613
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
kdvfnvhope,

к слову, а вот это откуда в свойствах БД взялось?
Reserve Space No
кто его сделал, и зачем? У вас же база не read-only.

Благодарю, за указание - это явная ошибка и серьёзная. Исправить можно только через новое восстановление или можно так gfix -use reserve ?
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39685657
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fnvhope,

gfix -use reserve

исправить только для новых страниц данных. Старые как были уплотнены так и останутся
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39685678
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисСтарые как были уплотнены так и останутся
до очередного backup/restore, после чего на страницах будет оставаться место для версий.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39685802
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hvladОбратиться к соотв. объекту. Обращение может быть косвенным, не обязательно прямым.

Т.е. select null from SP (null, ....) -

hvladНа каждом уровне рекурсии или ином вложенном вызове создаётся новый экземпляр.

т.е. я не получу 100% картины, но хотя бы одноуровневый кэш получу

hvladдерево выполнения не клонируется - оно одинаково и не меняется,

дерево остаётся в кэше?
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39700708
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
И так, добавили серверу пямяти до 72Гб, теперь коннекты стали расти до 380Мб каждый, процесс сервера тоже вырастает до 70Гб, пользователей даже не 500 (последнее максимальное кол-во было 522), а всего 401. Работает на пределе. Ещё десяток пользователей и сервер умрёт. Давайте вместе справимся с ситуацией.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39700712
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Дабавлю, что после получения сообщения о нехватке памяти, служба firebird "зависает", перезапустить не возможно. Приходится перегружать сервер.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39700740
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fnvhope,

что ты уже пытался сделать для того чтобы определить кто именно отъедает память?
Результаты мониторинга, трейса? Или предлагаешь гадать на кофейной гуще?
Производилась ли ревизия ХП и триггеров, пробовал ли ты отключать отдельные части.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39700888
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fnvhopeДавайте вместе справимся с ситуацией.В смысле скинуться еще на полдюжины планок памяти?

Мы на полторы сотни юзеров поставили 256 гб, правда рассчитываем удвоить нагрузку. потребление памяти стабилизировалось на отметке 210-220 гб.

70 гиг тупо мало для нагруженного сервера, у меня в десктопе 32.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39701190
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Симонов Денисfnvhope,

на фига? Пока нет никаких подтверждений что это кеш метаданных столько отожрал.
Надо сделать ровно один коннект и следить как на нём растёт память, и смотреть что делали когда память существенно выросла.

Если много памяти хапается при коннекте, значит надо смотреть триггеры ON CONNECT и на старт, коммит транзакции.

А нагрузочное тестирование перед переходом на новую версию это обязательно надо делать.
Сделан один коннект, выполнена перекомпиляция всех процедур и триггеров - получичли размер памяти у соединения
MON$STAT_IDMON$STAT_GROUPMON$MEMORY_USEDMON$MEMORY_ALLOCATEDMON$MAX_MEMORY_USEDMON$MAX_MEMORY_ALLOCATEDMON$ATTACHMENT_IDMON$SERVER_PIDMON$STATEMON$ATTACHMENT_NAMEMON$USERMON$ROLEMON$REMOTE_PROTOCOLMON$REMOTE_ADDRESSMON$REMOTE_PIDMON$CHARACTER_SET_IDMON$TIMESTAMPMON$GARBAGE_COLLECTIONMON$REMOTE_PROCESSMON$CLIENT_VERSIONMON$REMOTE_VERSIONMON$REMOTE_HOSTMON$REMOTE_OS_USERMON$AUTH_METHODMON$SYSTEM_FLAG501302 202 768312 934 400304 386 064 316 940 672 1 52658 1241E:\CISDATA302\PP01.FDBSYSDBANONETCPv4172.16.97.228/3138795 6685212.09.2018 11:451C:\Program Files (x86)\HK-Software\IBExpert\IBExpert.exeWI-V3.0.2.32703 Firebird 3.0P15asz1310014059Srp0
можно ли говорить, что размер кэша около 300 Мб?
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39701191
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ivan_PisarevskyfnvhopeДавайте вместе справимся с ситуацией.В смысле скинуться еще на полдюжины планок памяти?

Мы на полторы сотни юзеров поставили 256 гб, правда рассчитываем удвоить нагрузку. потребление памяти стабилизировалось на отметке 210-220 гб.

70 гиг тупо мало для нагруженного сервера, у меня в десктопе 32.

Помочь, определиться с размером кэша, и, соот-но, с минимальным объёмом необходимой памяти.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39701265
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fnvhope,

приблизительно да.
Т.е у тебя должно быть 500 * 300 = 150 Гб + страничный кеш + файловый кеш + память под сортировки. Итого 200 Гб
По хорошему надо ставить не меньше чем у Ивана, т.е. 256 Гб чтоб запас был.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39701355
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fnvhopeНет ,не только для чтения. При восстановлении включили галочку "использовать все доступное пространство", видимо.
пропустил. Так вот - флаг no reseve это как раз для read-only баз. На страницах не оставляется пустое место для обновлений. В результате при модификации данных больше ввод-вывод.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39701782
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Благодарю всех за потраченное время. Пойду скрести по закромам родины. Надеюсь, в будущих версиях всё-таки Firebird вернётся к общему кэшу.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39701783
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
kdv,
Нет не пропустили, ранее было указание на эту ошибку и её исправили при первой же возможности.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39701859
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fnvhope,

ты когда про кеш говоришь уточняй какой именно кеш. Твой предложение должно звучать так

Надеюсь, в будущих версиях всё-таки Firebird вернётся к общему кешу метаданных.

Иначе можно подумать что в Firebird 3.0 SS раздельный страничный кеш.

fnvhopeДо этого мы работали на superserver 2.5 x32 и не знали горя, кроме производительности.

Я вообще с трудом представляю как можно 500 коннектов запустить на 2.5 x32 SS, даже несмотря на общий кеш метаданных. Разве что большая часть этих коннектов ничего не делает.
...
Рейтинг: 0 / 0
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
    #39704635
fnvhope
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Симонов Денис
Симонов Денисfnvhope,
ты когда про кеш говоришь уточняй какой именно кеш.
Да, приношу извинения.

Симонов ДенисfnvhopeДо этого мы работали на superserver 2.5 x32 и не знали горя, кроме производительности.

Я вообще с трудом представляю как можно 500 коннектов запустить на 2.5 x32 SS, даже несмотря на общий кеш метаданных.

А что, по Вашему мнению, должно было мешать серверу 2.5 х32?

О бездеятельности. Активная работа осуществляется (и осуществлялась), в среднем, 270 пользователями (один пользователь - один коннект). Ещё около 100 пользователей - средняя активность, и около 150 - малоактивные.
...
Рейтинг: 0 / 0
25 сообщений из 58, страница 2 из 3
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Снова про память (Firebird 3.0.2.32703 SuperServer x64)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]