|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
fnvhope, к слову, а вот это откуда в свойствах БД взялось? Reserve Space No кто его сделал, и зачем? У вас же база не read-only. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 16:08 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
fnvhopeКак заставить сервер загрузить метаданые в кэш?Обратиться к соотв. объекту. Обращение может быть косвенным, не обязательно прямым. fnvhopeЕсли ХП рекурсивная сколько копий объектов представления её в памяти будет? Одна.? Столько, сколько вызовов? Столько сколько уровней рекурсии?На каждом уровне рекурсии или ином вложенном вызове создаётся новый экземпляр. Рекурсивные запросы (WITH RECURSIVE) требуют меньше памяти и не создают свои копии. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 16:13 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
hvladНа каждом уровне рекурсии или ином вложенном вызове создаётся новый экземпляр. гм, это зачем? 2000 рекурсивных вызовов - и в памяти будет 2000 копий метаданных процедуры? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 18:28 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
kdvhvladНа каждом уровне рекурсии или ином вложенном вызове создаётся новый экземпляр. гм, это зачем? 2000 рекурсивных вызовов - и в памяти будет 2000 копий метаданных процедуры?Не будет, на 1000-ой получишь ошибку implementation limit exceeded (или как-то так) :) Насчёт зачем - а как\где ты предлагаешь хранить контекст выполнения вызова процедуры ? Насколько я помню, дерево выполнения не клонируется - оно одинаково и не меняется, но область памяти, в которой живут переменные, сфетченные данные для каждого контекста и т.п. - она своя в каждом вызове. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 23:53 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
hvladно область памяти, в которой живут переменные, сфетченные данные для каждого контекста и т.п. - она своя в каждом вызове. а, это - сколько угодно, в компиляторах же то же самое. Я имел в виду область памяти, которая отводится под blr хранимой процедуры. Или, ради экономии кода, дублируется весь blr целиком? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 01:10 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
kdv, blr - это копейки, забудь про него. Он выкидывается после построения дерева выполнения. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 01:18 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
kdvfnvhope, к слову, а вот это откуда в свойствах БД взялось? Reserve Space No кто его сделал, и зачем? У вас же база не read-only. Нет ,не только для чтения. При восстановлении включили галочку "использовать все доступное пространство", видимо. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 14:52 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
kdvу супера 2.5 кэш метаданных общий, у 3.0 - как у классика, отдельный на каждый коннект. Об этом известно, речь идёт о размере кэша на коннект ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 14:58 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
09.08.2018 14:58, fnvhope пишет: > Об этом известно, речь идёт о размере кэша на коннект - приборы! - 15! Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 15:00 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
kdvfnvhope, к слову, а вот это откуда в свойствах БД взялось? Reserve Space No кто его сделал, и зачем? У вас же база не read-only. Благодарю, за указание - это явная ошибка и серьёзная. Исправить можно только через новое восстановление или можно так gfix -use reserve ? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 15:08 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
fnvhope, gfix -use reserve исправить только для новых страниц данных. Старые как были уплотнены так и останутся ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 16:24 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
Симонов ДенисСтарые как были уплотнены так и останутся до очередного backup/restore, после чего на страницах будет оставаться место для версий. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 16:56 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
hvladОбратиться к соотв. объекту. Обращение может быть косвенным, не обязательно прямым. Т.е. select null from SP (null, ....) - hvladНа каждом уровне рекурсии или ином вложенном вызове создаётся новый экземпляр. т.е. я не получу 100% картины, но хотя бы одноуровневый кэш получу hvladдерево выполнения не клонируется - оно одинаково и не меняется, дерево остаётся в кэше? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.08.2018, 03:03 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
И так, добавили серверу пямяти до 72Гб, теперь коннекты стали расти до 380Мб каждый, процесс сервера тоже вырастает до 70Гб, пользователей даже не 500 (последнее максимальное кол-во было 522), а всего 401. Работает на пределе. Ещё десяток пользователей и сервер умрёт. Давайте вместе справимся с ситуацией. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2018, 07:21 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
Дабавлю, что после получения сообщения о нехватке памяти, служба firebird "зависает", перезапустить не возможно. Приходится перегружать сервер. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2018, 07:35 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
fnvhope, что ты уже пытался сделать для того чтобы определить кто именно отъедает память? Результаты мониторинга, трейса? Или предлагаешь гадать на кофейной гуще? Производилась ли ревизия ХП и триггеров, пробовал ли ты отключать отдельные части. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2018, 09:13 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
fnvhopeДавайте вместе справимся с ситуацией.В смысле скинуться еще на полдюжины планок памяти? Мы на полторы сотни юзеров поставили 256 гб, правда рассчитываем удвоить нагрузку. потребление памяти стабилизировалось на отметке 210-220 гб. 70 гиг тупо мало для нагруженного сервера, у меня в десктопе 32. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2018, 13:05 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
Симонов Денисfnvhope, на фига? Пока нет никаких подтверждений что это кеш метаданных столько отожрал. Надо сделать ровно один коннект и следить как на нём растёт память, и смотреть что делали когда память существенно выросла. Если много памяти хапается при коннекте, значит надо смотреть триггеры ON CONNECT и на старт, коммит транзакции. А нагрузочное тестирование перед переходом на новую версию это обязательно надо делать. Сделан один коннект, выполнена перекомпиляция всех процедур и триггеров - получичли размер памяти у соединения MON$STAT_IDMON$STAT_GROUPMON$MEMORY_USEDMON$MEMORY_ALLOCATEDMON$MAX_MEMORY_USEDMON$MAX_MEMORY_ALLOCATEDMON$ATTACHMENT_IDMON$SERVER_PIDMON$STATEMON$ATTACHMENT_NAMEMON$USERMON$ROLEMON$REMOTE_PROTOCOLMON$REMOTE_ADDRESSMON$REMOTE_PIDMON$CHARACTER_SET_IDMON$TIMESTAMPMON$GARBAGE_COLLECTIONMON$REMOTE_PROCESSMON$CLIENT_VERSIONMON$REMOTE_VERSIONMON$REMOTE_HOSTMON$REMOTE_OS_USERMON$AUTH_METHODMON$SYSTEM_FLAG501302 202 768312 934 400304 386 064 316 940 672 1 52658 1241E:\CISDATA302\PP01.FDBSYSDBANONETCPv4172.16.97.228/3138795 6685212.09.2018 11:451C:\Program Files (x86)\HK-Software\IBExpert\IBExpert.exeWI-V3.0.2.32703 Firebird 3.0P15asz1310014059Srp0 можно ли говорить, что размер кэша около 300 Мб? ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2018, 05:04 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
Ivan_PisarevskyfnvhopeДавайте вместе справимся с ситуацией.В смысле скинуться еще на полдюжины планок памяти? Мы на полторы сотни юзеров поставили 256 гб, правда рассчитываем удвоить нагрузку. потребление памяти стабилизировалось на отметке 210-220 гб. 70 гиг тупо мало для нагруженного сервера, у меня в десктопе 32. Помочь, определиться с размером кэша, и, соот-но, с минимальным объёмом необходимой памяти. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2018, 05:06 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
fnvhope, приблизительно да. Т.е у тебя должно быть 500 * 300 = 150 Гб + страничный кеш + файловый кеш + память под сортировки. Итого 200 Гб По хорошему надо ставить не меньше чем у Ивана, т.е. 256 Гб чтоб запас был. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2018, 09:34 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
fnvhopeНет ,не только для чтения. При восстановлении включили галочку "использовать все доступное пространство", видимо. пропустил. Так вот - флаг no reseve это как раз для read-only баз. На страницах не оставляется пустое место для обновлений. В результате при модификации данных больше ввод-вывод. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2018, 11:45 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
Благодарю всех за потраченное время. Пойду скрести по закромам родины. Надеюсь, в будущих версиях всё-таки Firebird вернётся к общему кэшу. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.09.2018, 03:43 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
kdv, Нет не пропустили, ранее было указание на эту ошибку и её исправили при первой же возможности. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.09.2018, 03:44 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
fnvhope, ты когда про кеш говоришь уточняй какой именно кеш. Твой предложение должно звучать так Надеюсь, в будущих версиях всё-таки Firebird вернётся к общему кешу метаданных. Иначе можно подумать что в Firebird 3.0 SS раздельный страничный кеш. fnvhopeДо этого мы работали на superserver 2.5 x32 и не знали горя, кроме производительности. Я вообще с трудом представляю как можно 500 коннектов запустить на 2.5 x32 SS, даже несмотря на общий кеш метаданных. Разве что большая часть этих коннектов ничего не делает. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.09.2018, 09:31 |
|
Снова про память (Firebird 3.0.2.32703 SuperServer x64)
|
|||
---|---|---|---|
#18+
Симонов Денис Симонов Денисfnvhope, ты когда про кеш говоришь уточняй какой именно кеш. Да, приношу извинения. Симонов ДенисfnvhopeДо этого мы работали на superserver 2.5 x32 и не знали горя, кроме производительности. Я вообще с трудом представляю как можно 500 коннектов запустить на 2.5 x32 SS, даже несмотря на общий кеш метаданных. А что, по Вашему мнению, должно было мешать серверу 2.5 х32? О бездеятельности. Активная работа осуществляется (и осуществлялась), в среднем, 270 пользователями (один пользователь - один коннект). Ещё около 100 пользователей - средняя активность, и около 150 - малоактивные. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.09.2018, 01:15 |
|
|
start [/forum/topic.php?fid=40&msg=39701783&tid=1560038]: |
0ms |
get settings: |
12ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
197ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
63ms |
get tp. blocked users: |
1ms |
others: | 258ms |
total: | 566ms |
0 / 0 |