ReSQL.ru
     
powered by simpleCommunicator - 2.0.44     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Informix [игнор отключен] [закрыт для гостей] / Вычисление и установка параметра SHMTOTAL
7 сообщений из 7, страница 1 из 1
Вычисление и установка параметра SHMTOTAL
    #39601067
Сергей Б
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сергей Б
Участник
Всегда SHMTOTAL был установлен в значение 0.
На днях столкнулись с ситуацией, когда операционка прибила процесс oninit

Код: plaintext
авторFeb 12 10:17:18 gebo-11-dl kernel: Out of memory: Kill process 7065 (oninit) score 914 or sacrifice child
Feb 12 10:17:18 gebo-11-dl kernel: Killed process 7065 (oninit) total-vm:61826384kB, anon-rss:3028kB, file-rss:60316120kB
Feb 12 10:45:49 gebo-11-dl kernel: hpet1: lost 9 rtc interrupts
Как правильно расчитать и выставить параметр SHMTOTAL?

free
Код: plaintext
1.
2.
3.
             total       used       free     shared    buffers     cached
Mem:      66105468   65780828     324640   47481828     416068   62086836
-/+ buffers/cache:    3277924   62827544
Swap:            0          0          0

onstat -
IBM Informix Dynamic Server Version 11.70.FC6 -- On-Line (Prim) -- Up 1 days 02:09:23 -- 57213044 Kbytes

Onconfig
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
RESIDENT        -1..............
SHMBASE 0x44000000L.
SHMVIRTSIZE 5032656
SHMADD 65536
EXTSHMADD 8192
SHMTOTAL 0
SHMVIRT_ALLOCSEG 0,3
SHMNOACCESS

BUFFERPOOL<---->default,buffers=1000000,lrus=8,lru_min_dirty=50.00,lru_max_dirty=60.50
BUFFERPOOL<---->size=2K,buffers=22000000,lrus=8,lru_min_dirty=50.00,lru_max_dirty=60.00

Последние Записи в журнале БД перед падением
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
10:17:15  Insufficient free huge pages in /proc/meminfo for shared memory segment.
          Requested: 67108864 bytes.  Available: 0 bytes.
          The default memory page size will be used.
10:17:15  Dynamically allocated new virtual shared memory segment (size 65536KB)
10:17:15  Memory sizes:resident:49360196 KB, virtual:12047152 KB, no SHMTOTAL limit
10:17:15  Segment locked: addr=0xee401d000, size=67108864
10:17:15  Insufficient free huge pages in /proc/meminfo for shared memory segment.
          Requested: 67108864 bytes.  Available: 0 bytes.
          The default memory page size will be used.
10:17:15  Dynamically allocated new virtual shared memory segment (size 65536KB)
10:17:15  Memory sizes:resident:49360196 KB, virtual:12112688 KB, no SHMTOTAL limit
10:17:15  Segment locked: addr=0xee801d000, size=67108864
10:17:16  Insufficient free huge pages in /proc/meminfo for shared memory segment.
          Requested: 67108864 bytes.  Available: 0 bytes.
          The default memory page size will be used.
10:17:16  Dynamically allocated new virtual shared memory segment (size 65536KB)
10:17:16  Memory sizes:resident:49360196 KB, virtual:12178224 KB, no SHMTOTAL limit
10:17:16  Segment locked: addr=0xeec01d000, size=67108864
10:17:17  Insufficient free huge pages in /proc/meminfo for shared memory segment.
          Requested: 67108864 bytes.  Available: 0 bytes.
          The default memory page size will be used.
10:17:17  Dynamically allocated new virtual shared memory segment (size 65536KB)
10:17:17  Memory sizes:resident:49360196 KB, virtual:12243760 KB, no SHMTOTAL limit
10:17:17  Segment locked: addr=0xef001d000, size=67108864
10:17:17  Insufficient free huge pages in /proc/meminfo for shared memory segment.
          Requested: 67108864 bytes.  Available: 0 bytes.
          The default memory page size will be used.
10:17:17  Dynamically allocated new virtual shared memory segment (size 65536KB)
10:17:17  Memory sizes:resident:49360196 KB, virtual:12309296 KB, no SHMTOTAL limit
10:17:17  Segment locked: addr=0xef401d000, size=67108864
10:17:21  Fatal error in ADM VP at mt.c:14111
10:17:21  Unexpected virtual processor termination, pid = 7065, exit = 0x9

10:17:21  PANIC: Attempting to bring system down
10:20:55  IBM Informix Dynamic Server Started.
10:20:55  Insufficient free huge pages in /proc/meminfo for shared memory segment.
          Requested: 50544840704 bytes.  Available: 0 bytes.
          The default memory page size will be used.
10:20:55  Segment locked: addr=0x44000000, size=50544840704
10:20:55  Insufficient free huge pages in /proc/meminfo for shared memory segment.
          Requested: 5153439744 bytes.  Available: 0 bytes.
          The default memory page size will be used.
10:20:55  Segment locked: addr=0xc08b51000, size=5153439744
...
Рейтинг: 0 / 0
13.02.2018, 12:44
| Ответить | Цитировать | Написать  
Вычисление и установка параметра SHMTOTAL
    #39601089
Сергей Б
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сергей Б
Участник
onstat -g seg -r | grep Total
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
Total:     -          -                58586157056      -        -     13379144 924117
Total:     -          -                58586157056      -        -     13381223 922038
Total:     -          -                58586157056      -        -     13380159 923102
Total:     -          -                58586157056      -        -     13380125 923136
Total:     -          -                58586157056      -        -     13377782 925479
Total:     -          -                58586157056      -        -     13380904 922357
Total:     -          -                58586157056      -        -     13380428 922833
Total:     -          -                58586157056      -        -     13388935 914326
Total:     -          -                58586157056      -        -     13386323 916938
Total:     -          -                58586157056      -        -     13382505 920756
Total:     -          -                58586157056      -        -     13383294 919967
Total:     -          -                58586157056      -        -     13379294 923967
Total:     -          -                58586157056      -        -     13381084 922177
Total:     -          -                58586157056      -        -     13382308 920953
Total:     -          -                58586157056      -        -     13381761 921500
Total:     -          -                58586157056      -        -     13382627 920634
Total:     -          -                58586157056      -        -     13380010 923251
...
Рейтинг: 0 / 0
13.02.2018, 13:06
| Ответить | Цитировать | Написать  
Вычисление и установка параметра SHMTOTAL
    #39601863
яфшуеі
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
яфшуеі
Гость
Судя по SHMBASE у вас Linux
Скорее всего процессы киляются OOM


Кроме того, у вас стоит RESIDENT -1
На сколько это оправданно?
По линуксам не помню, а на AIX например не рекомендуют.

При рассчете SHMTOTAL я исхожу из:
1. Сколько всего памяти на сервере.
2. Сколько нужно для нужд других процессов.
3. Сколько нужно для кеша ф.с.
4. Как бы не залезть в своп.

Т.е. грубая формула = ALL RAM - Mem для других нужд.
...
Рейтинг: 0 / 0
14.02.2018, 15:34
| Ответить | Цитировать | Написать  
Вычисление и установка параметра SHMTOTAL
    #39603242
Сергей Б
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сергей Б
Участник
яфшуеі Спасибо.

Я тут вычитал https://www.ibm.com/support/knowledgecenter/ru/SSGU8G_12.1.0/com.ibm.admin.doc/ids_admin_0345.htm

"Такие внутренние операции, как очистка страниц или обработка контрольной точки, также могут привести к тому, что сервер баз данных превысит предельное значение, заданное параметром SHMTOTAL"

Чем это грозит, на какие "подводные камни" можно натолкнуться?
...
Рейтинг: 0 / 0
16.02.2018, 17:37
| Ответить | Цитировать | Написать  
Вычисление и установка параметра SHMTOTAL
    #39605086
vvt1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vvt1
Гость
Доброго вечеру!

У вас растет V-class, судя по логам. Т.е. по onstat -g у вас их там будет больше 1-го.
Для начала попробуйте понять, что это - нехватка памяти и тогда может стоит всё пересчитать под текущую нагрузку, т.е. изменив в сторону увеличения SHMVIRTSIZE. Или это утечка, последнее не приятное и ограничить её через SHMTOTAL не даст особых желаемых результатов.

Вы спрашиваете, что будет, когда лимит SHMTOTAL будет выбран весь. В случае с утечкой памяти, как у меня на IDS 12.10FC4W1 просто делалось невозможным запустить backup, т.к. ontape тоже хочет иметь свои записи в V-class. Но, такую проблему наблюдал только с IDS 12.10FC4W1.
На старой инсталляции IDS 7.31 SHMTOTAL так критически не блокировал, т.е. память она освобождалась хоть кусочками.
...
Рейтинг: 0 / 0
20.02.2018, 19:32
| Ответить | Цитировать | Написать  
Вычисление и установка параметра SHMTOTAL
    #39605555
яфшуеі
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
яфшуеі
Гость
Сергей Бяфшуеі Спасибо.

Я тут вычитал https://www.ibm.com/support/knowledgecenter/ru/SSGU8G_12.1.0/com.ibm.admin.doc/ids_admin_0345.htm

"Такие внутренние операции, как очистка страниц или обработка контрольной точки, также могут привести к тому, что сервер баз данных превысит предельное значение, заданное параметром SHMTOTAL"

Чем это грозит, на какие "подводные камни" можно натолкнуться?

Дак на то и админ нужен, чтобы:
1. Правильно рассчитать ресурс
2. Выявить утечки

Ведь фокус в чем:
- У вас на сервере ограниченное кол-во памяти
- При скормлении Информикс Н-го объема памяти наблюдаются весь хост "зависает"
Вот одна из задач админа и состоит, чтобы определить критичный объем памяти
после которого начинаются проблемы и выставить SHMTOTAL дабы ее ограничить.

Почему растет объем используемой виртуальной памяти - это совсем другой вопрос и однозначного ответа никто не дает.
Нужно смотреть каждый случай отдельно начиная с
onstat -g ses
onstat -g mem
...
Рейтинг: 0 / 0
21.02.2018, 14:43
| Ответить | Цитировать | Написать  
Вычисление и установка параметра SHMTOTAL
    #39695237
Сергей Б
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сергей Б
Участник
Опять OOM killer "прибил" oninit. Одно "чудо"запустил update по 15 Гб таблице rowsize 5443 (изменял данные не по всей таблице, но этого хватило). Принято решение ограничить ограничить SHMTOTAL.
Но сначала хотелось бы знать/почитать сколько памяти потребляет один коннект, если ограничение на максимальное количество памяти для процессов. В инете не нашел (может и не правильно сформулировал вопрос)

IDS 11.70.FC6
Red Hat Enterprise Linux Server release 6.8 (Santiago)
...
Рейтинг: 0 / 0
29.08.2018, 21:56
| Ответить | Цитировать | Написать  
7 сообщений из 7, страница 1 из 1
Форумы / Informix [игнор отключен] [закрыт для гостей] / Вычисление и установка параметра SHMTOTAL
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=44&fpage=2&tid=1606734]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 24ms
get topic data:
 7ms
get forum data:
 2ms
get page messages:
 33ms
get tp. blocked users:
 1ms
others: 257ms
total:  353ms
созд. / загр.: 353ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]