ReSQL.ru
     
powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Informix [игнор отключен] [закрыт для гостей] / Сообщение в логе информикс
12 сообщений из 12, страница 1 из 1
Сообщение в логе информикс
    #37206530
KyRo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KyRo
Участник
Добрый день.

После миграции базы данных с Информикса 9.4 uc4 на 11.10 uc2 в логе начали появляться сообщения следующего вида (много сообщений)

автор11:54:46 Contiguous shared memory segment allocation failed at 0x0xb7d37000.
Allocation successful at 0x0xffffffff.
Check SHMBASE is consistent with the value in $INFORMIXDIR/etc/onconfig.std.
If you are using the correct SHMBASE value in your ONCONFIG file, then
consider this message informational only.


Сравнения параметра как предложено в сообщении показало что параметр SHMBASE идентичен
автор[root@primus1 logs]# less /usr/informix_11.10/etc/onconfig | grep SHMBASE
SHMBASE 0x44000000L # Shared memory base address
[root@primus1 logs]# less /usr/informix_11.10/etc/onconfig.std | grep SHMBASE
SHMBASE 0x44000000L # Shared memory base address


Далее после этих сообщений начинают появляться сообщения

автор12:01:08 1024 incomplete connections at this time. System might be under attack through
invalid clients on the listener port.

После чего система отказывает в коннекте до перезапуска.
Подскажите что это может быть и из за чего такая ситуация может возникать ?

настройки памяти :

авторLOCKS 4000000 # Maximum number of locks
NUMAIOVPS # Number of IO vps
PHYSBUFF 256 # Physical log buffer size (Kbytes)
LOGBUFF 32 # Logical log buffer size (Kbytes)
CLEANERS 20 # Number of buffer cleaner processes
SHMBASE 0x44000000L # Shared memory base address
SHMVIRTSIZE 524288 # initial virtual shared memory segment size
SHMADD 65536 #8192 # Size of new shared memory segments (Kbytes)
EXTSHMADD 32768 #8192 # Size of new extension shared memory segments (Kbytes)
SHMTOTAL 0 # Total shared memory (Kbytes). 0=>unlimited
SHMVIRT_ALLOCSEG 0 # Values between 0 and .99 are %, values > 1 are
# KB - when this much virtual memory is used we
# try to get a new segment. 0 means "off". 2nd
# parameter is alarm level
CKPTINTVL 300 # Check point interval (in sec)
TXTIMEOUT 300 # Transaction timeout (in sec)
STACKSIZE 128 #32 # Stack size (Kbytes)
...
Рейтинг: 0 / 0
08.04.2011, 13:07
| Ответить | Цитировать | Написать  
Сообщение в логе информикс
    #37206737
GVF112GVF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GVF112GVF
Гость
KyRo,

Как на счет выполнение требований - IBM Informix Dynamic Server Enterprise and Workgroup Editions Machine Notes
11.10.xC2, 6 November 2007

The ONCONFIG variable SHMBASE should be set to the following: SHMBASE 0x30000000L

http://publib.boulder.ibm.com/infocenter/idshelp/v111/index.jsp?topic=/com.ibm.relnotes.doc/ids_1110xc2/ids_machnotes.html

С уважением,
Вадим.
...
Рейтинг: 0 / 0
08.04.2011, 14:27
| Ответить | Цитировать | Написать  
Сообщение в логе информикс
    #37206768
GVF112GVF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GVF112GVF
Гость
GVF112GVFKyRo,

Как на счет выполнение требований - IBM Informix Dynamic Server Enterprise and Workgroup Editions Machine Notes
11.10.xC2, 6 November 2007

The ONCONFIG variable SHMBASE should be set to the following: SHMBASE 0x30000000L

http://publib.boulder.ibm.com/infocenter/idshelp/v111/index.jsp?topic=/com.ibm.relnotes.doc/ids_1110xc2/ids_machnotes.html

С уважением,
Вадим.

Если все требования Machine Notes 11.10.xC2 выполнены (для параметров ядра OS, конфигурации Kernel Asynchronous I/O (KAIO) и т.д.) попробуйте проверить журнал сообщений операционной системы и online.log. Это может быть попытка вирусной атаки на порт Informix или ошибка конфигурации сетевого интерфейса (Limiting Denial-of-Service Flood Attacks).

Обратите внимание на параметры:

To reduce the risk of a hostile, DOS flood attack, you can customize the following configuration parameters:
- LISTEN_TIMEOUT . Sets the incomplete connection timeout period. The default incomplete connection timeout period is 10 seconds.
- MAX_INCOMPLETE_CONNECTIONS . Restricts the number of incomplete requests for connections. The default maximum number of incomplete connections is 1024.

http://publib.boulder.ibm.com/infocenter/idshelp/v10/topic/com.ibm.admin.doc/admin210.htm

С уважением,
Вадим.
...
Рейтинг: 0 / 0
08.04.2011, 14:44
| Ответить | Цитировать | Написать  
Сообщение в логе информикс
    #37206826
KyRo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KyRo
Участник
Спасибо за Ваши ответы .
По первой Вашей рекомендации , как я понимаю параметр SHMBASE 0x30000000L необходимо выставлять в случае работы СУБД на ос AIX.
В данном случае мы используем 32 х битную ос Linux "Red Hat Enterprise Linux AS release 4 (Nahant Update 4)"
По поводу рекомендованных параметр ядра , у нас стоит все по умолчанию и действительно есть некоторые разногласия.

По поводу второго ответа я проверил , переменные выставлены в дефолт и как я понял из приведенной Вами документации в случает если это не досс атака, то выходом из положения может стать увеличение количество потоков и уменьшение таймаута ?
...
Рейтинг: 0 / 0
08.04.2011, 15:07
| Ответить | Цитировать | Написать  
Сообщение в логе информикс
    #37207155
GVF112GVF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GVF112GVF
Гость
KyRoСпасибо за Ваши ответы .
По первой Вашей рекомендации , как я понимаю параметр SHMBASE 0x30000000L необходимо выставлять в случае работы СУБД на ос AIX.
В данном случае мы используем 32 х битную ос Linux "Red Hat Enterprise Linux AS release 4 (Nahant Update 4)"
По поводу рекомендованных параметр ядра , у нас стоит все по умолчанию и действительно есть некоторые разногласия.

По поводу второго ответа я проверил , переменные выставлены в дефолт и как я понял из приведенной Вами документации в случает если это не досс атака, то выходом из положения может стать увеличение количество потоков и уменьшение таймаута ?

Я думаю, что необходимо проверить число потоков слушателей для сетевых виртуальных процессоров,
которые обслуживают запросы на соединения. Сколько у Вас одновременных соединений работает с сервером INFORMIX ?
Какое максимально число открытых файлов для процесса OS: ulimit -a ...open files ?!

Покажите файл конфигурации onconfig (NETTYPE) ?!

С уважением,
Вадим.
...
Рейтинг: 0 / 0
08.04.2011, 16:54
| Ответить | Цитировать | Написать  
Сообщение в логе информикс
    #37207196
KyRo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KyRo
Участник
Ну число сетевых соединений к данному серверу у нас в пределах 50 -70 , возможно и больше так как это база данных для набора веб приложений.
Параметр ulimit -a
авторopen files (-n) 1024


Параметр NETTYPE стоит в дефолте .

Проведя анализ лога перед началом инцидента у меня почему то складывается такое впечатление что проблема заключается в каком то не правильно написанном запросе, который отъедает всю память, после чего сервер не может установить новые соединения что и приводит к накоплению очереди и появлению второго типа сообщений в логе.
Может ли быть такая ситуация и если да то как мне словить такой запрос ?

Лог системы перед инцидентом

автор15:06:05 Dynamically allocated new virtual shared memory segment (size 65536KB)
15:06:05 Memory sizes:resident:423132 KB, virtual:917504 KB, no SHMTOTAL limit
15:08:20 Checkpoint Completed: duration was 0 seconds.
15:08:20 Fri Apr 8 - loguniq 115384, logpos 0x3c65018, timestamp: 0xea38478d Interval: 8896

15:20:43 shmget: [EEXIST][17]: key 0x5256482a: shared memory already exists
15:20:43 out of virtual shared memory

15:20:43 shmget: [EEXIST][17]: key 0x5256482a: shared memory already exists
15:20:43 out of virtual shared memory

15:20:43 Dynamically allocated new virtual shared memory segment (size 65536KB)
15:20:43 Memory sizes:resident:423132 KB, virtual:983040 KB, no SHMTOTAL limit
15:23:21 Checkpoint Completed: duration was 0 seconds.
15:23:21 Fri Apr 8 - loguniq 115384, logpos 0x5d51018, timestamp: 0xea48d276 Interval: 8899

15:27:44 Logical Log 115384 Complete, timestamp: 0xea4d4d39.
15:27:45 Logical Log 115384 - Backup Started
15:27:46 Logical Log 115384 - Backup Completed
15:28:22 Checkpoint Completed: duration was 0 seconds.
15:28:22 Fri Apr 8 - loguniq 115385, logpos 0x30c154, timestamp: 0xea4e7b4d Interval: 8900

15:34:06 shmget: [EEXIST][17]: key 0x5256482c: shared memory already exists
15:34:06 out of virtual shared memory
15:34:06 Dynamically allocated new virtual shared memory segment (size 65536KB)
15:34:06 Memory sizes:resident:423132 KB, virtual:1048576 KB, no SHMTOTAL limit
15:35:08 Dynamically allocated new virtual shared memory segment (size 65536KB)
15:35:08 Memory sizes:resident:423132 KB, virtual:1114112 KB, no SHMTOTAL limit
15:35:51 shmget: [EEXIST][17]: key 0x52564830: shared memory already exists
15:35:51 out of virtual shared memory

15:35:51 Dynamically allocated new virtual shared memory segment (size 65536KB)
15:35:51 Memory sizes:resident:423132 KB, virtual:1179648 KB, no SHMTOTAL limit
15:38:22 Checkpoint Completed: duration was 0 seconds.
15:38:22 Fri Apr 8 - loguniq 115385, logpos 0x161f018, timestamp: 0xea58241f Interval: 8902

15:38:22 Maximum server connections 55
15:38:22 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 0, Plog used 649, Llog used 2183

15:39:52 Dynamically allocated new virtual shared memory segment (size 65536KB)
15:39:52 Memory sizes:resident:423132 KB, virtual:1245184 KB, no SHMTOTAL limit
15:41:08 Dynamically allocated new virtual shared memory segment (size 65536KB)
15:41:08 Memory sizes:resident:423132 KB, virtual:1310720 KB, no SHMTOTAL limit
15:43:22 Checkpoint Completed: duration was 0 seconds.
15:43:22 Fri Apr 8 - loguniq 115385, logpos 0x1d40018, timestamp: 0xea5baf81 Interval: 8903

15:43:22 Maximum server connections 55
15:43:22 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 0, Plog used 628, Llog used 1825

15:47:06 Dynamically allocated new virtual shared memory segment (size 65536KB)
15:47:06 Memory sizes:resident:423132 KB, virtual:1376256 KB, no SHMTOTAL limit
15:48:22 Checkpoint Completed: duration was 0 seconds.
15:48:22 Fri Apr 8 - loguniq 115385, logpos 0x2ab5018, timestamp: 0xea615e0f Interval: 8904

15:48:22 Maximum server connections 55
15:48:22 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 0, Plog used 1927, Llog used 3445

15:49:58 Dynamically allocated new virtual shared memory segment (size 65536KB)
15:49:58 Memory sizes:resident:423132 KB, virtual:1441792 KB, no SHMTOTAL limit
15:52:38 shmat: [EINVAL][22]: shared memory base address illegal

15:52:38 Contiguous shared memory segment allocation failed at 0x0xb7d37000.
Allocation successful at 0x0x42000000.
Check SHMBASE is consistent with the value in $INFORMIXDIR/etc/onconfig.std.
If you are using the correct SHMBASE value in your ONCONFIG file, then
consider this message informational only.

15:52:38 create_tcb: cannot allocate memory
...
Рейтинг: 0 / 0
08.04.2011, 17:19
| Ответить | Цитировать | Написать  
Сообщение в логе информикс
    #37207275
GVF112GVF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GVF112GVF
Гость
KyRo,

Возможно все, что угодно ... :)

1. Попробуйте установить рекомендованные параметры для ядра LINUX (согласно Machine Notes) .
2. Пересмотреть значение параметра (NETTYPE). Например, NETTYPE soctcp, 2 ,100,NET
3. Выполнить мониторинг использования сетевых ресурсов и ресурсов памяти (например с помощью onstat)

С уважением,
Вадим.
...
Рейтинг: 0 / 0
08.04.2011, 17:58
| Ответить | Цитировать | Написать  
Сообщение в логе информикс
    #37207515
Яковлев Павел
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Яковлев Павел
Гость
Возможно не ваш случай, но была такая фигня

- информикс решает сходить в CRASH

- и выполняет своё намерение

- но при этом (что необычно для крэша) успевает таки скотина освободить первый сегмент памяти

- после чего профилактический onclean чистит всё (семафор и прочее), но не найдя _первый_ сегмент считает что с памятью нормально

- заново поднятый информикс спокойно работает...... пока не решает добавить себе памяти

- и с удивлением узнаёт что фиг (второй и так далее сегменты с прошлого раза ни кто не вычистил однако)

- ну и работать то он продолжает, но ругается что сегмент не приатачить и посылает в сад новые коннекты говоря что под них памяти свзять неоткуда
...
Рейтинг: 0 / 0
08.04.2011, 21:28
| Ответить | Цитировать | Написать  
Сообщение в логе информикс
    #37208699
falcon111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
falcon111
Гость
У меня тоже на 11.50FC8/w64 похожая проблема.
На сервере 12 гиг памяти, но при старте использовать ее не получается.

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
RESIDENT  1 
SHMBASE 0x80000000L
SHMVIRTSIZE  1835008  # 1572864 
SHMADD  262144 
EXTSHMADD  262144 
SHMTOTAL  0 
SHMVIRT_ALLOCSEG  0 , 3 
#SHMNOACCESS 0x70000000-0x7FFFFFFF

Так - стартует, хоть и с непонятной руганью на Contiguous shared memory segment allocation:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
 12 : 29 : 54   IBM Informix Dynamic Server Started.
 12 : 29 : 55   Segment locked: addr= 0000000080000000 , size= 1595867136 
 12 : 29 : 55   Contiguous shared memory segment allocation failed at 0x0000000041210000.
Allocation successful at 0x0000000002690000.
Check SHMBASE is consistent with the value in $INFORMIXDIR/etc/onconfig.std.
If you are using the correct SHMBASE value in your ONCONFIG file, then
consider this message informational only.

Sun Apr  10   12 : 29 : 55   2011 

 12 : 29 : 55   Booting Language <c> from module <>

А если указать SHMVIRTSIZE 6291456, то не стартует:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
 12 : 29 : 14   IBM Informix Dynamic Server Started.
 12 : 29 : 15   Segment locked: addr= 0000000080000000 , size= 1595867136 
 12 : 29 : 15   shmat: [EINVAL][ 22 ]: shared memory base address illegal
 12 : 29 : 15   Contiguous shared memory segment allocation failed at 0x0000000041210000.
Allocation successful at 0x0000000141210000.
Check SHMBASE is consistent with the value in $INFORMIXDIR/etc/onconfig.std.
If you are using the correct SHMBASE value in your ONCONFIG file, then
consider this message informational only.
 12 : 29 : 15   mt_shm_init: can't create virtual segment

На боевом 11.50FC6 все работает без подобных проблем, а вот что творится с этим FC8 - не пойму.
FC6:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
 16 : 11 : 43   IBM Informix Dynamic Server Started.
 16 : 11 : 44   Segment locked: addr= 0000000080000000 , size= 3221225472 
 16 : 11 : 44   Dynamically allocated new virtual shared memory segment (size 6291456KB)
 16 : 11 : 44   Memory sizes:resident: 3145728  KB, virtual: 9437184  KB, no SHMTOTAL limit

Wed Apr  06   16 : 11 : 48   2011 

 16 : 11 : 48   Booting Language <c> from module <>

Что-то не так у FC8 с этим SHMBASE?
...
Рейтинг: 0 / 0
10.04.2011, 13:52
| Ответить | Цитировать | Написать  
Сообщение в логе информикс
    #37208816
falcon111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
falcon111
Гость
разбирался с использованием памяти:
Это на FC8:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
C:\Program Files\IBM\Informix>onstat -g seg

IBM Informix Dynamic Server Version  11 . 50 .FC8     -- On-Line -- Up 00:00:25 -- 3168960 Kbytes

Segment Summary:
id         key        addr             size             ovhd     class blkused blkfree
 1381386242   52564802     2410000            1879048192         22021888  V      17081   441671 
 1381386241   52564801     80000000           1365966848         16444928  R*     333475   13 
Total:     -          -                 3245015040        -        -      350556   441684 

   (* segment locked in memory)

А это на FC6:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
C:\Program Files\IBM\Informix>onstat -g seg

IBM Informix Dynamic Server Version  11 . 50 .FC6     -- On-Line -- Up 3 days 21:53:41 -- 37748736 Kbytes

Segment Summary:
id         key        addr             size             ovhd     class blkused  blkfree
 1381386241   52564801     80000000           3221225472         38186288  R*     775877     10555 
 1381386242   52564802    1411e0000         3221225472         37750576  V      786432     0 
 1381386243   52564803    2011e0000         6442450944         75499360  V      165906     1406958 
 1381386244   52564804    3811e0000         3221225472         37750576  V      9217       777215 
 1381386245   52564805    4411e0000         3221225472         37750576  V      9217       777215 
 1381386246   52564806    5011e0000         3221225472         37750576  V      9217       777215 
 1381386247   52564807    5c11e0000         3221225472         37750576  V      9217       777215 
 1381386248   52564808    6811e0000         3221225472         37750576  V      9217       777215 
 1381386249   52564809    7411e0000         3221225472         37750576  V      9217       777215 
 1381386250  5256480a   8011e0000         3221225472         37750576  V      9217       777215 
 1381386251  5256480b   8c11e0000         3221225472         37750576  V      9217       777215 
Total:     -          -                 38654705664       -        -      1801951    7635233 

   (* segment locked in memory)

Обращает на себя внимание, что FC6, логично с моей точки зрения, аллокирует память последовательно увеличивая базовый адрес, в то время, как FC8 зачем-то лезет "вниз" 1381386242 52564802 2410000 1879048192 22021888 V 17081 441671

Похоже на косяк сервера.

Пытался бороться раскомментировав SHMNOACCESS 0x00000000-0x7FFFFFFF - без видимого успеха.

Тогда в качестве крайней меры, поставил SHMBASE 0x180000000L

Тогда сервер запускается, использовав больше, чем 1.8гига памяти:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
 15 : 40 : 23   IBM Informix Dynamic Server Started.
 15 : 40 : 23   Segment locked: addr= 0000000180000000 , size= 1365966848 
 15 : 40 : 23   Contiguous shared memory segment allocation failed at 0xFFFFFFFFD16B00
 00 .
Allocation successful at 0x000000007FFF0000.
Check SHMBASE is consistent with the value in $INFORMIXDIR/etc/onconfig.std.
If you are using the correct SHMBASE value in your ONCONFIG file, then
consider this message informational only.

Sun Apr  10   15 : 40 : 23   2011 

 15 : 40 : 23   Booting Language <c> from module <>

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
C:\Program Files\IBM\Informix\etc>onstat -g seg

IBM Informix Dynamic Server Version  11 . 50 .FC8     -- On-Line -- Up 00:02:11 -- 3693248 Kbytes

Segment Summary:
id         key        addr             size             ovhd     class blkused blkfree
 1381386242   52564802    7fff0000          2415919104         28313392  V      18770   571054 
 1381386241   52564801     180000000          1365966848         16444928  R*     333475   13 
Total:     -          -                 3781885952        -        -      352245   571067 

   (* segment locked in memory)
Jlyfrj
...
Рейтинг: 0 / 0
10.04.2011, 15:44
| Ответить | Цитировать | Написать  
Сообщение в логе информикс
    #37209430
olleg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
olleg
Гость
Аналогичная ситуация с аналогичными сообщениями об ошибках:
сервер 11.50.FC8 запустился на
WinServer2003 R2 Standard x64 Edition Service Pack 2
только c параметром
SHMBASE 0x160000000L
или выше 0x170000000L 0x180000000L ....
...
Рейтинг: 0 / 0
11.04.2011, 10:11
| Ответить | Цитировать | Написать  
Сообщение в логе информикс
    #37209522
KyRo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KyRo
Участник
Спасибо за ответы.
Попробую с выставить рекомендованные параметры для ядра LINUX (согласно Machine Notes) , а так же переменную NETTYPE и немного подожду.
Что то мне подсказывает, что тут где то проблема в кривых руках программеров, а то в производственной эксплуатации эта версия Informix у нас уже давно и вроде как багов по памяти не каких не было видно.
...
Рейтинг: 0 / 0
11.04.2011, 10:51
| Ответить | Цитировать | Написать  
12 сообщений из 12, страница 1 из 1
Форумы / Informix [игнор отключен] [закрыт для гостей] / Сообщение в логе информикс
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru, Чат Кролика       Пашэ: Рисунки, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=44&msg=37207196&tid=1607380]:
 0ms
get settings:
 22ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 61ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 291ms
get tp. blocked users:
 1ms
others: 34ms
total:  440ms
созд. / загр.: 440ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]