Подскажите куда копать, что смотреть

Имеем - Сервер на Debian 7 64bit

С непредсказуемым интервалом север перестает принимать новые коннекты,
все коннекты по TCP

статистику по gstat - отдает (приведена ниже)
помогает только рестарт сервиса.

Информация по серверу

Server Version: LI-V2.5.3.26778 Firebird 2.5
Server Implementation: Firebird/linux AMD64
Service Version: 2


Configuration Info
---------------------------------------------------------------------------
Base File: /opt/firebird/
Lock File: /tmp/firebird/
Message File: /opt/firebird/
Security Database: /opt/firebird/security2.fdb

Database Info
---------------------------------------------------------------------------
Number of connections: 36
Number of databases: 1
Databases: /armax/db/paybox_new.arm

На момент "залипания" предосудительного в статитике ничего нет

Database "/armax/db/paybox_new.arm"
Database header page information:
Flags 0
Checksum 12345
Generation 230979339
Page size 16384
ODS version 11.2
Oldest transaction 221270751
Oldest active 221270752
Oldest snapshot 221270439
Next transaction 221270869
Bumped transaction 1
Sequence number 0
Next attachment ID 9708415
Implementation ID 24
Shadow count 0
Page buffers 2048
Next header page 0
Database dialect 3
Creation date Sep 16, 2014 23:46:32
Attributes no reserve

Variable header data:
Database backup GUID: {F4D64024-6F55-4160-FF9D-B9AA13FD1FB0}
Sweep interval: 0
*END*

----------------
D FBTrace наблюдаю следующее -

2014-09-27T08:42:33.8260 (2412:0x7f4bbc16a608) START_TRANSACTION
paybox_new (ATT_6841042, SYSDBA:NONE, UTF8, TCPv4:10.129.239.216)
(TRA_165532601, READ_COMMITTED | REC_VERSION | WAIT | READ_WRITE)

2014-09-27T08:42:33.8300 (2412:0x7f4bbc16a608) COMMIT_TRANSACTION
paybox_new (ATT_6841042, SYSDBA:NONE, UTF8, TCPv4:10.129.239.216)
(TRA_165532601, READ_COMMITTED | REC_VERSION | WAIT | READ_WRITE)
0 ms, 1 read(s), 1 write(s), 1 fetch(es), 1 mark(s)

2014-09-27T08:42:33.8320 (2412:0x7f4bbc16a608) START_TRANSACTION
paybox_new (ATT_6841042, SYSDBA:NONE, UTF8, TCPv4:10.129.239.216)
(TRA_165532602, READ_COMMITTED | REC_VERSION | WAIT | READ_WRITE)

2014-09-27T08:42:33.8360 (2412:0x7f4bbc16a608) COMMIT_TRANSACTION
paybox_new (ATT_6841042, SYSDBA:NONE, UTF8, TCPv4:10.129.239.216)
(TRA_165532602, READ_COMMITTED | REC_VERSION | WAIT | READ_WRITE)
0 ms, 1 read(s), 1 write(s), 1 fetch(es), 1 mark(s)

И вот начался "залип" -

2014-09-27T08:42:33.9270 (2412:0x7f4bd6e30cc8) START_TRANSACTION
/opt/firebird/security2.fdb (ATT_24939, SYSDBA:NONE, NONE, <internal>)
(TRA_29473520, CONCURRENCY | WAIT | READ_ONLY)

2014-09-27T08:42:33.9280 (2412:0x7f4bd6e30cc8) ROLLBACK_TRANSACTION
/opt/firebird/security2.fdb (ATT_24939, SYSDBA:NONE, NONE, <internal>)
(TRA_29473520, CONCURRENCY | WAIT | READ_ONLY)
1 ms, 1 write(s), 1 fetch(es), 1 mark(s)

2014-09-27T08:42:34.0080 (2412:0x7f4bd6e30cc8) START_TRANSACTION
/opt/firebird/security2.fdb (ATT_24939, SYSDBA:NONE, NONE, <internal>)
(TRA_29473521, CONCURRENCY | WAIT | READ_ONLY)

2014-09-27T08:42:34.0150 (2412:0x7f4bd6e30cc8) ROLLBACK_TRANSACTION
/opt/firebird/security2.fdb (ATT_24939, SYSDBA:NONE, NONE, <internal>)
(TRA_29473521, CONCURRENCY | WAIT | READ_ONLY)
0 ms, 1 write(s), 1 fetch(es), 1 mark(s)

2014-09-27T08:42:34.0610 (2412:0x7f4bd6e30cc8) START_TRANSACTION
/opt/firebird/security2.fdb (ATT_24939, SYSDBA:NONE, NONE, <internal>)
(TRA_29473522, CONCURRENCY | WAIT | READ_ONLY)

2014-09-27T08:42:34.0620 (2412:0x7f4bd6e30cc8) ROLLBACK_TRANSACTION
/opt/firebird/security2.fdb (ATT_24939, SYSDBA:NONE, NONE, <internal>)
(TRA_29473522, CONCURRENCY | WAIT | READ_ONLY)
0 ms, 1 write(s), 1 fetch(es), 1 mark(s)

2014-09-27T08:42:34.3670 (2412:0x7f4bd6e30cc8) START_TRANSACTION
/opt/firebird/security2.fdb (ATT_24939, SYSDBA:NONE, NONE, <internal>)
(TRA_29473523, CONCURRENCY | WAIT | READ_ONLY)

2014-09-27T08:42:34.3680 (2412:0x7f4bd6e30cc8) ROLLBACK_TRANSACTION
/opt/firebird/security2.fdb (ATT_24939, SYSDBA:NONE, NONE, <internal>)
(TRA_29473523, CONCURRENCY | WAIT | READ_ONLY)

И т.д.
после рестарта службы - все как надо....

2014-09-27T09:06:24.9680 (2412:0x7f4bd6e30cc8) START_TRANSACTION
/opt/firebird/security2.fdb (ATT_24939, SYSDBA:NONE, NONE, <internal>)
(TRA_29473664, CONCURRENCY | WAIT | READ_ONLY)

2014-09-27T09:06:24.9690 (2412:0x7f4bd6e30cc8) ROLLBACK_TRANSACTION
/opt/firebird/security2.fdb (ATT_24939, SYSDBA:NONE, NONE, <internal>)
(TRA_29473664, CONCURRENCY | WAIT | READ_ONLY)
0 ms, 1 write(s), 1 fetch(es), 1 mark(s)

2014-09-27T09:06:53.6880 (2412:0x7f4bd6e30cc8) DETACH_DATABASE
/opt/firebird/security2.fdb (ATT_24939, SYSDBA:NONE, NONE, <internal>)

2014-09-27T09:06:53.6880 (2412:0x7f4bd6e30cc8) TRACE_FINI
SESSION_1 Firebird Audit


2014-09-27T09:07:17.0820 (2379:0x7f670897f8c8) TRACE_INIT
SESSION_1 Firebird Audit


2014-09-27T09:07:17.0830 (2379:0x7f670897f8c8) ATTACH_DATABASE
/opt/firebird/security2.fdb (ATT_24941, FIREBIRD:NONE, NONE, <internal>)

2014-09-27T09:07:17.0840 (2379:0x7f670897f8c8) DETACH_DATABASE
/opt/firebird/security2.fdb (ATT_24941, FIREBIRD:NONE, NONE, <internal>)

2014-09-27T09:07:17.0840 (2379:0x7f670897f8c8) TRACE_FINI
SESSION_1 Firebird Audit


2014-09-27T09:07:17.5230 (2379:0x7f670897f8c8) TRACE_INIT
SESSION_1 Firebird Audit


2014-09-27T09:07:17.5240 (2379:0x7f670897f8c8) ATTACH_DATABASE
/opt/firebird/security2.fdb (ATT_24942, SYSDBA:NONE, NONE, <internal>)

2014-09-27T09:07:17.5280 (2379:0x7f670897f8c8) START_TRANSACTION
/opt/firebird/security2.fdb (ATT_24942, SYSDBA:NONE, NONE, <internal>)
(TRA_29473665, CONCURRENCY | WAIT | READ_ONLY)

2014-09-27T09:07:17.5290 (2379:0x7f670897f8c8) ROLLBACK_TRANSACTION
/opt/firebird/security2.fdb (ATT_24942, SYSDBA:NONE, NONE, <internal>)
(TRA_29473665, CONCURRENCY | WAIT | READ_ONLY)
0 ms, 1 read(s), 1 write(s), 1 fetch(es), 1 mark(s)

2014-09-27T09:07:17.5980 (2379:0x7f670897e6b8) TRACE_INIT
SESSION_1 Firebird Audit


2014-09-27T09:07:17.5980 (2379:0x7f670897e6b8) ATTACH_DATABASE
paybox_new (ATT_6963246, SYSDBA:NONE, UTF8, TCPv4:10.129.5.68)

2014-09-27T09:07:17.6010 (2379:0x7f670897e6b8) START_TRANSACTION
paybox_new (ATT_6963246, SYSDBA:NONE, UTF8, TCPv4:10.129.5.68)
(TRA_165532603, READ_COMMITTED | REC_VERSION | WAIT | READ_WRITE)

2014-09-27T09:07:17.6200 (2379:0x7f670897f8c8) START_TRANSACTION
/opt/firebird/security2.fdb (ATT_24942, SYSDBA:NONE, NONE, <internal>)
(TRA_29473666, CONCURRENCY | WAIT | READ_ONLY)

2014-09-27T09:07:17.6230 (2379:0x7f670897f8c8) ROLLBACK_TRANSACTION
/opt/firebird/security2.fdb (ATT_24942, SYSDBA:NONE, NONE, <internal>)
(TRA_29473666, CONCURRENCY | WAIT | READ_ONLY)
2 ms, 1 read(s), 1 write(s), 1 fetch(es), 1 mark(s)

2014-09-27T09:07:17.6390 (2379:0x7f670897e6b8) COMMIT_TRANSACTION
paybox_new (ATT_6963246, SYSDBA:NONE, UTF8, TCPv4:10.129.5.68)
(TRA_165532603, READ_COMMITTED | REC_VERSION | WAIT | READ_WRITE)
0 ms, 1 read(s), 1 write(s), 1 fetch(es), 1 mark(s)

2014-09-27T09:07:17.6460 (2379:0x7f670897d548) TRACE_INIT
SESSION_1 Firebird Audit


2014-09-27T09:07:17.6460 (2379:0x7f670897d548) ATTACH_DATABASE
paybox_new (ATT_6963247, SYSDBA:NONE, UTF8, TCPv4:10.129.193.12)

2014-09-27T09:07:17.6480 (2379:0x7f670897d548) START_TRANSACTION
paybox_new (ATT_6963247, SYSDBA:NONE, UTF8, TCPv4:10.129.193.12)
(TRA_165532604, READ_COMMITTED | REC_VERSION | WAIT 15 | READ_WRITE)

2014-09-27T09:07:17.6620 (2379:0x7f670897e6b8) START_TRANSACTION
paybox_new (ATT_6963246, SYSDBA:NONE, UTF8, TCPv4:10.129.5.68)
(TRA_165532605, READ_COMMITTED | REC_VERSION | WAIT | READ_WRITE)

2014-09-27T09:07:17.8500 (2379:0x7f670897e6b8) COMMIT_TRANSACTION
paybox_new (ATT_6963246, SYSDBA:NONE, UTF8, TCPv4:10.129.5.68)
(TRA_165532605, READ_COMMITTED | REC_VERSION | WAIT | READ_WRITE)
0 ms, 1 read(s), 6 write(s), 1 fetch(es), 1 mark(s)

2014-09-27T09:07:17.9070 (2379:0x7f670897e6b8) START_TRANSACTION
paybox_new (ATT_6963246, SYSDBA:NONE, UTF8, TCPv4:10.129.5.68)
(TRA_165532606, READ_COMMITTED | REC_VERSION | WAIT | READ_WRITE)

2014-09-27T09:07:17.9120 (2379:0x7f670897e6b8) COMMIT_TRANSACTION
paybox_new (ATT_6963246, SYSDBA:NONE, UTF8, TCPv4:10.129.5.68)
(TRA_165532606, READ_COMMITTED | REC_VERSION | WAIT | READ_WRITE)
0 ms, 1 read(s), 1 write(s), 1 fetch(es), 1 mark(s)

2014-09-27T09:07:17.9160 (2379:0x7f670897e6b8) START_TRANSACTION
paybox_new (ATT_6963246, SYSDBA:NONE, UTF8, TCPv4:10.129.5.68)
(TRA_165532607, READ_COMMITTED | REC_VERSION | WAIT | READ_WRITE)

2014-09-27T09:07:17.9310 (2379:0x7f670897e6b8) COMMIT_TRANSACTION
paybox_new (ATT_6963246, SYSDBA:NONE, UTF8, TCPv4:10.129.5.68)
(TRA_165532607, READ_COMMITTED | REC_VERSION | WAIT | READ_WRITE)
0 ms, 1 read(s), 1 write(s), 1 fetch(es), 1 mark(s)

-------------------------------

Не подскажут ли гуру - куда копать собственно ?

Клиенты - работают через jaybird

да, размер базы 25 гигов, выполняются запросы к external dtdbase - ледит на этом же севере рядышком (там ведутся логи кое-какие)
озу 16 гиг диски - SSD

Симонов Денис,
так по логике приложения нужно :(

Dimitry Sibiryakov,
в логе севера вот такая беда -

processingdb2 Sat Sep 27 01:00:01 2014
Sweep is started by SYSDBA
Database "paybox_new"
OIT 163301032, OAT 163301033, OST 163301033, Next 163301036

processingdb2 Sat Sep 27 01:04:55 2014
Sweep is finished
Database "paybox_new"
OIT 163324560, OAT 163324561, OST 163324561, Next 163324610

processingdb2 Sat Sep 27 05:32:47 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:43:35 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:44:47 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:45:58 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:47:09 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:47:34 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:48:20 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:49:31 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:50:42 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:51:53 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:53:04 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:53:09 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:54:15 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:55:26 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:56:37 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:57:49 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:58:42 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 08:59:00 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 09:00:11 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 09:01:22 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 09:02:33 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 09:03:44 2014
INET/inet_error: read errno = 104


processingdb2 Sat Sep 27 09:04:14 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 09:04:56 2014
INET/inet_error: read errno = 104

processingdb2 Sat Sep 27 09:06:07 2014
INET/inet_error: read errno = 104

processingdb2 (Client) Sat Sep 27 09:06:57 2014
/opt/firebird/bin/fbguard: /opt/firebird/bin/fb_smp_server killed (did not terminate)

processingdb2 (Client) Sat Sep 27 09:07:16 2014
/opt/firebird/bin/fbguard: guardian starting /opt/firebird/bin/fb_smp_server

кипалив настроен на 12 минут

локальные коннекты - а вот не помню, залипнет - проверю

Dimitry Sibiryakovsergpn_в логе севера вот такая беда -
Время в логе и трассировке не соответствует друг другу. Получены на разных машинах?

Остальные вопросы ты проигнорировал намеренно?

Нет, я просто весь лог привел за эту ночь, сейчас сделаю более аккуратную выборку.

sergpn_,

D FBTrace наблюдаю следующее -
за несколько минут до "залипания"



И вот начался "залип" -



здесь происходит что-то непонятное для меня - подозреваю что связано с рестартом сервиса ФБ


рестрат




Логи сервера за это промежуток - с 8:42 до 9:08



в это промежуток коннекты сервер ринимал только через ServiceAPI (равда с удаленной машины)
коннекты к самой базе отваиваливались о таймауту.
Коннекты через isql с локальной машины - не пробовал, коа зависнет еще раз - проверю.
Ворос собсвенно в следующем - какую инфу нужно снять и откуда при следующем инциденте?

kdvsergpn_,
мда, read committed и wait - это весьма интересно.


Дим , а что в этом такого странного ?

Dimitry Sibiryakov,
Unable to complete network request to host "db.armax.ru". Error reading data from the connection. Unsuccessful execution caused by a system error that precludes successful execution of subsequent statements Error Code: 401

В начале подвисания
сначала такие GDS Exception. 335544726. Error reading data from the connection

потом пошли GDS Exception. 335544721. Unable to complete network request to host

Dimitry Sibiryakovsergpn_INET/inet_error: read errno = 104
У меня такое впечатление, что у тебя или антивирус или файерволл возбуждается и "защищает"
сервер от DoS.

Нет там антивирусов никаких :( и файерволов, кроме fail2ban, но он на ssh-ные порты настроен.
кроме того - там идет порядка трехсот транзакций в секунду, если бы возбуждался - то возбудился бы давно.
и как тогда объяснить что рестарт ФБ (систему не перегружая) - помогает.. в общем я в непонятках :(

[quot Dimitry Sibiryakov]
sergpn_
У тебя все пользователи ходят под разными именами или под одним?

пользователи- это апп-сервер, с пулом коннектов, под одним пользователем он ходит.

насчет перегрева свича - я так понимаю что эту гипотезу можно будет проверить только попробовав подцепится локально ? причем попробовав как по локальному так и по TCP протоколу но с локальной машины ?