Доброго времени суток!

Сервер 64 ядра 256GB ОЗУ
PostgreSQL 12.8 (Debian 12.8-1.pgdg100+1) on x86_64-pc-linux-gnu, compiled by gcc (Debian 8.3.0-6) 8.3.0, 64-bit
Debian GNU/Linux 10 (buster)


С недавних пор появились фантомные процессы [postgres] причем с 100% утилизацией CPU SystemTime, на несколько секунда или минут висят.
Кол-во 3-50 порою забивают весь вывод команды TOP.

причем strace процесса пустой
root@:/tmp# strace -p 42321 -s 128 -T
strace: Process 42321 attached
+++ exited with 0 +++


Нагрузка скажем не очень большая 10K tps
Профиль нагрузки не менялся, мжт немного вырос, в pg_stat_activity ничего подозрительного нет, вернее этих процессов фантомов там нет и нагрузка от приложения не проседает, только скачет общее CPU до 100% от фантомных процессов с зашкаливающем SystemTime.


Подскажите, сталкивался кто с такой бедой?

top -с выглядит следующим образом

Честно говоря как замерить forks / sec не представляю возможным.

Но все приложения ходят в базу чрз PgBauncer, включил логирование коннектов, в логах появились записи от zabbix локально, где-то 2 коннекта в секунду, не может он такой SystemTime накручивать.

Предварительно дав checkpoint и на pgBouncer pause, далее попытался отправить postgres в restart так сервер повис с 100 фантомных процессов в TOP, пришлось дать hard reset.

После ребута сервера ситуация мало чем изменилась, по прежнему время от времени появляется пачка фантомных процессов.

pool_mode = transaction

сервер железный

Новых коннектов нет, потому как приложение работает чрз pgBouncer в режиме pool_mode = transaction и то что новых коннектов нет это нормально.

Уже писал выше о нагрузке от приложений ~10К запросов в секунду.

Zabbix снимает некоторые метрики чрз psql и для этого делает 2 коннекта в секунду это тоже нормально.

уже писал выше вывод strace фантомного процесса, он пустой.
повторю еще раз
root@:/tmp# strace -p 42321 -s 128 -T
strace: Process 42321 attached
+++ exited with 0 +++

Везде пусто, не perf не strace ничего не выводят, что удивительно, другие процессы postgres прекрасно выводят стек своей работы.

Вот еще один нюанс, kill -9 с процессом ничего не делает, он по прежнему висит пока сам не исчезнет.
После попыток kill в логах БД пусто, такое ощущение, что это не postgres процессы, и не понятно почему для них не работает kill -9, загадка.

Процесс висит, а perf top либо пишет что процесс не найден, либо выводит вот такую ерунду.

вывод dmesg

вывод perf top -a во время пика фантомных процессов.

вот еще пример raw_spin_lock в TOP

вот еще пример хороший

В итоге, просто поменяли сервер железный, на новый, с аналогичными настройками и характеристиками, проблема с фантомными процессами ушла сразу.

perf top -a на новом сервере, если кому интересно (профиль нагрузки БД не менялся).