Напиши по крайне мере конфигурацию сервера.
Сколько процессоров, памяти
Что запущено
Сколько выделено под JVM, ключи в строке запуска или посмотреть через JConsole

Базовые средства - есть в самой Java (JConsole). JDK можно тупо скопированием в свой home директорий, инсталятор запускать не нужно, т.е. операция совершенно безопасная.

Подключаться удобнее на самом сервере. Т.е. можно конечно сконфигурировать удаленное управление/настройку/мониторинг/отлатку, но это нужно разбираться и иметь "прямые руки" у админов (в том числе на уровне ОС, SSH, виртуалок, маршрутизаторов как минимум разрешить прохождение/проброс нужных портов).

Т.ч. самое простое:
1) прямо на сервере посмотреть командами ОС (например банальный top) что с памятью в системе, чем она забита. Админы это уметь должны. Падает именно по нехватке памяти ОС!
2) JConsole посмотреть что с памятью в Java. Лучше под реальной нагрузкой.
3) Запинать начальство, что бы оно поискало, какие были требования/рекомендации от разработчиков.
Если раньше работало стабильно, а сейчас стало падать - скорее всего что-то поменялось. Может пользователей добавилось - может просто требуется добавить памяти в сервак/поставить новый.

Если же действительно утечки памяти - то или обращаться к раззработчикам или нанимать Java программиста. Исходники конечно желательны, но в принципе, можно и декомпилятором классы декомпилировать.

IMHO & AFAIK
сорри за много-букв

Basil A. SidorovКто там что говорил, про неправильность выделения дополнительной памяти для JVM.....

Как бы ошибка говорила.
Native memory allocation.....

Basil A. SidorovLeonid Kudryavtsev, на скрине есть все, что нужно по конфигурации сервера?

Ну смотреть параметры памяти лучше под реальной нагрузкой. В Вашем скриншоте смысла особого нет, т.к. видно, что JVM недавно запущена.

Вроде JConsole еще показывает с какими параметрами (ключами строки запуска), работает JVM.

1)
по скрину можно __предположить__, что на сервере всего крутиться дофига и больше. Т.е. по русски "помойка"

Total phisical memory = 64 GB
Free phisical memory = 17

Процессоров тоже 8 штук.

Вообще-то, Java крайне плохо преспособлена для работы в режиме "выделенный сервер коллективного пользования 100500 сервисами"

Дефолтные значения при запуске JVM выбираются из предположения, что JVM на сервере ОДНА. Если на сервере много процессоров и 100500 штук JVM - дефолтные параметры JVM крайне не оптимальны, избыточно и даже "бредовые" (нарывался на 40 процессорной машине).

Мое IMHO, на сервере, ресурсы должны быть выделены службам раз и навсегда. Т.ч. выделить нормально памяти приложениям по __константам__. Xmx==Mms, PermGen / Metaspace - константа, NonHeapMemory - константа

Тогда Java один раз при запуска память скушает и никаких native allocation в процессе работы быть не должно в принципе.

2)
Maximum heap size = 233 MB для системы работающей в продакшене... ну как-то Вы сильно память жалеете )))

3)
Для настройки памяти включают максимально детальные логи GC, и на основе логов строят график за день/неделю работы под нагрузкой.
Можно включить дамп памяти при наступление java-ошибки out of memory.

Насчет требований от разрабов: они давным-давно поддерживали приложение, но потом от их услуг отказались, а у нас, кто этим занимались - ушли (говорили, что ВРОДЕ раньше таких проблем не было, в том плане, переодически ребутать приходилось томкат из-за сжирания всей памяти).

Классика, из разряда "скупой платит дважды"

Вам можно только посочувствовать. Если это действительно memory leak, то требуются знания/опыт Java и не только программирования, но и в какой-то мере легкого хакерства ))) копатся в чужом коде (еще и декомпилировать).... не радостное занятие

IMHO & AFAIK

Basil A. SidorovLeonid KudryavtsevКак бы ошибка говорила.
Native memory allocation.....Это многозначная ошибка и по ней ничего сказать нельзя.
В чем "многозначность" падения malloc ?

metrodixLeonid Kudryavtsev, то скрин был на visualvm... В JConsole только на себя и visualvm конекшн есть, томкат я не пойму как подключить к visualVM.

Если локально - вообще проблем быть не должно.

Возможно нужно запускаться из под того же пользователя, что и target JVM. Как это делать под linux'ом - более менее представляю, как под Windows - не очень

Пальцем в небо: попытайтесь JConsole запустить по правой кнопки мышки "run as administrator"

Вообще, читать доки. Лично я не помню. Подключиться локально у меня никогда проблем не было.
metrodixА в configure tomcat в ява опциях значения нашел:
-XX:PermSize=256m
-XX:MaxPermSize=256m
-XX:+UseParallelOldGC
-XX:-UseGCOverheadLimit
-Xms10240m
-Xmx32768m

Попытки конфигурирования видны. Скорее всего, действительно, боролись с memory leak методом - "добавим памяти до одури". Т.к. 32 GB это достаточно "солидно"

Добавить ключики генерации log'ов по GC (легко ищутся в доках/блогах). ищем в И-нет более-менее красивый анализатор логов, смотрим красивые графики ))).

в директориях не было ошибок по ООМ

вопрос то не в том, каких не было, а в том, по какой падаем )))

и по доке -UseGCOverheadLimit отключает генерацию Out of memory: GC Overhead limit exceeded, что при этом происходит, я не знаю, возможно Java тупо виснет в бесконечном GC. Но это будет видно по логам GC (когда их включить)

Basil A. Sidorov... и никак не вяжется....
Топик-стартер сюда кидает старые логи, скрины JConsole самой же JConsole и так далее.... )))
все на совести топик-стартера "то скрин был на visualvm"

Basil A. SidorovВ том, что причина нехватки нативной памяти может быть самой разной.

Какие?

Операционная система не смогла выделить память.

Да, причин почему это не смогла ОС может быть 100500: отсутствие памяти, фрагментация. закончившиеся дискрипторы, сбой и так далее. Но это проблемы не java, а операционной системы.

Если бы java изначально, при старте, выделили всю необходимую память для работы, не было бы потребность в native алокации, не было бы и ошибки.

IMHO

metrodixно при запуске jconsole или visualVM видит только свои процессы, других никаких нет.


__Права__

Подозреваю Tomcat запущен в виде сервиса, из-за этого и не видит.

1) разбираться по доке, какие права у пользователя должны быть, что бы увидел (или что еще нужно подшаманить)

2) Или, на крайней случай, для тестирования. Остановить сервис и запустить TomCat руками под текущем пользователем. Надеюсь, тестовый сервер для тестирования / разбирательств Вам выделили )))

IMHO