student42Опыта в анализе узких мест и оптимизация приложений разработанных на java - нет.

Рекомендую доклад в нескольких частях
httpы://www.youtube.com/watch?v=ulWWSKr0Ce0
student42Сервер приложений weblogic в качестве jvm используем Jrockit;

Тогда возможно доступны продвинутые инструменты анализа работы системы:
http://www.oracle.com/technetwork/java/javaseproducts/mission-control/java-mission-control-1998576.html

student42Проблема: Процесс выжырает всю память после чего приложение недоступно.

Звучит как Memory Leak. Снимаем дамп памяти любым профайлером и анализируем.
Если размер кучи не сильно большой - 1-2 Гб, то можно взять jvisualvm из JDK
Для больших куч, лучше пользовать комерческие профайлеры JProfiler и YourKit

student42Вопрос: как можно выяснить какой тред в рамках процесса нажрался памяти и сколько съел?
В Java объекты хранятся в общей куче aka Heap. Сами потоки используют относительно не много памяти под стек, поэтому такой подход не используется. Да, и на сервере, потоки выполняют сходный рантайм, поэтому к отдельному потоку привязки особой нет.

Снимаем дамп памяти, смотрим какие типы сколько памяти занимают и обращаем внимание на количество экземпляров. Находим те что в памяти быть не должны, и средствами профайлера ищем как они связаны с GC Roots.
Распространенная утечка памяти на серверах это незакрытые JDBC ресурсы (Statement/ResultSet).