Настрой автоматический recycling для свеого application pool'a. В контекстном меню выбираешь команду "Recycling..." и в появившемся диалоге указываешь лимит виртуальной и/или private памяти при достижении которого будет происходить recycling пула. Это спасет от необходимости делать перезапуск вручную.

Еще одно решение при наличии большого объема свободной памяти - увеличить значение "Maximum Worker Processes" до 2 или 3 в "Advanced Settings..." пула. Это называется "web garden" и может помочь использовать ресурсы сервера более эффективно.

Для настоящего решения надо разобраться почему приложение занимает такое кол-во памяти. Если я тебя правильно понял, то до значений в 3.7 - 4.6 Гб процесс w3p.exe "прыгает" несколько раз в день, что очень странно. Какой сайт крутится на сервере?

anakПосле увеличения Maximum Worker Processes пользователей постояно перекидывает на страницу с логином. Для сайта установлено Session state = In process.
Совсем забыл про этот возможный эффект. Твое приложение не рассчитано на работу в такой конфигурации. Могут потребоваться кардинальные переделки - в зависимости от сложности приложения. Сессию можно хранить используя state server - все типы должны быть сеарилизуемыми в этом случае. Кешировать данные можно во внешнем кеше - посмотри в сторону AppFabric .

anakМожет кто знает, какие тулзы можно ещё использовать?
dotTrace хвалят, но я сам им не пользовался и это платное приложение. В аналогичных случаях занимался ручным аудитом кода.