диски, память, ядра - при чем тут это? Если в силу особенностей задачи число процессов растет до того, что операционка "скрючивается", то проблема в количестве процессов, и ни в чем более.

Любая ОС в начальных условиях имеет какое-то ограниченное число обрабатываемых одновременно процессов, тредов, файлов, семафоров и других подобных ресурсов. В юниксах можно изменением конфигов или перекомпиляцией ядра увеличить максимальное количество таких ресурсов, а в винде - нельзя. В винде это скорее регулируется редакцией.

Вспомните хотя бы максимальное количество хэндлов, одновременно существующих на разных версиях винды, начиная от Win98, win2000, win XP, вплоть до серверных Win разных редакций.

Если же по указанным ресурсам наступает предел, значит пора ставить ВТОРОЙ СЕРВЕР, и половину ресурсов направлять туда.

p.s. не увидел пояснений авторов, что за "процессы" такие. Если процессы интерактивные, например, по процессу на пользователя, то тут явно нужен второй сервер. Если процессы неинтерактивные, типа запустился, выполнил работу, завершился, то тогда возможно поможет улучшение диска, только если процесс работает с диском. Процессоры или ядра не помогут, т.к. со слов автора текущий проц не загружен.