potkin,

идеи такие:
- в диспетчере задач на закладке "Процессы" включить столбцы Память, выделенная память, и ошибки страниц. Можно еще включить прочитано байт и записано байт.
Этим можно смотреть, какой из процессов пытается отожрать больше всего памяти, и вообще, сколько процессов эту память потребляют
вместо диспетчера задач можно скачать process explorer.
https://technet.microsoft.com/ru-ru/sysinternals/processexplorer

- в диспетчере задач на закладке Быстродействие есть кнопка Монитор ресурсов. Нажать ее, смотреть диск, процессы с дисковой активностью.

- скачать утилиту rammap, смотреть распределение памяти ею.
https://technet.microsoft.com/ru-ru/sysinternals/rammap.aspx

Своп вообще лучше не отключать, а наоборот, зафиксировать его размер. Потому что по умолчанию он небольшого размера, и расширяется по необходимости. А фиксация размера позволяет избежать вот этого "туда-сюда".
Например, у меня памяти 16 гиг, и своп сделан тоже 16 гиг.

p.s. может получиться, что в этих утилитах вы просто не будете знать, куда смотреть. Тогда надо звать на подмогу кого-нибудь компетентного.

Damien,

настройка свопа, его отключение, и т.п. - личные предпочтения каждого. Лично я предпочитаю своп не отключать.
Что касается вопроса автора "Кушает всего ~4-5 GB памяти и дальше свопит с HDD." - это он просто не видит всей картины.
Например, якобы свободная память используется виндой для кэширования файлов.
Например, у меня 16 гиг, и rammap показывает, что unused только 63 мб. Все остальное занято
Причем 10 гиг - mapped file, это именно файловый кэш. Его детали можно посмотреть на закладке file summary и file details.
В общем, разобраться почему и кто свопится можно, главное, уметь работать с диспетчером задач, rammap, process explorer, монитором ресурсов.

В первую очередь монитор ресурсов покажет, к каким файлам идет интенсивный доступ. Дальше уже надо разбираться, кто этот интенсивный доступ организует.