igas,
Если процесс выделяет память мелкими кусками (насколько помню для VS - до 500КБ) то рантайм размещает эту память в одной или нескольких кучах большого размера, которые по мере необходимости запрашивает у ОСи.
При освобождении таких объектов, куча в которой они находились не возвращается ОСи.
В VS была какая-то функция, которую надо вызвать и она возвращает ОСи все освобожденные кучи.
Впрочем, довольно часто встречается ситуация, когда в куче остается несколько долгоживущих глобальных объектов и поэтому освободить ее нельзя.

Саму функцию для возврата памяти я не помню, но ее недавно кто-то здесь приводил. Может кто-то напомнит.
_memчегототам или _freeчегототам.

Часто (если алгоритм позволяет) можно бороться с этим используя свой аллокатор для мелких объектов, память для которого выделяется явно у ОСи, и потом удаляется также явно при завершении алгоритма.

igas,

Я считаю - вам вообще ничего не нужно делать.
Если виртуальная память занятая процессом реально им не используется, то соответствующие физические страницы памяти будут при нехватке памяти сброшены в своп и распределены другим процессам или дисковому кешу.