Не указали, какая ОС. Но раз AWE поддерживает, то минимум W2K :)
Думаю использовать надо обычный, динамический, так как памяти маловато, БД большая, а ОС попытается под себя лишние 128 метров оставить, которые ASA бы тоже могла использовать. Если памяти было бы 1gb, то тогда наверное можно было бы подумать об AWE.

Не знаю :) Нужно смотреть какая ОС, сколько памяти свободно после ее старта (без учета ASA), какой размер свапа у Windows (причем он должен быть фиксированный, а не динамический), насколько тяжелые запросы гоняются к этой БД и сколько уходит кэша в свап.

IMHO: завышенный кэш наверное тоже плохо. СУБД начинает размещать больше данных в памяти, т.е. расширять круг наиболее часто используемых данных и меньше обновлять страницы кэша. С одной стороны это конечно хорошо, но с другой стороны при таком соотношении RAM к размеру БД вполне может случиться, что при попытках ASA заполнять следующие страницы кэша, Windows будет уводить в свап предыдущие для освобождения памяти затребованных. Все это конечно мое личное мнение, но например в BOL, для Windows рекомендуют устанавливать параметры -cl 25P -ch 90P, что соотвественно для 512RAM будет размер кэша от 128 до 460. Так что если сервак выделенный и на нем больше ничего не крутиться рекомендую максимальную планку оставить на 450, а минимальную снизить до 128 и посмотреть, что получится.

Нужно поставить фиксированный, равный [Размер физической RAM] * 1,5 (по рекомендациям Microsoft). То есть нужно поставить фиксированный свап примерно на 770 метров. Ну и если на сервере несколько дисков, нужно разместить БД отдельно от свапа и временных файлов ASA.