kaldorey,

автор...
Пример: за прошлый месяц выборка из связки этих таблиц идет с использованием индекса, а за этот месяц оптимизатор выбирает фул скан, причем не так важно, остается ли он, или прицепляешь индекс хинтом, размер превышает объем выделенной памяти . Разделишь выборку на две по половине месяца, снова все хорошо.
...

1) Почему Вы уверены, что fullscan - это плохо? Сколько время выполнения в одном и другом случае? А сколько Вам надо? Вопрос не празный, например для ночного отчета допустимо чтобы результат был к утру, отображение баланса в web form - до 15 сек
2) Перечитайте еще раз свой вопрос, размер чего, и какой памяти?
3) Вы считаете так, как будто у Вас в базе работает только один запрос. Пытаетесь настроить базу только на него, к тому же выполнив работу за оптимизатор. СУБД были созданы для обработки данных значительно превышающие размеры оперативной памяти.
автор...
Может у кого-то есть соображения, как можно более менее точно определять, стоит ли уже разбивать выборку или еще влезет, учитывая, что оптимизатор довольно редко показывает корректные числа по памяти?
....


4) Какой памяти? Что Вы под этим понимаете? Чтобы оптимизатор не ошибался, у Вас собрана статистика по таблицам и индексам которые Вы используете?

авторпревышает буферный кэш и свопается на диск, чего я хочу избежать

Это термины ОС, Вы уверены, что Вы употребляете правильные термины?