Параметры SESSIONS и PROCESSES чему равны?
select name, value from v$parameter where name in ('processes','sessions')

Уменьшение SGA, даёт увеличение свободной памяти, что даёт возможность для использование её как PGA(UGA), то есть создание пользовательских сессий. Возможно это с этим связано.

А вообще расшифровка такая:
TNS-12540 TNS:internal limit restriction exceeded
Cause: Too many TNS connections open simultaneously.
Action: Wait for connections to close and retry.

TNS-00510 Internal limit restriction exceeded
Cause: Too many files or sockets open simultaneously (or some other resource
has been depleted).
Action: For further details, trace the operation for protocol details.

Смотри лог листенера, а лучше еще включи трассировку листенера.
Посмотри настройки максимального кол-ва открытых сокетов в Windows.
Посмотри в момент ошибки, сколько всего сессий.
Сколько памяти свободной всего в этот момент.

Сразу так сказать не могу, у меня под Linux Oracle, там знаю где. Логи всё же посмотри, и трассировку включи, что-бы точнее знать в чём проблема. Возможно также превышен порог кол-ва открытых файлов, судя по описанию ошибки. Вообще это к спецам по Windows