Вроде это?
<STORE>
The partition space for the process is exhausted. The process needs a block larger than the largest contiguous block of available space in the partition. Even though $S may show available space, it is fragmented. Reduce the number or size of the local variables. Utilities may not be available until some variables are deleted in order to free up space. Issuing ZLOAD for too large a routine from a tape or sequential file can also cause this error.

Еще в момент ошибки проверьте переменную $S

ну по английски говорит типа, что память кончилась и следующий запрошенный блок памяти больше оставшегося свободного места.

а
w $S
покажет по арабски(цифрами), сколько свободной памяти осталось для процесса

В настройках кстати выставляется размер памяти на процесс

[Домашняя страница] > [Конфигурация] > [Дополнительные настройки] ->MaxMemPerProcess

Хотя мне кажется, что лучше переделать алгоритм. Кстати, на 64разрядных серверах процессы жрут память быстрее почти в два раза.