Не уверен насчет linux, но в AIX5L 32bit IDS 9.40.UC1 я как то экспериментировал с этими значениями, мне удалось взять максимальное кол-во памяти примерно 2.5Gb. В linux наверное так же. При дальнейшем увеличении конфигурационных параметров памяти информикс начинал ругаться:

11:50:12 shmat: [EMFILE][24]: out of shared memory segments, check system SHMSEG

11:50:12 shmdt: errno = 22
11:50:12 mt_shm_init: can't create virtual segment

Что самое интересное, SHMSEG в AIX не настраивается (я не нашел как это сделать).