crmcms,

при 128 гиг ram, и половине используемой памяти, ФБ классик сожрет эту половину примерно при 300-350 коннектах (допустим, по 200мб на коннект).
В ваших сообщениях я не вижу никакого упоминания количества коннектов к ФБ.

crmcmsFirebird резервирует RAM в cache почти весь RAM находится в buff/cache
ничего Firebird не "резервирует". Он даже DefaultDbCachePages сразу целиком не аллокирует, а только по мере заполнения.
Под сортировки у вас 967 мег выделено, это на классике, а значит для каждого коннекта.
Если каждый коннект что-то там мощно сортирует - тогда конечно, ФБ будет отжирать память.
Но опять же, TempCacheLimit аллокируется только для конкретной сортировки, и ровно столько, сколько нужно, до этого самого лимита. Например, если для сортировки запроса надо 100мб, будет аллокирован только 100мб.

Дальше, я не спец по линуксу, но buf/cache это видимо, файловый кэш операционной системы. Который она сама аллокирует как хочет, и обычно, и на Винде и на Линуксе, это 40-50% RAM.
В общем, Firebird "вне процессов" ничего не аллокирует и не "резервирует".
Если у вас всего 1 коннект классика, то аллокировано будет примерно 150-250мб памяти (зависит от объема метаданных и всякого другого). И всё.

Siemargl,

как-как - взгромоздить на этот сервер две виртуалки, и разнести по ним СУБД. А по другому никак.

Siemargl,

аналогично. Там 1 гиг занят (приложениями), 43 гига свободно, и 88 гиг кэш операционки.
Вообще непонятно, что там "заполняется почти полностью", и куда чего сделать надо.
Отнять кэш у ОС? Зачем?