Может быть автору подойдет немного другой сценарий выполнения, ведь не обязательно для решения данной задачи использовать только триггер, можно воспользоваться очень полезной весчью for update:
1. Блокируем все записи с данной фамилией програмно
select family from t where upper('family') = upper('блаблабла') for update nowait;
2. Проверяем сколько у нас выбралось фамилий
3. Вставляем запись либо выдаем предупреждение
Конечно может быть у автора нет возмождности модифицировать программу, но тогда скорее всего встанет проблема описанная выше, не буду проверять некогда но предложу еще один вариант, немного некрасивый но может кто модифицирует и найдет более красивое решение
1. создаем дополнительный столбец с чеком, диапазон значений от 1 до 3 и вешаем уникальный констрейнс на фамилию и этот столбец
2 при вставке в триггере вычисляем значения от 1 до 3 в зависимости от фамилии, если значения будут выходить за рамки выдаем ошибку, в 2 разных сессиях тоже не будет вставки так как одна из низ выдаст unique constrains violatide
PS
to Elic
не думал что вы так не любите комаров :) кожа за столь долгое время должна была уже стать потолще:)
to Падонак
Ты что не можеш понять что тебя либо закроют либо просто удалят этот ник и будут чистить сообщения, правила форума почитай и будь повежливее, а то как то ндоело бред читать

Stax.Как вычислите номер?