>Как вообще по-правильному когда в таблице хранится
что-то вроде группировки значений?

В некоторых случаях, когда, например, легче хранить значение, чем каждый раз его пересчитывать при чтении таблицы

>Т.е я должен добавить 'ВСЕ' в справочник

Можно добавить в справочник, сверху наложить вьюху, исключающую это "ВСЁ" и работать со справочником только через неё.

Второй вариант не делать foreign key, a на таблицу повесить триггер, который будет обеспечивать ссылочную целостность для всех значений, кроме строки "ВСЁ"

Третий - перепроектировать таблицы

Все зависит от конечной цели, объема данных, частоты обновления и т.п.