При запуске приложения выполняется инициализация ремотинга через
System.Runtime.Remoting.RemotingConfiguration.Configure(@"App.exe.config", false);
А вот если запустить второе приложение (или если файерволом порт заблокирован), то на этой строчке получаем исключение типа
"Обычно разрешается одно использование адреса сокета (протокол/сетевой адрес/порт)".
Или если приложение запускается через терминальную сессию то ремотинг настраивается только для одного приложения, а все остальные пользователи получают то же исключение.
Но так как большинство пользователей не пользуются функциями которые используют ремотинг, то эта ошибка перехватывается и приложение запускается нормально.
Но если вдруг все таки происходит вызов функций через ремотинг, то приложение тупо зависает.
Как сделать чтобы оно не висло а выбрасывало исключение?

Я согласен. Нельзя, но вопрос то как все-таки сделать чтобы при обращении выдавалась бы ошибка. А не зависало приложение.

Нет, а как это работает?

ISA установлена и настроена. VPN не используем.