Ничего не понял.
Итак
1. есть программа1, которая ходит к серверу ASA5 используя dbclient
2. На этом же компьютере поставили сервер ASA5(1), который запускаем как сервис NT, и есть программа2, которая ходит к этому серверу тоже через dbclient
И у вас получается следующее: когда запущена программа1, невозможно подключиться к серверу ASA5(1), если же ничего нет то подключение работает нормально.
Посоветовать можно следующее:
1.поднять ASA до 5.5.05+последний EBF для него кажется 2817
2.Попробуйте поменять номер порта на котором работает ASA5(1).

Еще раз опиши по нормальному свою конфигурацию, при этом опиши куда и что стоит, у меня на тачке стоит SQL-сервер запущенный как служба, на соседний такой же сервер и то же как служба, и мне не мешает подключаться со своей машины и туда и сюда причем как Sybase Central'ом так и другими прогами.
По моему я понял в чем у тебя дело, у тебя имеется база в виде файла *.db,
к которому ты коннектишься через различные программы.
Твоя твое консольное приложение при коннекте к базе автоматически запускает DBENG50.exe из-за настроек ODBC, конкретно - указан файл базы, которое по определению блокирует файл базы данный, если после коннекта запустить сервис, который тоже настроен на использование этой же базы, то произойдет облом, он не стартанет, если же консольное приложение снять, то сервис естественно запуститься и даст к себе доступ. И наоборот если уже запущен сервис, то твое консольное приложение обломится.
Поэтому нужны настройки ODBC и второе параметры с которыми стартует сервис.