У Sybase Anywhere всегда было:
personal database server dbengx
network database server dbsrvx
где x - номер версии.

Естественно в вашем случае необходимо запускать dbsrvx.exe.
Хотя даже dbengx дает возможность 4-х или 5-и подключений.
Тип лицензирования и кол. подключений задается при инсталяции Sybase Anywhere.
Для добавления лицензий в случае с dbsrvx используется dblic

см. доку по Anywhere

"The dblic command-line utility adds licensed users to your network database server.You must only use this utility in accordance with your Sybase license agreement to license the number of users to which you are entitled. Running this command does not grant you license. You can also use this utility to view the current license information for a server executable without starting the server.
"

Хотя в твоем случае вся эта лабуда с dblic скорее всего не причем.
Для подключения через ODBC к серверу (надеюсь, что он запущен как сервис для NT) необходимо указать параметры Server name, DataBase name, соответствующие сетевые протоколы. Если не ошибаюсь, то для 5-ки имеется клиент, запуск которого тоже должен прописывается в ODBC. Сходу не вспомнить. Выкладывай веселые картинки, с ними вспомню быстрее