Вряд ли у вас проблема в порте. Порт 29772 обычно ни с чем на машине не конфликтует, но если есть желание, меняйте его на любой другой, например на 5015, проблем нет!
авторПри этом с приложением может работать только один пользователь
Пользователем у SYSAM-сервера обычно является сам ASE. Вы пытаетесь использовать с одним SYSAM несколько ASE? Куда выводится сообщение об ошибке, в лог SYSAM? Приведите фрагмент лога. Приведите ваш файл license.dat.
авторвыдается сообщение о перевышение лимта коннектов
Если "пользователи" - это пользователи сервера ASE, то это регулируется параметром ASE "number of user connections" и SYSAM сдесь ни при чем.

Андрей Хромов
Sybase CIS