Можно, но не совсем средствами Sybase. Open Client поддерживает network security (цитирую из доки) :

With release 11.1, Open ClientTM Client-Library and Open Server Server-LibraryTM support network security mechanisms provided by third parties such as DCE, Banyan, and CyberSafe.

Т.е. он (Sybase) поддерживает работу с программами сторонних разработчиков. Где их брать и сколько они стоят и как могут работать - не знаю, никогда этим не заморачивался. В документации на Open Client все написано, можно также связаться с поставщиком Sybase и получить у него консультацию, я думаю, они быстро это расскажут.

Еще там кстати среди сторонних security providers указывается Windows LAN Manager, но вот обеспечивает ли он шифрование траффика - не понятно.