Тут важно сделать паузу…

Пароли (те, что хранятся в системной таблице sysxlogins) не шифруются в SQL Server (7) – они хэшируются при помощи OWF (one way function). В деталях я не видел описания и сам не разбирался… Протокол TDS к этому процессу не имеет отношения.

Если же речь о том, как TDS обеспечивает некое подобие шифрования для паролей при передаче по Сети (при Стандартной аутентификации), то это есть на freetds.org в исходниках, tds7_crypt_pass, файл src/tds/login.c. Я написал процедуру, которая расшифровывает пароль из шестнадцатеричного дампа перехваченного логин-пакета (http://www.sqlsecurity.com/uploads/decrypt_odbc_sql.txt) Кстати, алгоритм тот же, что и в ODBC функции ENCRYPT()

Удачи