1. Выгрузка из памяти: DBCC dllname (FREE).
2. Отладка. BOL->Contents->Building SQL Server Applications->Extended Stored Procedure Programming->Programming Extended Stored Procedures->Debugging an Extended Stored Procedure. Работает на ура.
3. С exception'ами у меня работа построена следующим образом: вызов каждого самого верхнего метода (то есть тот, который зовется из сиквела) обвернут try catch, причем намертво, в конце есть catch(...). Все ошибки, которые происходят, надо вернуть сиквелу в понятном ему виде. Для этого есть функция srv_sendmsg. Она используется для посылки как информационных сообщений, так и ошибок.

>Поднимать сервер для отладки я не могу в принципе, поэтому, то, что советуется в BOL, применить не могу
Фигово, что еще сказать. Если у вас вся разработка и отладка ведется на рабочей базе, то это ваши проблемы. Мне советы BOL вполне помогли.

Про try catch. Внутри extended stored proc ты можешь вызывать еще кучу функций, делать кучу потенциально опасных действий и проч. Кидайся исключениями, вообще делай все, что хочешь, только на самом верхнем уровне поймай все и переведи в понятную сиквелу форму. Пример:

SRVRETCODE xp_hello(SRV_PROC* pSrvProc)
{
try
{
// ...
}
// всякие типизированные catch'и, чтобы посылать осмысленное сообщение об ошибке
catch(...)
{
MySendError(); // на крайний случай посылать сообщение о непонятной ошибке типа "Error occured"
return(XP_ERROR);
}

return (XP_NOERROR);
}

В MySendError нужно формировать мессагу и посылать ее серверу через srv_sendmsg. Насколько я помню, никаких фатальных ошибок при таком способе написания не происходило. Рестарт сервера не нужен был.