проверил на Oracle - тоже так как ASE,ASA: server не откатывает сам,
по видимому этот случай не входит в тот список который в ASE называется
Implicit Transaction Rollback Conditions и делается сервером итселф

В ASE на самом деле все промежуточые commitы только уменьшают @@trancount (баланс скобок), реальный commit делает только тот который устанавливает его (@@trancount) в 0. Nested transactions имеют смысл во вложенных вызовах stored procedures (начинающих/продолжающих транзакцию), например один из способов обработки ошибки (по моим подсчетам их 3)описанный в "Sybase SQL Server 11 Unleashed" by Jeff Garbus и др., таков (комметарии мои):

create <procname>
...
begin tran [<tranname>] -- Added to avoid 6401,266 err.messages
save tran <savepoint> -- in case of regular ROLLBACK stmt
...
select @sqlerr = @@error
if @sqlerr != 0 goto syb_err
...
commit [<tranname>]
return @OK

syb_err:
rollback <savepoint> -- откат только для изменений данной sp
commit tran --empty commit for @@trancount decr.(otherwise 266 err)
raiserror <error number> @error_message,...,@syb_err
return @NOT_OK
end <procname>

Здесь 2-ой commit (fake) служит именно для баланса скобок (@@trancount)
без него мы получим ошибку 266 в вызывающей sp. (if we have begin tran over there too)

Другой способ состоит в проверке @@trancount на входе sp и если он > 0
(т.е. мы уже в транзакции) то не ставить begin tran, a при = 0 начать
новую поставив begin tran. типа:

create <procname>
...
select @sqlerr = 0
...
if @@trancount > 0 -- Already in transaction, nothing to do
select @TranOpened = 1
else
begin
select @TranOpened = 0
begin tran <tranname>
end
...
select @sqlerr = @@error
if @sqlerr != 0 goto syb_err
...
syb_err:
if @tranOpened = 0
begin
if @sqlerr = 0
commit [<tranname>] -- Реальный commit
else
rollback tran [<tranname>] -- Полный откат
end
return @sqlerr
end <procname>

Этот способ хорошо описан в книжке ".NET Enterprise Design with Visual Basic .NET and SQL Server 2000" by Jimmy Nilsson (ну правда на MSSQL)

Вообще это все (error handling) погано сделано в ASE и плохо описано
IMHO

+ Oчень детальное desc (хоть MSSQL, но почти все то же):
Error handling in SQL Server-a Backgroud
Implementing Error Handling with Stored Procedures