Правильно ли я понял, что листбокс Provider Name не содержит ни одного зарегистрированного провайдера? Может, у Вас при инсталляции MDAC как-то криво встал? Повторите установку, сказав, чтобы он ставил Connectivity. Положим, Sybase'овского провайдера в MDACe нет, но через MSDASQL Вы к нему вполне сможете подцепиться.

Нет, это неправильно. Product Name надо оставить пустым, а в Provider String прописать строку ODBC-соединения в том виде, как Вы к нему коннектитесь из приложения. Я не знаю, как она должна выглядеть для Sybase, но, наверное, это есть в описании к Sybase'овскому драйверу. Например, для Foxpro создание прилинкованного сервера через ODBC делается так:
exec sp_addlinkedserver
@server="MyVFP6", @srvproduct="",
@provider="MSDASQL.1", @provstr="Driver={Microsoft Visual FoxPro Driver};UID=;PWD=;SourceDB=D:\TEMP\HetQueries\fox_sales.dbc; SourceType=DBC;Exclusive=No;BackgroundFetch=Yes;Collate=Machine;"