Что касается SSL и SSH - то там наиболее важное отличие не в алгоритмах (в обоих случаях всё стоит на трех китах - блочном шифре, асимметричном шифре и хэш-функции), а в модели доверия.

SSH - это жесткая связь "точка-точка". Каждый клиент сам решает, валиден отпечаток данного сервера или нет. Когда первый раз логинитесь, сервер спрашивает, доверяете ли ВЫ данному ключу. Задача профпригодного админа - при первом логине убедиться, что ключ не подменен, и при смене этого ключа поднимать тревогу. Отпечатки ключей пишутся в ~/.ssh/known_hosts. Если при следующем входе отпечаток не совпал - клиент пишет предупреждение, которое надо проверить самому.

SSL - это иерархичная PKI, где ключи заверяются по иерархии - от корневых центров до конечных машин. Но поскольку адекватного управления доверием там так и не родилось (в частности, китайский или американский СА может без проблем выдать валидный сертификат для kremlin.ru или sberbank.ru), да и некоторые недобросовестные компании были замечены в подобной деятельности, то там тоже с моделью доверия все в итоге получилось очень и очень плохо.

Мой совет по ссш - ограничить список логинов через AllowUsers, порт демона сменить или прикрыть файерволом/fail2ban, парольную авторизацию нафиг отключить, оставить только логин по ключам. Клиентский ключ можно и в 8192 бит замутить, работает.