Понимаешь, тут вот какая штука, раньше все втыкали в один рэйд-контроллер по SAS, а сам контроллер в PCI-E. Затем пошли SSD для совместимости их подключали также по SAS - удобно же, но все понимали, что SSD тормозит старый протокол, ну и плюс многие стали кричать, что рэйд-контроллер дает слишком много задержек к старому протоколу. Вот и зафигачили NVME - как новый протокол, да еще и напрямую накопитель в PCI-E - круто же..
Но косяк в том, что PCI-E линий в проце то ограниченное количество, а каждый диск х4, а если нужна еще сеть, видюхи и т.п, то на большие конфиги банально нет столько линий, и второе, нет PCI-E рэйд-контроллеров.
Вот чтобы выпутаться, ИНтел забодяжил vROC, это типа рэйд на самом проце (правда я с таким не работал и производительность не знаю), для увеличения линий ставят ретаймеры или pci-e свичи, кому как угодно (ага, хотели уйти от задержек рэйд-контроллера, но получили задержки на ретаймерах), ну а остальные тупо собирают рэйд из NVME софтовыми методами ОС.
P.S. нам как-то привозили в тест сервак НРЕ где-то штук на 16 NVME - ради интереса вскрыл посмотреть, во-первых это двух юнитовая дура, во вторых практически все слоты расширения на райзерах забиты как раз этими ретаймерами и шлейфами, что туда еще что-то засунуть практически нереально, например НВА для соединения с СХД или какую-нить GPU.

Ivan_Pisarevsky,

авторБерем "полутоповый" зион https://www.nix.ru/autocatalog/intel/CPU-Intel-Xeon-Gold-6230R-21-GHz-26core-26-plus-3575Mb-150W-104-GT-s-LGA3647_463057.html
48 линий на проц, 2 проца на мать итого 96 линий

Хорошо, вопрос на засыпку - как ты будешь "расшаривать" линии PCI-E между процами?)))
Это в принципе невозможно - поэтому во всех рекомендациях к серверам идет, что если хотите использовать все слоты PCI-E, то надо второй проц, при этом, если его нет\сдох, все и ресурсы не "шарятся" и надо садить их на один проц.
И именно поэтому Интел vROC работает только на первом проце.
Ок, давай посчитаем, один высокопроизводительный контролер (RAID\HBA\GPU) забирает 16 линий, для отказоустойчивости или увеличения производительности 2 и более (это в частности НВА и GPU), уже 32 из 48, а есть еще LAN и другое и в остатке только одна или две линии остается (в лучшем случае), т.е. 1 или 2 накопителя.

Да, в случае двух процов можно немножечко разгрузить и то, только за счет пересадки перефирии (HBA\GPU и т.п.) на слоты PCI-E, но сильно это не облегчает жизнь, ибо даже в 2U в базе можно можно установить 24*2,5" накопителей - а это 96 линий только на один проц без учета остальной обвязки, которая необходима. Вот поэтому вынужденной мерой и приходится прибегать к рэйдам посредством ОС, так как ей пофиг на какой проц заведены PCI-E линии, а видит тупо набор дисков.
Вот и снова возвратились к задержкам рэйд-контроллера, а сейчас ретаймер, а сверху плюсом еще и ОС, которая другие задержки дает, выступая, как рэйд.

авторА это насущная необходимость?
Я же Вам в предыдущем ответе вполне понятно расписал, что на один проц, который Вы приводили в пример на 48 линий, просто три НВА адаптера (два для стораджей, например, и один рэйд-контроллер, ибо на NVME дорого, либо GPU - миксуйте как хотите) на 16 линий заткнут полностью, а это мы еще локалку даже сюда не приплели и остальное..
Даже если 40 линий занять, останется 8 - а это всего два NVME диска - ну и много это?
Поэтому выход - либо ретаймеры, но это писец какое нагромождение их в серверах и не в одном юните, либо решение рэйдов посредством ОС (но все равно ретаймеры нужны)

авторВероятность издыхания проца на фоне вероятности отказа матплаты или накопителя - это прямо что-то мифическое.
Дело ведь не только в этом, а в том, что vROC можно сделать только на первом проце (независимо, 2 или более их), плюс к этому надо райзеры, шлейфы и т.п., что увеличивает точку отказа.. Жаль, я не зафоткал просто сервак на 16 NVME, чтобы Вы поняли, что даже на такое количество дисков там писец какая система..

авторДа, там же рядом есть процы для квартетов, те же 48 линий на проц, только воткнуть их можно 4 штуки.
Это опять же райзеры с ретаймерами (считайте их задержки) и рэйд только посредством ОС (а это еще более долгие задержки), да, еще и забыл задержки на передачу между процами, которые из PCI-E должны конвертировать в свою межпроцовую шину и потом обратно!
Поэтому задержки будут гораздо больше и поэтому SAS SSD не уступают позиций в плане производительности, а в плане простоты на голову впереди NVME

авторКому надо столько нутряных накопителей? Выжрать столько иопсов одним серваком - задача крайне специфическая должна быть, наружу столько не отдать... перемалывать внутри? А хватит ли пары процов для этого? ради чего?
Сервера на 24 и более SAS накопителей давно не редкость..
Кому под СУБД, кому под VDI и прочую виртуализацию - сейчас это активно пушится с определенных сторон..

авторИ тут оказывается, что все "уже украдено", т.е. топать надо в сторону СХД и не морочить голову. Тем кому это реально надо и кто не упадет в обморок от ценника. :)
Открою Вам секрет, AllFlash системы строятся либо на SAS SSD, если это NVME - то там ограниченное количество дисков (очень маленькое), а где большое - там идет софтовый рэйд посредством ОС (от MS\VMWare\проприетарных NIX) - о чем я и говорил выше