Собственно, ничего фундаментального относительно голой ОС такие продукты не добавляют. Вопрос тут в предпочитаемом интерфейсе и фичах из коробки. У меня никакого интерфейса для неопытных пользователей нет, но мне и не нужно. Но у меня упор на доступность, диагностируемость, восстанавливаемость и защиту от дурака, поэтому ZFS, солярка и репликация на резервную площадку.

Кифирчик,

для опытных - рут по SSH :). Пользователям и сервисам настроены шары по NFS, SMB и iSCSI, поверх этого уже HTTP, почта, торренты и прочее по потребности. Диагностируемость для меня - это DTrace и логи в человечьем формате. Резервная площадка - еще один NAS на другом конце города, на него по расписанию реплицируются снапшоты, там только чтение. Таких площадок две, вторая, впрочем, не содержит всех ФС (нет бюджета). Защита от дурака - те самые снапшоты, которые позволяют восстановить удаленное/перезаписанное пользователями, на "горячих" ФС снапшоты делаются раз в минуту.

За 6 лет эксплуатации данные терял один раз при отказе всех сразу шпинделей и неполной копии на резервной площадке - зато сразу образовалось понимание, что резервировать нужно не только самое ценное и невосстановимое в принципе (типа домашнего фотоархива), но и вообще все, ибо времени и сил на восстановление ушло изрядно. ИБП появился только полгода назад. ZFS рулит :)

Основная статья расходов - шпиндели: много терабайт - много шпинделей. Выбирайте железо с достаточным количеством PCIE и набортных коннекторов. Для ZFS считайте обязательным наличие SLOG-девайса.

Что касается железки на картинке - это, видимо, HCIPC M42S-7. Судя по спеке на алиэкспрессе, SATA интерфейсы реализованы на Marvel 88SE9215. По его спеке такой контроллер сидит на PCIe 2.0 1x и отдает 4 SATA, значит, на материнке или 3 таких девайса или SATA-мультиплексоры стоят. 3 девайса быть не может, ибо на процессоре J1800/J1900 всего 4x PCIe, а тут и разъем miniPCIe есть и две сетевушки. Да и визуально не наблюдаю трех чипов (один, скорее всего, под радиатором у SATA-разъемов). Это 500Мбайт/сек на все шпиндели. Медленно и печально. Я бы сейчас для домашнего NAS брал что-то на Z270, в первую очередь - из-за двух NVMe под SLOG и L2ARC. Ну и PCIe там тоже есть в достаточном количестве.

КифирчикScott Tiger,
автордля опытных - рут по SSH :)
ну.. поднастроить, поискать проблемы - это самое то, но так чтоб постоянно подключаться для мониторинга, это быстро должно стать утомительным.

Мониторит пусть Icinga или, если нравится, Zabbix или еще что. Зачем его постоянно глазами мониторить? Работает себе и работает.

КифирчикавторПользователям и сервисам настроены шары .... Резервная площадка - еще один NAS на другом конце города, на него по расписанию реплицируются снапшоты
все "по взрослому" )
это домашний NAS или какой-то небольшой компании?

Домашний. Но дома дела делаются.

Кифирчикавторотказе всех сразу шпинделей
как такое случилось? ЭМИ оружие кто-то применил? ))))

Зачем такие сложности? Достаточно подать 220В вместо 12 :). Запах горящих шпинделей теперь долго помнить буду.

огурчик, я тоже так думал когда-то. Аппетит приходит во время еды :)

КифирчикКифирчикЗачем такие сложности? Достаточно подать 220В вместо 12 :). Запах горящих шпинделей теперь долго помнить буду.
Откуда 220 там взялись? Блок питания глюкнул? Или что-то не так сконнектили?

Старый нонейм БП. Хорошая прививка от жадности.

КифирчикТам определенно 3 контроллера 88SE9215, под радиатором у SATA выходов. 100%.
Если у J1900 всего 4x PCIe - то действительно интересно как китайские соседи разделили 4 интерфейса между 3-мя SATA контроллерами и 2 сетевыми картами (miniPci-e - мне кажется со 2м SATA это те два которые есть у процессора).
Из других чипов на плате, удалось идентифицировать микрухи звуковой карты, контроллер периферии, сетевые контроллеры, RS232, и видимо USB хабы. Чипсет вместе с процессором скрыт под радиатором, возможно там и есть что-то типа мультплексора.

Мультиплексоры PCIe - достаточно дорогие и горячие устройства, что-то мне сомнительно (впрочем, я не встречал их часто, моя выборка может быть нерепрезентативной). Равно как и странной кажется идея ставить три разнонагруженных чипа под один сомнительного вида радиатор. Вы её купили? Разберите для интереса или попросите продавца показать вид без радиатора.

А вообще их там два, см. https://xpenology.com/forum/topic/5872-possible-ideal-xpe-mobo/ :) Один честный, на втором муксы висят. Дохло. И не везде эти муксы видны, читайте тот форум.

А по деньгам получается 9200 на али эта плата с доставкой, а если брать заведомо достаточный сетап на X270, получится что-то такое (на мой вкус):

ASUS Z270M-PLUS - 7500 (розница в Москве)
Pentium G4400 - 3500 (розница в Москве)
Кулер по вкусу ~1500-2000 хороший, я рекомендую Scythe
LSI SAS2008-8I - 3500 (ebay)
Кабели к нему - 800 (ebay)

Память не считал, ибо её и в китайца покупать надо. Итого примерно в 1.6 раз дороже, но эпически беспроблемней, производительней и фичастей при тех же 12 шпинделях, только честных (14, если не задействовать NVMe). Можно и сэкономить при желании или поискать материнку поинтереснее, у которой можно сделать 2*PCIe x8 - туда еще шпинделей понапихать можно будет или сетку 10G сдвоенную.

В 1.8 раз, пардон :) Но эти 6000-7000 сверху - всего лишь стоимость одного неплохого 2Тб диска (хотя я бы сейчас смело брал 10Тб HGST 512e) - стоит оно того разве?

И еще момент: конкретно этот китаец - редкий зверь. Что Вы будете делать при его отказе через пару лет, когда эти платы снимут с производства, а аналогов не будет? В этом смысле стандартные компоненты рулят (и сроки производства и эксплуатации больше, и аналоги бывают).

a_shats, самосбор будет дешевле раза в полтора при тех же вводных. Хотя, конечно, не столь симпотно.

LSI тот отлично работает с SATA-дисками, SAS и правда дома не нужен. Что же касается габаритов и потребления, тут разговор не такой простой как кажется. Во-первых, габариты Вам будут определять, в первую очередь, сами шпиндели: 12 шпинделей - это уже минитауэр с очень плотной компоновкой или тауэр - с хорошей. Шпиндели эти будут греться, я бы исходил из потребности в 1 вентилятор 120мм для продува 4-5 дисков для адекватного охлаждения без большого шума, диски при этом лучше ставить на бок, а не плашмя. 12 дисков - это уже 60Вт, не считая пусковых токов, охлаждение еще пяток даст - и это все нужно отводить куда-то. Во-вторых, фактическое потребление процессора и материнки будет зависеть от нагрузки, а тут она будет очень небольшая, я бы ватт на 40-50 ставил (но, конечно, БП должен все хозяйство тянуть по их паспортным максимумам и иметь запас процентов 20-30 хотя бы). В-третьих, много шпинделей - это много шума и вибрации. Поэтому, если не нужно много IOPS, я бы сейчас смотрел в сторону 10-терабайтников в минимальном количестве сообразно потребностям. Здесь и по питанию, и по габаритам, и по охлаждению, и по стоимости гигабайта и по потребности в дополнительных контроллерах профит. Минус только во времени перестройки массива после отказа. 4 10-терабатника в raidz1 дадут нехилые 30 тер полезной емкости, хотя, конечно, это будет не очень быстрый вариант. Они же в страйпе из двух зеркал дадут приличные 20 тер и хорошую производительность, если она, конечно, нужна. Ну и пару NVMe туда под SLOG и L2ARC :) И памяти побольше. Ваще чума выйдет :)

Что же касается надежности, то цифры у меня такие: при круглосуточной эксплуатации в щадящих условиях десктопная материнка тянет года 4-5, дальше будут проблемы с конденсаторами. К хорошему быстро привыкаешь, и сидеть пару недель в ожидании посылки с али без кино и фоточек уже становится очень некомфортно. Посему, опять же, смотрите на типовые компоненты из ближайшего магазина и минимизацию количества шпинделей.

a_shats, я чуть выше привел пример сетапа под 12 шпинделей. Под 4 диска и два слота памяти то же самое тысяч в 12 можно уложить на вполне приличных новых компонентах. Лично у меня к этому хулету претензии только по части отсутствия NGFF, хотя, думаю, можно в x8 слот платку поставить на пару модулей. Стандартные компоненты, в отличие от, по окончании срока службы NAS-а можно несложно использовать для чего-нибудь еще. Но, бесспорно, так красиво и ладно сделать будет непросто. Хотя вот есть очень приятный корпус Fractal Design Node 304 под стандартные (в отличие от) блоки питания.

a_shatsВ Вашем замечательном сетапе нету корпуса, для начала. Совсем. И блока питания тож.

Помянутый выше Node 304 стоит ~5500, БП любой стандартный на вкус, тут хватит минимальной мощности. Это еще ~2500.

a_shatsScott Tiger,

Добавляем это к Вашим 12К - и получаем при скромной разнице в цене хламосбор вместо готового сервера :D
Оно действительно надо ?

Конечно. Ибо собранное из стандартных компонентов чинится и апгрейдится не в пример легче. Что же касается именно этого микросервера, то большой вопрос вызывает его процессор. Вроде б, с одной стороны, все неплохо должно бы быть, а, с другой стороны, минимально раскрытые характеристики и бенчмарки X3216 на уровне слабейших селеронов G. Есть мнение, что оно не стоит тех денег.

КифирчикЕсли хочется «быстро+надежно лет на 10» - то к хорошим SATA контроллерам и процам нужна серверная мамка и БП.
Серверная мамка даст из коробки или отдельным девайсом нормальную удаленную управляемость/диагностируемость (Lights-out management).

КифирчикСтавить «стандартную» систему (а я сталкивался с CentOS, Ubuntu и Mint) — будет много гемора который мне не интерестен, да и ZFS для них не родная, солярис или фрибсд для меня слишком гиково.
Остаются FreeNas, Nas3Free, OMV.
Это тот же FreeBSD (первые 2 случая) и Linux (последний), только с веб-интерфейсом для администрирования. Наивно предполагать, что не придется иногда сидеть в консоли.

КифирчикВ тоже время, читаю про радости и злаключения различных людей с ZFS, и мне все больше кажется что я до неё ещё не дорос, в добавок:
- нужно много памяти, и крайне желательно с ECC иначе может лагать, желательны винты под журнал и кэш;
Нормально работать можно и на 8Гб на всю систему. Дома не сказать, что много нужно. Есть нюансы - некоторый функционал, который можно не использовать, память потребляет. Например, каждый снапшот требует несколько десятков килобайт, L2ARC кэш (на SSD/NVMe) требует памяти и крадет её у кэша первого уровня и т.д. Вот, например, мой резервный NAS во втором "датацентре", он без L2ARC и SLOG, 8 Гб RAM, собран из кала и палок, с него смотрят кино, фоточки и слушают музыку:


Память с ECC нужна ровно для того же, для чего она нужна любым другим файловым системам - чтобы ошибка не перелезла из памяти на диск. ECC или устранит ошибку или, в случае неустранимого сбоя, выдаст соответствующий сигнал, который будет обработан ОС, которая, в свою очередь, предотвратит тот самый silent data corruption.

Кифирчик- нужно хотяб три одинаковых винта для нормального «надежного» массива;
Для зеркала достаточно двух дисков, для raidz1 (что-то вроде RAID5) - трёх, ну и т.д. Если хотите hot spare - нужен еще диск, но это не есть обязательно (и даже не всегда хорошо). Тут нет никакой магии. Требование идентичности есть, но оно не строгое - можно делать тома из разделов диска. Требование чтобы все половинки зеркала были одного размера (вторая может быть больше, просто не будет использоваться) мне также представляется логичным и общим для любых сетапов. По приколу я как-то собрал raidz1 из 4 разделов единственного старого ноутбучного винта, подключенного через USB-SATA переходник - это вполне работало, хотя, конечно, и небыстро :)

Кифирчик...размазывать все в один пул я не хочу, данные разные, если фоточки и ряд доков нужно бы хранить «надежно», то видео с IP камер если пропадет — то хрен с ним, торренты и фильмы — тоже не ценная информация.
Можете сделать 2, 3 или сколько нужно пулов. Это просто не очень эффективное решение, но вполне работоспособное. Один же пул элементарно удобнее в эксплуатации и даёт большую производительность за счет большего количества шпинделей и меньшего потребления памяти.

КифирчикТо есть, я сейчас не могу определиться какой вариант массива выбрать. А потом его хрен поменяешь без пересоздания. И при сбое винта, и последующих перезагрузках/сменах порядка подключения и прочих неправильных действиях, ZFS может очень сильно расстроить (хотя возможно это относится к более ранним версиям и сейчас все лучше).
Это всё байки и баги десятилетней давности. Действительная неприятная особенность ZFS - невозможность вывести диск из пула (не считая зеркал), т.е. если сделали пул из 8 дисков, он так и будет всегда из 8 или большего количества дисков.

Положа руку на сердце, я не вижу конкурентов для ZFS там, где в приоритете надежность хранения информации и восстановимость после сбоя. Плюс она играет в тех случаях, когда есть бюджет на SSD/NVMe для ускорения работы, но нет бюджета на гибридные диски. Ну и, в отличие от любых аппаратных рейдов или решений с закрытым кодом, ZFS можно попробовать собрать даже после фатальных сбоев. Кстати, ИБП для ZFS не нужен :)

КифирчикFreeNas – работает только с ZFS, на крайняк с UFS (что-то типа ext2 для ветки freebsd);
Nas2Free – родная ФС — ZFS, но на чтение можно всякие ext2/3, NTFS, FAT32
Забудьте про все эти страшные поделия типа ext2/3 - оно же после единичного отказа питания данные теряет и безвозвратно. UFS это тоже касается. Планка памяти 8Гб стоит 5000 р. (пусть это будет налог на ZFS :)), но спокойный сон стоит дороже.

КифирчикOMV – работает с разными ФС — ext2/3, NTFS, FAT32. А ZFS – можно доустановить.
ZFS on Linux не стоит использовать, во всяком случае, на данном этапе развития.

2. SSD лучше ставить две штуки, на каждом отпилить по кусочку (гигабайт с таким объемом RAM будет за глаза достаточно), из них сделать mirrored log device, остатки пустить под cache. Из двух SSD по 32Гб получится гигабайт на лог и 62 гигабайта на кэш с отказоустойчивостью. Но тут точно стоит хотя бы 8Гб памяти, ибо L2ARC такого размера пару гигабайт точно съест. raidz1 даст производительность одного шпинделя.
3. Сделайте загрузочное зеркало, раскладка зависит от ОС.
6. Десктопы тоже разные бывают :) С Вашими задачами на несколько лет точно хватит. Только TLC не ставьте.

огурчикSSD в зеркале - совершенно бесполезное занятие. Поскольку они изнашиваются одинаково. Особенно если SSD для лаптопа, то выработается он очень быстро. Лог и кэш нужно делать на SSD только если он типа SLC

SLC - это не бюджетно очень для домашнего применения. Для лога смысл имеет, для кэша - нет. Зеркало защитит от одновременного выхода из строя, этого будет достаточно, чтобы не потерять SLOG и, соответственно, не потерять последние записи.

У меня пара десктопных MLC на 60Гб два года проработала в десктопе, потом еще два года как раз в такой конфигурации, сбоев не было. Потом заменил на NVMe :)

Кифирчик, понимаете категорически неправильно :) Учите матчасть.

Есть кэш, он называется ARC, он находится в оперативной памяти. Можно сделать ещё один кэш на быстрых дисках, увеличив, таким образом, объём кэшируемой информации - этот кэш называется L2ARC. И ARC и L2ARC можно потерять, сбоев ФС не будет, поэтому диски или их разделы, на которых лежит L2ARC, зеркалировать не нужно, а аварийная остановка ОС не приведет к повреждениям данных. L2ARC (кэш на SSD/NVMe) сам потребляет некоторое количество оперативной памяти примерно пропрорционально собственному размеру, поэтому делать L2ARC на терабайт при 8Гб RAM не стоит - будет, скорее всего, только хуже. Никакого смысла делать L2ARC на шпинделях нет, ибо смысл в кэше, работающем со скоростью устройства, данные которого он кэширует, отсутствует, а оверхед - присутствует.

Есть ZIL (ZFS Intent Log) - структура на шпинделях (!) пула, через которую "прокачивается" весь синхронный ввод-вывод. В ZIL будет очень много мелких I/O, он почти никогда не читается (только при восстановлении после сбоя). Есть возможность вынести ZIL со шпинделей на отдельное быстрое устройство, чтобы убрать конкуренцию и снизить время отклика для синхронной записи приложениями. Практической пользы выносить ZIL с одних шпинделей на другие очень мало (для ZIL нужно устройство, которое умеет много IOPS, а шпиндель - это, условно, 150 IOPS), но имеет смысл выносить на SSD/NVMe. Вынесенный на отдельное устройство ZIL называется SLOG (Separate LOG), терять SLOG - болезненно, можно потерять данные, поэтому под SLOG дают 2 или более устройства и делают из них зеркало. Объём нужен незначительный, теоретический максимум - 1/2 размера ARC, практически больше единиц гигабайт не требуется. Вот ниже пример пула из 12 шпинделей (страйп из двух raidz1) с зеркалированным SLOG и кэшем из двух устройств.


Загрузка ОС делается с программного зеркала ZFS, в BIOS в качестве загрузочного устройства выбраны сначала один, потом второй диск этого зеркала. Что Вас смущает?

Кифирчиксмущает, что в моей системе знаний если массив программный а не аппаратный - то пока после биоса что-то не загрузится, доступным он не станет.
А зачем оно Вам? Если это зеркало, то у него обе половинки одинаковые. Т.е., если rpool - это зеркало из N дисков, то на всех этих дисках будет идентичное содержимое, и со всех можно будет загрузиться. Даже если это не целиковые диски, а разделы на них, как ниже (не рекомендованная конфигурация, чисто от бедности или жадности, из других разделов этих 4 шпинделей сделан raidz1):


То, что Вы назваете "ядром ZFS", грузится в достаточной степени рано, чтобы до этого ничего писать на диски не требовалось.

КифирчикПоток с IP камер - будет будете непрерывным, и если хранить данные на ZFS, то это будет непрерывная дрочка L2ARC (SSD).
См. свойства primarycache и secondarycache, это задаётся на уровне ФС (а не пула). Для камер может быть потребно metadata.

Кифирчикext4 или даже ntfs
Это просто не нужно, забудьте как страшный сон.