Mike7Думаю, что можно использовать в качестве хранилища. Если честно, то я до сих пор не занимался подобными объёмами данных и опасаюсь, что приемлемое решение в пределах 1Тб, может неприятно подвести в случае 40Тб. Вот, например, что лучше: использовать что-нибудь типа LVM или не заморачиваться и вообще разбить хранилище на штук двадцать-пятьдесят дешёвых серверов с raid-1, raid-1+0 или raid-5 (я даже ещё не уверен, какой raid лучше подойдёт) и предоставить к содержимому дисков простой доступ, так что пользователь будет по запросу перекачивать конкретные файлы.

Я воздержусь от масштабного участия в дискуссии, просто маленькое замечание из собственного личного опыта. Попытка сбора масштабного RAID из стандартных (S)ATA-дисков >500Гб в ряде случае может оказаться неудачной идеей. По крайней мере, в первых выпусках этих дисков были специальные RAID-edition модификации. А ставя обычные, сборщик рисковал одномоментным вылетом сразу нескольких дисков в массиве - были проблемы с излишней синхронизацией передвижения головок на разных дисках.

Поскольку мои собственные задачи были достаточно специфичными (тоже информационный архив, некритичный в смысле высокой степени готовности), я просто отказался от RAID массивов в пользу комбинации JBOD и правильно построенного резервного копирования.

Соответственно, если говорить о low-end решении, то я советовал бы действительно остановиться на каком-то движке типа локального яндекса в комплекте с батареей из не-RAID дисков. Ставите сервер под Linux, по мере роста архива добавляете винты (с точки зрения стоимости гигабайта сейчас оптимальнее 500Гб, с точки зрения физических размеров системы - 750 или 1Тб). После заполнения мест под внутренние устройства на первом сервере, ставите рядом второй, файловую систему подмонтируете по Samba или NFS к первому... и продолжаете процесс. Никаких жёстких требований по производительности сервера я в такой задаче не вижу, в показанном Вами масштабе задачи можно хоть старые десктопы под это дело утилизировать, набивая их винтами и по неообходимости доставляя оперативку. 1000 пользователей * 100 документов в день (считая, что у нас 8 часовой рабочий день - это ~3.5 запроса в секунду. Яндекс-сервер наверное должен справляться - единственное, что не понятно, будет ли он искать DJvu, на сайте этот формат не включен в список поддерживаемых, но если Вы этот сервер купите - Вам его, конечно добавят. Или, может уже и добавили, но забыли написать. Кроме Яндекса такие же задачки решает Stack Systems (разработчики Рамблера), а можно пробовать и какую-то бесплатную искалку посмотреть...