Нужно организовать хранение примерно 20 миллионов документов, состоящих преимущественно из одного или нескольких файлов в формате DjVu (http://ru.wikipedia.org/wiki/DjVu - если кому интересно что за формат). Один документ, таким образом, занимает в среднем чуть меньше 2 Мб. Соответственно, общий объём базы составит порядка 40 Тб.

Формат DjVu выбран, в частности и потому, что он поддерживает слой текста и возможность поиска текста внутри таких файлов. Соответственно и в базе данных должны быть возможности для полнотекстового поиска внутри хранимых DjVu файлов, например, составлением индекса при загрузке в базу или ещё как.

Основная нагрузка на базу – выдача документов по запросу и осуществление поиска по тексту внутри. Обновление базы будут происходить достаточно редко, примерно 1000 документов в день добавляться, а изменения среди уже добавленных будут совсем редко происходить. Ну может пара-тройка документов в день максимум изменится.

Количество пользователей – примерно 1000, предполагается, что работать с базой они будут активно и один пользователь может запросить в день около 100 документов. Естественно, время ожидания загрузки не должно раздражать пользователей, следовательно оно не должно быть больше минуты, по-любому.

Интерфейс для работы клиентов – обычный браузер.

Посоветуйте в сторону каких систем и решений начинать думать. Операционная система, СУБД, серверный софт для раздачи, железо для хранения данных, для раздачи их.

Разумеется, что создавать такую систему только на основе обсуждения на форуме никому не позволят :)
Насчет бюджета могу сказать, что Jimmy где-то угадал, речь примерно о такой сумме и шла, возможно несколько меньшей, но порядок тот же.

> В данном случае - бессмысленное занятие. Автор вопроса не понимает, как должна работать такая система.

А я разве говорил, что понимаю? Более того, вовсе не я самый главный, максимум чего могу, аргументированно посоветовать что-то выбрать.

Насчёт нагрузки я не понял откуда такая цифра в полгига за минуту взялась? Если считать, то у меня получается примерно 50-60 Мб/мин.

Насчёт SharePoint - по-моему, этот продукт вообще не для данных ситуаций был придуман, тем более, что он уже зараннее накладывает ограничения на формат файлов. DjVu - и никто не будет что-то другое выбирать. И честно говоря, я не понимаю, почему DjVu плох, если не считать его относительно малой распространенности.

Yandex.Server - думали, но боюсь в чистом виде он никак не подойдёт. Собственно, "из коробки" тут ничего не подойдёт, надо будет немало писать самим.

softwarer Но как ты получаешь 50-60, я не готов понять.

Вроде ты правильно подсчитал, но и я считал:

Нагрузка на сетевой интерфейс:
1 мин на загрузку 2 Мб = 2096Кб/60 ~= 33 Кб/сек. на пользователя надо гарантировать.
Возможное число обращений к базе в секунду: 1000 пользователей * 100 запросов в день / 8 часов = 3,47 запроса в секунду.
Следовательно, отдавать надо поток 33 Кб/сек * 3.47 = 114.5 Кб/сек с сервера.
Для гарантии, пусть 1Мб/сек.


Ты вроде тоже правильно подсчитал. Чувствую себя дебилом :)

Mike7
1 мин на загрузку 2 Мб = 2096Кб/60 ~= 33 Кб/сек.

Маленькое пояснение, а то совсем странно выглядит: 2096 Кб - это именно средний объём, округляемый до 2Мб.

miksoft Mike71 мин на загрузку 2 Мбправильнее будет "не более 1 минуты на загрузку 2 Мб"
Mike7Следовательно, отдавать надо поток 33 Кб/сек * 3.47 = 114.5 Кб/сек с сервера.еще надо умножить на среднюю длительность загрузки, т.к. в каждую секунду выполняются не только запросы поступившие именно в эту секунду, но и те которые поступили до этого.

О, верно! Тогда получается, что нужно где-то 6-7 Мб/сек. т.е. где-то 10 Мб/сек.