Dima TПочитай про
elliptics Яндекс его использует для хранения картинок.
По одному файлу в папке перебор. Для миллиона достаточно двух уровней: несколько тысяч подпапок, в каждой несколько тысяч файлов.
Миллион файлов не пробовал, 5-10 тысяч нормально обрабатываются в одной папке.
Затестить несложно: нагенери файлов и замеряй тормоза.
По-хорошему лучше БД использовать, содержимое файлов туда не обязательно грузить, а вот список файлов с точным расположением даст ускорение поиска места хранения файла.
ну вопервых, точное расположение файла не намного ускорит доступ к нему.
от того что вы знаете что в папке1 в папке2 лежит файл3 не означает что система знает где его искать.
ей всеравно надо считать данные корневого каталога - не выж один умный програмист, а и тот кто писал ОС - стоит команда - если не существует папки1 выход иначе читаем адрес расположения данных папки1, читаем шдд с нового места - аналогично смотрим существует ли папка2, и если да то читаем где её данные, и только в её даных проверив что файл3 существует идём в нужное место на шдд и читаем.
в реальности это только первый раз долго, второй раз заглянуть в туже папку будет быстрее - ибо идёт кеширование файловой системы.
итого - если у тебя в корне 30 папко в каждой по до 10, и в каждой до 100 файлов, и в одной из них 10000 файлов и у тебя быстро, вовсе не означает
что при 10000 папок в каждой по 10000 файлов у тебя будет быстро работать в многопользовательском режиме система.
ЗЫ
у меня хранение файлов идёт в подпапках 3 шестнадцетиричные цифры...тоесть 4096 подпапок. сейчас проверил... по ним раскидано 1.6+млн файлов.
если скажете что замерять по времени доступа - замерю. (хдд сам счас не интересуюсь, ибо хранилище распределённое, и сетевые задержки счас узкое место а не винчестер)
