Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Программирование [игнор отключен] [закрыт для гостей] / разкидывание файлов по папкам / 4 сообщений из 4, страница 1 из 1
21.08.2013, 11:42
    #38372987
alex564657498765453
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
разкидывание файлов по папкам
Значит суть задачи.

мы будем хранить кучу файлов (при сумарном размере райда 10Тб и статистике что стредний размер файла 250Кб - получаем 40 млн. файлов.)

вопрос первый - можно ли хранить это всё в одной папке??? (ответ вроде очевиден - нет) - спрашиваю, т.к. может на чтото влияет тот факт, что эти файлы использует сайт, тоесть он всегда обращаеться к этим файлам, всегда чотко по имени, нету никаких груповых действий с файлами. соответсвенно файловая система сначала протормозит проиндексировав этот мега каталог файлов, а потом уже будет пользоваться своим индексом.

вопрос второй, так как скорей всего файлы надо будет раскидывать по подпапкам, как это лучше сделать.???

==========
возьмём вариант, аля имя файла на шдд будет sha1(uniqid()). а имя подпапки три первые (hex) символа имени файла.

тогда подпапок получим 4096, и если поверить что распределение имён будет равномерным, то в каждом будет из 40 млн файлов гдето одинаково по 10 000 тыщ.
вроде приемлемо.

Но насколько можно верить что не получиться что в какойто папке будет 100 файлов а в какой-то 50 000 (ведь насколько я понимаю это уже много)


------
вообщем что посоветуете в решении даной делемы.

ЗЫ
сайт будет типа хранилищем файлов - юзеры позакидывали, а себе потом ссылки на эти файлы дают другим и те скачивают.
...
Рейтинг: 0 / 0
21.08.2013, 12:30
    #38373076
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
разкидывание файлов по папкам
alex564657498765453можно ли хранить это всё в одной папке?Зависит от файловой системы. Где-то нельзя, где-то можно, но неоптимально (тормозить будет), где-то нормально...

alex564657498765453так как скорей всего файлы надо будет раскидывать по подпапкам, как это лучше сделать.???
Зависит от системы именования этих файлов.

alex564657498765453сайт будет типа хранилищем файлов - юзеры позакидывали, а себе потом ссылки на эти файлы дают другим и те скачивают.Каждому юзеру - свой каталог.

alex564657498765453вообщем что посоветуете в решении даной делемы.
Купить орфографический словарь.
...
Рейтинг: 0 / 0
21.08.2013, 13:10
    #38373182
wadman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
разкидывание файлов по папкам
http://www.opensourcesoftwaredirectory.com/Web-Development/Cloud-storage как пример, куда это все разруливать.
...
Рейтинг: 0 / 0
28.08.2013, 19:09
    #38380295
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
разкидывание файлов по папкам
как вариант - хранить в БД
...
Рейтинг: 0 / 0
Форумы / Программирование [игнор отключен] [закрыт для гостей] / разкидывание файлов по папкам / 4 сообщений из 4, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]