Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Хранение большого количества файлов / 11 сообщений из 11, страница 1 из 1
27.04.2008, 01:43:03
    #35281922
Dan Sosedov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества файлов
чисто ради интереса делаю систему, медиа-каталог, т.е проигрывание музыки через веб.

сервера:
d1,...,dn - файловые, где располагается вся музыка
w1 - веб, пока один
sys - системный (бд, информация по исполнителям, трекам и тд.)

софт:
freebsd 6
nginx 0.5.35 (в качестве веб сервера на всех файловых серверах и веб сервере)
php 5.2.5 (fastcgi)
mysql 5

идея вообще такая - доменное имя [domain] - основное, т.е при обращении на http://domain/ попадаем на главный веб сервер, с которого и выбираем слушать или загрузить.
ко всем файловым серверам разрешен доступ извне, т.е d1.domain, d2.domain, d3.domain, ....
доступ к файлам - прямой, т.е http://d1.domain/file#####.mp3.

на каждом файловом сервере каталог /usr/audiodata/ - хранит музыкальные файлы в виде 32х символьного специального хеша - $$$$$...$$$$.mp3. никаких подкаталогов нету, все файлы в одном месте лежат.

собственно, вопрос в чем: каковы ограничения по хранению большого количества файлов в одном каталогов, каковы недостатки такого метода, и как _надо_ делать?

это не курсач, не работа. так, попытка на досуге сделать распределенную систему с масштабированием
...
Рейтинг: 0 / 0
28.04.2008, 07:18:50
    #35282650
SSukholet
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества файлов
On Sun, 27 Apr 2008 06:43:03 +0800, Dan Sosedov <nospam@sql.ru>; wrote:

> Автор: Dan Sosedov
> чисто ради интереса делаю систему, медиа-каталог, т.е проигрывание
> музыки через веб.

google: uPNP, MythTV

--
Остаюсь искренне Ваш,
Станислав Сухолёт
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
28.04.2008, 07:20:53
    #35282651
SSukholet
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества файлов
On Mon, 28 Apr 2008 12:18:50 +0800, SSukholet <nospam@sql.ru>; wrote:

> Автор: SSukholet
>
> On Sun, 27 Apr 2008 06:43:03 +0800, Dan Sosedov <nospam@sql.ru>; wrote:
>
>> Автор: Dan Sosedov
>> чисто ради интереса делаю систему, медиа-каталог, т.е проигрывание
>> музыки через веб.
>
> google: uPNP, MythTV
>

В догонку - google gfs, afs, nbdd

--
Остаюсь искренне Ваш,
Станислав Сухолёт
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
29.04.2008, 17:25:03
    #35286743
Dan Sosedov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества файлов
А смысл в этих gfs и т.д.
Я же про другие вещи говорю, про физические возможности файловой системы
...
Рейтинг: 0 / 0
29.04.2008, 17:44:31
    #35286808
Умаксуман
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества файлов
самое правильное в этом - поставить оракл и засунуть все файлы в блобы и не трахаться с кучей файлов. потому что когда файлов становиться в каталоге несколько сотен начинаются тормоза
...
Рейтинг: 0 / 0
29.04.2008, 18:01:47
    #35286844
Dan Sosedov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества файлов
несколько сотен? не верю, я понимаю пару десятков тысяч еще куда ни шло..
да и оракл тут нафиг не нужен.

да и придется схему переделывать.
я думаю как вариант - схема работы как у squid. 00 - FF папки, в них подпапки.
единственное что придется хранить в бд - расположение файлов.

еще варианты?
...
Рейтинг: 0 / 0
29.04.2008, 21:06:50
    #35287148
не парься
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества файлов
ext3 спокойно выдерживает до 1 млн. файлов в одной папке. проверял. при этом скорость чтения файлов падает незначительно, по большей части из-за увеличения объема данных.
...
Рейтинг: 0 / 0
29.04.2008, 22:45:34
    #35287264
Scott Tiger
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества файлов
Какой порядок количества файлов и интенсивности изменения метаданных ФС?
...
Рейтинг: 0 / 0
29.04.2008, 23:03:44
    #35287281
Dan Sosedov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества файлов
собственно, идея в чем. файлы ворочаться особо не будут, заливка одноразовая - т.е одна "транзакция" подразумевает размещение группы файлов на сервере. каждое имя файла изменяется специальным образом (в итоге имя файла - 32 символа) , считываются вся информация из тегов.
вся информация о размещении и метаданных пишется в бд и все. файлы лежат.

т.е в принципе не проблема хранить 10000 файлов в одном каталоге. единственное что мне хотелось уточнить - что насчет ufs? (freebsd)
...
Рейтинг: 0 / 0
30.04.2008, 09:59:44
    #35287727
RAndrew
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества файлов
На размер каталога (кол-во записей) накладывается точно такое же ограничения, как и на обычный файл, 10000 влезет, только всё это выглядит как поиск самому себе неприятностей. Как насчет разбить 32 байта имени на, например, на 8 байт -- имя каталога, 24 - имя файла в этом каталоге или глубже, скорость доступа к файлу по имени станет в среднем в 128 раз быстрее. Посмотрите fs, которую squid с собой приносит и использует, люди её писали как раз, что бы сделать файловым хранилищем с огромным кол-вом мелких файлов. Хотя выдумывать своё, игнорируя и не анализируя то, что уже существует, куда проще и интереснее.

>доступ к файлам - прямой, т.е http://d1.domain/file#####.mp3.
перспектива стать бесплатным хранилищем мп3-файлов для сторонних сайтов, которые у себя будут размещают прямые ссылки на ваши файлы вас не огорчает?
...
Рейтинг: 0 / 0
30.04.2008, 13:58:01
    #35288593
Dan Sosedov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества файлов
перспективы пока вообще никакой нету, т.к делаю в целях исключительно образовательных.
понятно что открытые ссылки не есть хорошо, но пока такова задумка.
насчет squid - я уже говорил ,что больше смотрю в сторону организации хранения данных как в его системе.

с поиском проблем не будет, т.к информация о том, что есть на дисках пишется в бд - что и где лежит.
...
Рейтинг: 0 / 0
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Хранение большого количества файлов / 11 сообщений из 11, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]