|
|
|
Хранение большого количества файлов
|
|||
|---|---|---|---|
|
#18+
чисто ради интереса делаю систему, медиа-каталог, т.е проигрывание музыки через веб. сервера: d1,...,dn - файловые, где располагается вся музыка w1 - веб, пока один sys - системный (бд, информация по исполнителям, трекам и тд.) софт: freebsd 6 nginx 0.5.35 (в качестве веб сервера на всех файловых серверах и веб сервере) php 5.2.5 (fastcgi) mysql 5 идея вообще такая - доменное имя [domain] - основное, т.е при обращении на http://domain/ попадаем на главный веб сервер, с которого и выбираем слушать или загрузить. ко всем файловым серверам разрешен доступ извне, т.е d1.domain, d2.domain, d3.domain, .... доступ к файлам - прямой, т.е http://d1.domain/file#####.mp3. на каждом файловом сервере каталог /usr/audiodata/ - хранит музыкальные файлы в виде 32х символьного специального хеша - $$$$$...$$$$.mp3. никаких подкаталогов нету, все файлы в одном месте лежат. собственно, вопрос в чем: каковы ограничения по хранению большого количества файлов в одном каталогов, каковы недостатки такого метода, и как _надо_ делать? это не курсач, не работа. так, попытка на досуге сделать распределенную систему с масштабированием ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2008, 01:43:03 |
|
||
|
Хранение большого количества файлов
|
|||
|---|---|---|---|
|
#18+
On Sun, 27 Apr 2008 06:43:03 +0800, Dan Sosedov <nospam@sql.ru> wrote: > Автор: Dan Sosedov > чисто ради интереса делаю систему, медиа-каталог, т.е проигрывание > музыки через веб. google: uPNP, MythTV -- Остаюсь искренне Ваш, Станислав Сухолёт Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2008, 07:18:50 |
|
||
|
Хранение большого количества файлов
|
|||
|---|---|---|---|
|
#18+
On Mon, 28 Apr 2008 12:18:50 +0800, SSukholet <nospam@sql.ru> wrote: > Автор: SSukholet > > On Sun, 27 Apr 2008 06:43:03 +0800, Dan Sosedov <nospam@sql.ru> wrote: > >> Автор: Dan Sosedov >> чисто ради интереса делаю систему, медиа-каталог, т.е проигрывание >> музыки через веб. > > google: uPNP, MythTV > В догонку - google gfs, afs, nbdd -- Остаюсь искренне Ваш, Станислав Сухолёт Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2008, 07:20:53 |
|
||
|
Хранение большого количества файлов
|
|||
|---|---|---|---|
|
#18+
А смысл в этих gfs и т.д. Я же про другие вещи говорю, про физические возможности файловой системы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2008, 17:25:03 |
|
||
|
Хранение большого количества файлов
|
|||
|---|---|---|---|
|
#18+
самое правильное в этом - поставить оракл и засунуть все файлы в блобы и не трахаться с кучей файлов. потому что когда файлов становиться в каталоге несколько сотен начинаются тормоза ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2008, 17:44:31 |
|
||
|
Хранение большого количества файлов
|
|||
|---|---|---|---|
|
#18+
несколько сотен? не верю, я понимаю пару десятков тысяч еще куда ни шло.. да и оракл тут нафиг не нужен. да и придется схему переделывать. я думаю как вариант - схема работы как у squid. 00 - FF папки, в них подпапки. единственное что придется хранить в бд - расположение файлов. еще варианты? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2008, 18:01:47 |
|
||
|
Хранение большого количества файлов
|
|||
|---|---|---|---|
|
#18+
ext3 спокойно выдерживает до 1 млн. файлов в одной папке. проверял. при этом скорость чтения файлов падает незначительно, по большей части из-за увеличения объема данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2008, 21:06:50 |
|
||
|
Хранение большого количества файлов
|
|||
|---|---|---|---|
|
#18+
Какой порядок количества файлов и интенсивности изменения метаданных ФС? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2008, 22:45:34 |
|
||
|
Хранение большого количества файлов
|
|||
|---|---|---|---|
|
#18+
собственно, идея в чем. файлы ворочаться особо не будут, заливка одноразовая - т.е одна "транзакция" подразумевает размещение группы файлов на сервере. каждое имя файла изменяется специальным образом (в итоге имя файла - 32 символа) , считываются вся информация из тегов. вся информация о размещении и метаданных пишется в бд и все. файлы лежат. т.е в принципе не проблема хранить 10000 файлов в одном каталоге. единственное что мне хотелось уточнить - что насчет ufs? (freebsd) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2008, 23:03:44 |
|
||
|
Хранение большого количества файлов
|
|||
|---|---|---|---|
|
#18+
На размер каталога (кол-во записей) накладывается точно такое же ограничения, как и на обычный файл, 10000 влезет, только всё это выглядит как поиск самому себе неприятностей. Как насчет разбить 32 байта имени на, например, на 8 байт -- имя каталога, 24 - имя файла в этом каталоге или глубже, скорость доступа к файлу по имени станет в среднем в 128 раз быстрее. Посмотрите fs, которую squid с собой приносит и использует, люди её писали как раз, что бы сделать файловым хранилищем с огромным кол-вом мелких файлов. Хотя выдумывать своё, игнорируя и не анализируя то, что уже существует, куда проще и интереснее. >доступ к файлам - прямой, т.е http://d1.domain/file#####.mp3. перспектива стать бесплатным хранилищем мп3-файлов для сторонних сайтов, которые у себя будут размещают прямые ссылки на ваши файлы вас не огорчает? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.04.2008, 09:59:44 |
|
||
|
Хранение большого количества файлов
|
|||
|---|---|---|---|
|
#18+
перспективы пока вообще никакой нету, т.к делаю в целях исключительно образовательных. понятно что открытые ссылки не есть хорошо, но пока такова задумка. насчет squid - я уже говорил ,что больше смотрю в сторону организации хранения данных как в его системе. с поиском проблем не будет, т.к информация о том, что есть на дисках пишется в бд - что и где лежит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.04.2008, 13:58:01 |
|
||
|
|

start [/forum/topic.php?fid=25&msg=35287264&tid=1486948]: |
0ms |
get settings: |
8ms |
get forum list: |
23ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
173ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
62ms |
get tp. blocked users: |
2ms |
| others: | 216ms |
| total: | 506ms |

| 0 / 0 |
