|
|
|
способ хранения большого количества файлов и скорость произвольного доступа
|
|||
|---|---|---|---|
|
#18+
Подскажите, а как лучше хранить много небольших файлов (около 50млн по 10-50к каждый) чтобы обеспечить к ним максимальную скорость произвольного доступа. файловая система ext3, примонтирована с параметрами noatime, nodiratime. интересует именно организация хранения этих файлов на диске. стоит ли их разбивать по директориям и если да то сколько файлов в каждую директорию класть и т.д. Может что-нибудь еще можно сделать (в плане программных решений) для увеличения скорости доступа? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2008, 04:19:59 |
|
||
|
способ хранения большого количества файлов и скорость произвольного доступа
|
|||
|---|---|---|---|
|
#18+
untitledПодскажите, а как лучше хранить много небольших файлов (около 50млн по 10-50к каждый) чтобы обеспечить к ним максимальную скорость произвольного доступа. файловая система ext3, примонтирована с параметрами noatime, nodiratime. интересует именно организация хранения этих файлов на диске. стоит ли их разбивать по директориям и если да то сколько файлов в каждую директорию класть и т.д. Может что-нибудь еще можно сделать (в плане программных решений) для увеличения скорости доступа? reiserfs ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2008, 07:42:46 |
|
||
|
способ хранения большого количества файлов и скорость произвольного доступа
|
|||
|---|---|---|---|
|
#18+
Я бы рекомендовал хранить в каталогах двойного вложения (путь будет выглядеть как /подкаталог_первого_уровня/подкаталог_второго_уровня/файл), если удастся реализовать равномерное заполнение всех каталогов. Тогда на каждом уровне у вас будет в среднем 368 объектов. Иначе уже лучше использовать тройное вложение (путь будет выглядеть как /подкаталог_первого_уровня/подкаталог_второго_уровня/подкаталог_третьего_уровня/файл). Тогда на каждом уровне у вас будет в среднем 84 объекта. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2008, 10:18:20 |
|
||
|
|
start [/forum/topic.php?fid=25&fpage=138&tid=1486366]: |
0ms |
get settings: |
7ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
60ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
33ms |
get tp. blocked users: |
1ms |
| others: | 191ms |
| total: | 320ms |
| 0 / 0 |
