Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
11.11.2008, 04:19:59
|
|||
|---|---|---|---|
способ хранения большого количества файлов и скорость произвольного доступа |
|||
|
#18+
Подскажите, а как лучше хранить много небольших файлов (около 50млн по 10-50к каждый) чтобы обеспечить к ним максимальную скорость произвольного доступа. файловая система ext3, примонтирована с параметрами noatime, nodiratime. интересует именно организация хранения этих файлов на диске. стоит ли их разбивать по директориям и если да то сколько файлов в каждую директорию класть и т.д. Может что-нибудь еще можно сделать (в плане программных решений) для увеличения скорости доступа? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
11.11.2008, 07:42:46
|
|||
|---|---|---|---|
|
|||
способ хранения большого количества файлов и скорость произвольного доступа |
|||
|
#18+
untitledПодскажите, а как лучше хранить много небольших файлов (около 50млн по 10-50к каждый) чтобы обеспечить к ним максимальную скорость произвольного доступа. файловая система ext3, примонтирована с параметрами noatime, nodiratime. интересует именно организация хранения этих файлов на диске. стоит ли их разбивать по директориям и если да то сколько файлов в каждую директорию класть и т.д. Может что-нибудь еще можно сделать (в плане программных решений) для увеличения скорости доступа? reiserfs ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
11.11.2008, 10:18:20
|
|||
|---|---|---|---|
способ хранения большого количества файлов и скорость произвольного доступа |
|||
|
#18+
Я бы рекомендовал хранить в каталогах двойного вложения (путь будет выглядеть как /подкаталог_первого_уровня/подкаталог_второго_уровня/файл), если удастся реализовать равномерное заполнение всех каталогов. Тогда на каждом уровне у вас будет в среднем 368 объектов. Иначе уже лучше использовать тройное вложение (путь будет выглядеть как /подкаталог_первого_уровня/подкаталог_второго_уровня/подкаталог_третьего_уровня/файл). Тогда на каждом уровне у вас будет в среднем 84 объекта. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=25&mobile=1&tid=1486366]: |
0ms |
get settings: |
6ms |
get forum list: |
8ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
184ms |
get topic data: |
6ms |
get forum data: |
1ms |
get page messages: |
22ms |
get tp. blocked users: |
1ms |
| others: | 193ms |
| total: | 425ms |
| 0 / 0 |
