|
|
|
Много файлов в папке
|
|||
|---|---|---|---|
|
#18+
Файловая система - ext4. Сейчас файлов в одной папке 100к, новые файлы добавляются каждый день (теоретически, максимум может стать до 5 млн.) Файлы размером 3-6 кб, имя файла в виде хеша md5 (если эта информация нужна). Сейчас параллельный случайный доступ к файлам работает быстро. Вопрос: когда начнет тормозить? И начнет ли вообще? если файлов станет 500к/1 млн/5 млн? Есть информация, что на NTFS все работает нормально при 25 млн. файлов в папке, естественно если не проводником заходить :) Как обстоят дела с ext4, пишут что если файлов много, то кончаться иноды? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.02.2014, 17:57 |
|
||
|
Много файлов в папке
|
|||
|---|---|---|---|
|
#18+
gogoduckпишут что если файлов много, то кончаться иноды?На каждый файл или каталог нужен инод. Смотрите, сколько там занято/свободно по df -i gogoduckВопрос: когда начнет тормозить? И начнет ли вообще?Да куда оно денется, если в одну папку пихать много файлов. На чтение каталога уходит время. Чем больше файлов - тем длиннее каталог. Вопрос в том, что понимать под тормозами - задержку в 10 миллисекунд или в секунду, заметную на глаз. Во втором случае тормоза могут вообще не наступить :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2014, 02:10 |
|
||
|
Много файлов в папке
|
|||
|---|---|---|---|
|
#18+
А по возможности разбить на подпапки и тусовать по первым буквам названия файлов? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2014, 10:36 |
|
||
|
Много файлов в папке
|
|||
|---|---|---|---|
|
#18+
TayfurА по возможности разбить на подпапки и тусовать по первым буквам названия файлов? А смысл? Скорость это не увеличит, а исчерпание инодов приблизит. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2014, 13:12 |
|
||
|
Много файлов в папке
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovTayfurА по возможности разбить на подпапки и тусовать по первым буквам названия файлов? А смысл? Скорость это не увеличит, а исчерпание инодов приблизит.Смысл есть. Как минимум, для вспомогательного ПО, которое не подозревает о размере каталога и читает все его содержимое в память. У меня было как-то, что оглавление с 200к файлов отдавалось по FTP около минуты только для того, чтобы отрисовать его в FTP-клиенте. После разбиения на 256 подкаталогов и 500к файлов не проблема. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2014, 13:27 |
|
||
|
Много файлов в папке
|
|||
|---|---|---|---|
|
#18+
Если названия файлов хранятся в виде хешей md5, на папки вроде разбивать не обязательно? доступ и так будет быстрый? (пока есть свободные иноды)? Я так понял, что только создание новых файлов будет немного медленнее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2014, 13:29 |
|
||
|
Много файлов в папке
|
|||
|---|---|---|---|
|
#18+
gogoduckЕсли названия файлов хранятся в виде хешей md5Какая разница, как обозван файл - цифирками, буковками или их смесью? В любом случае файловой системе необходимо выполнить сопоставление имени файла с участком диска, где располагается первый блок файла. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2014, 16:34 |
|
||
|
|
start [/forum/topic.php?fid=25&msg=38564025&tid=1482618]: |
0ms |
get settings: |
8ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
167ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
51ms |
get tp. blocked users: |
2ms |
| others: | 13ms |
| total: | 278ms |
| 0 / 0 |
Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...
