Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Windows [игнор отключен] [закрыт для гостей] / 100 тысячь директорий в одном месте - это сложность для Виндоуса? / 24 сообщений из 24, страница 1 из 1
03.06.2014, 23:30
    #38660818
InterSky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Когда в директории больше 10.000 файлов - заход в такую папку в Проводнике или Total Commander'e может длится почти минуту. Но причина этого - в том что программе надо составить список файлов (последовательно запросить название, вытащить к каждому параметры, отсортировать и вывести, проверить нет ли специальной иконки для него, и т.д.)
А если путь мне известен, просто надо войти в него, например: c:\xxx\77777\info.txt (в папке ххх лежать 100 тысячь папок от 00000 до 99999), это будет для NTFS (Windows XP) тяжёлым входом? Есть ли необходимость делить на c:\xxx\77\777\info.txt ?
...
Рейтинг: 0 / 0
04.06.2014, 09:01
    #38660958
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
InterSkyэто будет для NTFS (Windows XP) тяжёлым входом?Нет.
InterSkyЕсть ли необходимость делить на c:\xxx\77\777\info.txt ?Да.
...
Рейтинг: 0 / 0
04.06.2014, 14:44
    #38661488
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Не только. Еще особенности файловой системы NTFS (и других "современных" ФС).

Для таких случаев, 10 000 файлов в одной папке, специальные настройки в реестре есть. После этого в FAR'е в эту папку будете входить мгновенно (под проводник или Total Commander не знаю, не пользуюсь).
...
Рейтинг: 0 / 0
04.06.2014, 14:51
    #38661499
zirra
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Leonid Kudryavtsev> Для таких случаев, 10 000 файлов в одной папке, специальные настройки в реестре есть.
Дык, открой тайну ключика "специальную настройку", несчастный!..

--
Vladimir A.Bakhvaloff
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
04.06.2014, 16:04
    #38661617
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Зачем?

Если есть потребность храниться 100 000 файлов, наверное можно включить мозги. В нашей системе хранили по 10-15 тыс. файлов - Windows справлялась. Между прочем, на Linux'ах должно быть аналогично. Ряд вредных и тормозных фичь почему то считают безумно нужными и пихают во все "современные" файловые системы.

Ключевое слово "атрибуты файлов". Дальше читать и думать, что же там так тормозит ))). Лишнее возможности отключаются через реестр (находится в MSDN за 5 сек)

Я уж не говорю, что когда я разбирался (1996 г), то в доках M$ по настройке сервера в качестве файлового хранилища, все прямые ссылки были. Раньше было нужно не только отключение лишних фичь файловых системы, но и настройка кеша и так далее. Сейчас возможно все немного проще.
...
Рейтинг: 0 / 0
04.06.2014, 17:15
    #38661717
zirra
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Leonid Kudryavtsev> Если есть потребность храниться 100 000 файлов, наверное можно включить мозги.

У МЕНЯ - потребности нету...
Есть только интерес...
Т.к. даже про рассмотрении умозрительной возможности такого вопроса, просто создал каталоги по порядковым буквам имён файлов до 8-го (или 10-го?.. не помню точно...)...
А далее уже всяко легче...
Да и не для того оно было задумано, чтобы из Explorer'а и/или FAR'а по ним лазать...
....
А ты б всё-таки дал бы ТСу ссылку на MSDN, вместо "тупой чтоль?"... ;-)

--
Vladimir A.Bakhvaloff
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
04.06.2014, 18:00
    #38661780
InterSky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Мне почему-то кажется что, то, о чём говорит Leonid Kudryavtsev это будет всего лишь какая-то настройка для FAR'а которая говорит ему кешировать список файлов в папке (в худшем случае отключение виндоусу отображение разных иконок в зависимости от расширения файла, или вообще запрет на выдачу параметров файлов).
Для того же Total Commander'a почему-то 10 тысячь файлов в папке является каким-то краеугольным.
Если в папке 9000 файлов - то в эту папку он зайдёт за 5 секунд.
Если в папке 11000 файлов - то в эту папку он зайдёт за 55 секунд.

Но обратите внимание, что я не спрашивал о файлах в директории (возможно ввело в заблуждение что я вначале рассказал о проблеме у проводников при заходе в папку где много файлов/директорий), а вопрос был именно директории в пути...
Тоесть ни через FAR, ни через Total Commander я не собираюсь заходить в каталог, чтобы мне вывелось 100 тысячь его элементов), я собираюсь обратиться к файлу указав путь: c:\xxx\77777\info.txt (в этой папке всего несколько файлов, а вот в c:\xxx лежат 100 тысячь директорий)

Тоесть по сути вопрос в том: будет ли быстрей и легче для системы открыть файл c:\xxx\ 77 \ 777 \info.txt, по сравнению открытием файла c:\xxx\ 77777 \info.txt ?
...
Рейтинг: 0 / 0
04.06.2014, 18:12
    #38661802
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
InterSkyбудет ли быстрей и легче для системы открыть файл c:\xxx\77\777\info.txt,
по сравнению открытием файла c:\xxx\77777\info.txt ?
Ответ - нет. Организация NTFS делает затраты на поиск записи о файле логарифмическими.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
04.06.2014, 19:02
    #38661863
Gator
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Эээ...
MFT тоже не резиновая

Тут дело не в количестве "тыщ иерархий", а во фрагментации диска

IMHO
...
Рейтинг: 0 / 0
04.06.2014, 19:10
    #38661868
InterSky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
А причём тут фрагментация диска?
У меня на диске 50 папок в каждой из которых по миллиону файлов, и всё нормально если туда не лажу (тоглько антивирусник для проверки каждой папки тратит по 4 часа).
...
Рейтинг: 0 / 0
04.06.2014, 20:08
    #38661928
Gator
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
InterSky, запусти поиск несуществующей строки до и после дефрагментации и сравни результаты.
...
Рейтинг: 0 / 0
05.06.2014, 00:12
    #38662041
InterSky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Тут наверно ещё особенность - оазмер файла (он около 1кб), при кластере в 4кб атрибуты и содержимое файла хранятся в одном кластере, и дефрагментация не изменит производительность.
...
Рейтинг: 0 / 0
05.06.2014, 10:07
    #38662245
aleks2
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
AkinaInterSkyэто будет для NTFS (Windows XP) тяжёлым входом?Нет.
InterSkyЕсть ли необходимость делить на c:\xxx\77\777\info.txt ?Да.

Но сама мелкософт, пачимуто, в WSUS-е хранит файлы обновлений НЕ в одной папке. А в целой стае папок.
Зачем она это делает?
...
Рейтинг: 0 / 0
05.06.2014, 12:34
    #38662436
Anatoly Podgoretsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
aleks2Akinaпропущено...
Нет.
пропущено...
Да.

Но сама мелкософт, пачимуто, в WSUS-е хранит файлы обновлений НЕ в одной папке. А в целой стае папок.
Зачем она это делает?
WSUS не эталон, а ужасно написанная програма
...
Рейтинг: 0 / 0
06.06.2014, 06:58
    #38663119
aleks2
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Anatoly Podgoretskyaleks2пропущено...


Но сама мелкософт, пачимуто, в WSUS-е хранит файлы обновлений НЕ в одной папке. А в целой стае папок.
Зачем она это делает?
WSUS не эталон, а ужасно написанная програма
На что жалуетесь?
...
Рейтинг: 0 / 0
06.06.2014, 12:02
    #38663401
Anatoly Podgoretsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Жалуюсь на WSUS

Его проблема в том, что он сделан на навигационных методах,абсолютно все действия, работает из за этого чрезвычайно медленно



--
with the best regdrds
Anatoly Podgoretsky

"aleks2" сообщил(а) в новостях следующее:16129692@sql.ru...

Автор: aleks2 Anatoly Podgoretsky aleks2 пропущено...


Но сама мелкософт, пачимуто, в WSUS-е хранит файлы обновлений НЕ в одной папке. А в целой стае папок.
Зачем она это делает?
WSUS не эталон, а ужасно написанная програма
На что жалуетесь? Тема Ответить Сообщение
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
06.06.2014, 13:55
    #38663574
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Dimitry SibiryakovInterSkyбудет ли быстрей и легче для системы открыть файл c:\xxx\77\777\info.txt,
по сравнению открытием файла c:\xxx\77777\info.txt ?
Ответ - нет. Организация NTFS делает затраты на поиск записи о файле логарифмическими.

+ плюсуюсь
...
Рейтинг: 0 / 0
06.06.2014, 15:20
    #38663729
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
InterSkyМне почему-то кажется....

Ключик в реестре NtfsDisableLastAccessUpdate

Для каждого файла система поддерживает дату и время последнего обращения (Зачем?). При входе в папку (например FAR'ом), все 100500 файлов начинают обновлять свою дату и время. А оно нужно и того стоит?

Ну и вообще читать доки.

Где Вы столько файлов то взяли?
...
Рейтинг: 0 / 0
06.06.2014, 15:48
    #38663786
InterSky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Leonid KudryavtsevКлючик в реестре NtfsDisableLastAccessUpdate

Для каждого файла система поддерживает дату и время последнего обращения (Зачем?). При входе в папку (например FAR'ом), все 100500 файлов начинают обновлять свою дату и время. А оно нужно и того стоит?

Ну и вообще читать доки.

Где Вы столько файлов то взяли?
Ну так это значит что это внутренний косяк конкретно FAR'a :(
Total Commander например поменяет дату последнего обращения только в случае если ты его посмотришь через F3 или обратишься к его атрибутам через Alt+Enter (но это уже точнее меняет окно "Свойсво файла" принадлежащее самому виндоусу).
Даже VC (Volkov Commander) не меняет атрибут "последнего обращения" входя в каталог (только что проверил).
А файлы генерирует устройство слежения за состоянием телефонной станции (по нормальному конечно надо это в базу перекинуть, но программа от производителей работает только с файлами, да и не мешают файлы)
В любом случае - спасибо.
...
Рейтинг: 0 / 0
06.06.2014, 16:03
    #38663821
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Мне кажется, ласт аксесс вообще нафиг не нужен (не путать с last write). Ни разу не сталкивался с его необходимостью. Кроме того, что будет генерировать ненужные операции на запись в MFT (а оно надо?) и дергать головку диска (а оно надо?).

IMHO В общем, на файловом хранилище я бы отключал нафиг. Нафига при обращении к файлу на read only, что-то писать на диск? Даже использование в качестве "аудита" мне представить сложно.

После выключения, на Windows 2000 проблемы связанные с большим количеством файлов уходили.
...
Рейтинг: 0 / 0
06.06.2014, 16:10
    #38663834
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
И похоже M$ тоже так стало думать. Как пишут, данный параметр " ...it's been disabled by default since Vista/2008...".

Вроде сейчас еще рекомендуют (MS доки) отключать Prefetch на файловой системе. Но в целом, на MSDN по словам performance полно док с описанием.
...
Рейтинг: 0 / 0
06.06.2014, 18:09
    #38664014
InterSky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Я когда-то (лет 15 назад) использовал дату последнего обращения к файлу на юниксовых системах (в виндоусе мне кажется тогда этого ещё небыло). Таким образом следил за обращением к конфигурации файлов...
А в реальности - согласен, за последние несколько лет ни разу не приходилось пользоваться таким параметром (но для спецслужб отличная зацепка чтобы определить смотрел ли человек файлы).

А про Prefetch не понял - что он даст?
...
Рейтинг: 0 / 0
06.06.2014, 18:09
    #38664015
Gator
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Leonid Kudryavtsev, ласт аксесс бывает нужен.
Типа "когда открывали/смотрели" в последний раз.
Другое дело, что не для всех папок/файлов ON, а опционально.
...
Рейтинг: 0 / 0
06.06.2014, 18:36
    #38664036
InterSky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
100 тысячь директорий в одном месте - это сложность для Виндоуса?
Кстати, решил изменить этот параметр в регистрах.
Фразы NtfsDisableLastAccessUpdate регистр в моём Windows XP не обнаружил.
Зашёл на http://technet.microsoft.com/en-us/library/cc959914.aspx
чтобы посмотреть где он лежит, и заметил что там написано что этот параметр относится только к директориям (при входе в них), и ничего не пишется про файлы...
Впрочем, создал этот параметр, дал ему значение "1" и ничего не изменилось (система по прежнему отслеживает открытие файлов)
...
Рейтинг: 0 / 0
Форумы / Windows [игнор отключен] [закрыт для гостей] / 100 тысячь директорий в одном месте - это сложность для Виндоуса? / 24 сообщений из 24, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]