powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Многа-многа файлов в одной папке.
10 сообщений из 10, страница 1 из 1
Многа-многа файлов в одной папке.
    #35270374
Devider
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Так получилось, что самым простым способом решить проблему - создать сабж. Где-то около полумиллиона (не одновременно открытых). По окончании процесса они будут обработаны другой утилиткой (лень 2 в 1 делать просто) и убиты. Поскольку ввиду длительного времени процесса сложно это все протестить (на ночь поставлю), вопрос: какие могут быть сложности? Нет ли ограничений каких кроме физической емкости диска?
...
Рейтинг: 0 / 0
Многа-многа файлов в одной папке.
    #35270695
maXmo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
могут быть проблемы с файловой системой
...
Рейтинг: 0 / 0
Многа-многа файлов в одной папке.
    #35270852
Devider
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Наверное стоит дополнить. Стоит w2k3 (x64), NTFS.
...
Рейтинг: 0 / 0
Многа-многа файлов в одной папке.
    #35271393
LINUXER
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
NTFS может съесть столько файлов.
А вот если не лениться, можно сэкономить ночку, другую
...
Рейтинг: 0 / 0
Многа-многа файлов в одной папке.
    #35271517
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Количество файлов в одной директории для NTFS - достаточно велико, чтобы о нём вообще говорить. Это ограничение конечно существует, но думаю, вы его не достигните.

Есть конечно неудобства при работе с файловыми менеджерами. FAR слишком медленно открывает большую директорию (очевидно пытается прогрузить весь список в оперативку).

Так-что юзайте.

Хотя, если посмотреть на кеш IE, можно заметить, что она разбит на несколько директорий с хеширующим именем. Очевидно это оптимизация поиска по точному совпадению. Всё-таки извлечение из хеш-таблицы занимает меньше времени чем поиск по B+Tree. И хотя хеш полностью не устраняет деревья, но такой метод поиска сокращает глубину дерева.
...
Рейтинг: 0 / 0
Многа-многа файлов в одной папке.
    #35275627
Lepsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DeviderТак получилось, что самым простым способом решить проблему - создать сабж. Где-то около полумиллиона (не одновременно открытых). По окончании процесса они будут обработаны другой утилиткой (лень 2 в 1 делать просто) и убиты. Поскольку ввиду длительного времени процесса сложно это все протестить (на ночь поставлю), вопрос: какие могут быть сложности? Нет ли ограничений каких кроме физической емкости диска?

кладите в директории пачками тыщ по пять в каждую.
...
Рейтинг: 0 / 0
Многа-многа файлов в одной папке.
    #35276280
Фотография Nick Anikin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DeviderТак получилось, что самым простым способом решить проблему - создать сабж. Где-то около полумиллиона (не одновременно открытых). По окончании процесса они будут обработаны другой утилиткой (лень 2 в 1 делать просто) и убиты.а обрабатывать файлы по-одному не получится?
первой утилитой, потом второй, потом убил
а не создал 500 тыщ, обработал двумя утилитами, убил 500 тыщ
...
Рейтинг: 0 / 0
Многа-многа файлов в одной папке.
    #35276352
Фотография Green2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Проводник такую папку посмотреть не сможет.

--

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Многа-многа файлов в одной папке.
    #35276388
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Nick Anikinа обрабатывать файлы по-одному не получится? первой утилитой, потом второй, потом убил а не создал 500 тыщ, обработал двумя утилитами, убил 500 тыщ

Зависит от особенностей производства ИМХО. Если это данные по траффику - то вполне может быть. Хотя количество файлов поражает. Есть мысль что можно было-бы как-то их объединить однородные файлы в группы и слить в один.
...
Рейтинг: 0 / 0
Многа-многа файлов в одной папке.
    #35280473
Devider
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton Nick Anikinа обрабатывать файлы по-одному не получится? первой утилитой, потом второй, потом убил а не создал 500 тыщ, обработал двумя утилитами, убил 500 тыщ

Зависит от особенностей производства ИМХО. Если это данные по траффику - то вполне может быть. Хотя количество файлов поражает. Есть мысль что можно было-бы как-то их объединить однородные файлы в группы и слить в один.
Можно, но это дополнительный гемморой. Разбирать, групировать, сливать... Короче, все вроде лежит в одной папочке и кушать не просит. На выхи поставлю на обработку.
...
Рейтинг: 0 / 0
10 сообщений из 10, страница 1 из 1
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Многа-многа файлов в одной папке.
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]