|
|
|
Многа-многа файлов в одной папке.
|
|||
|---|---|---|---|
|
#18+
Так получилось, что самым простым способом решить проблему - создать сабж. Где-то около полумиллиона (не одновременно открытых). По окончании процесса они будут обработаны другой утилиткой (лень 2 в 1 делать просто) и убиты. Поскольку ввиду длительного времени процесса сложно это все протестить (на ночь поставлю), вопрос: какие могут быть сложности? Нет ли ограничений каких кроме физической емкости диска? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.04.2008, 10:16 |
|
||
|
Многа-многа файлов в одной папке.
|
|||
|---|---|---|---|
|
#18+
могут быть проблемы с файловой системой ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.04.2008, 11:40 |
|
||
|
Многа-многа файлов в одной папке.
|
|||
|---|---|---|---|
|
#18+
Наверное стоит дополнить. Стоит w2k3 (x64), NTFS. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.04.2008, 12:19 |
|
||
|
Многа-многа файлов в одной папке.
|
|||
|---|---|---|---|
|
#18+
NTFS может съесть столько файлов. А вот если не лениться, можно сэкономить ночку, другую ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.04.2008, 14:29 |
|
||
|
Многа-многа файлов в одной папке.
|
|||
|---|---|---|---|
|
#18+
Количество файлов в одной директории для NTFS - достаточно велико, чтобы о нём вообще говорить. Это ограничение конечно существует, но думаю, вы его не достигните. Есть конечно неудобства при работе с файловыми менеджерами. FAR слишком медленно открывает большую директорию (очевидно пытается прогрузить весь список в оперативку). Так-что юзайте. Хотя, если посмотреть на кеш IE, можно заметить, что она разбит на несколько директорий с хеширующим именем. Очевидно это оптимизация поиска по точному совпадению. Всё-таки извлечение из хеш-таблицы занимает меньше времени чем поиск по B+Tree. И хотя хеш полностью не устраняет деревья, но такой метод поиска сокращает глубину дерева. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.04.2008, 15:02 |
|
||
|
Многа-многа файлов в одной папке.
|
|||
|---|---|---|---|
|
#18+
DeviderТак получилось, что самым простым способом решить проблему - создать сабж. Где-то около полумиллиона (не одновременно открытых). По окончании процесса они будут обработаны другой утилиткой (лень 2 в 1 делать просто) и убиты. Поскольку ввиду длительного времени процесса сложно это все протестить (на ночь поставлю), вопрос: какие могут быть сложности? Нет ли ограничений каких кроме физической емкости диска? кладите в директории пачками тыщ по пять в каждую. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.04.2008, 21:20 |
|
||
|
Многа-многа файлов в одной папке.
|
|||
|---|---|---|---|
|
#18+
DeviderТак получилось, что самым простым способом решить проблему - создать сабж. Где-то около полумиллиона (не одновременно открытых). По окончании процесса они будут обработаны другой утилиткой (лень 2 в 1 делать просто) и убиты.а обрабатывать файлы по-одному не получится? первой утилитой, потом второй, потом убил а не создал 500 тыщ, обработал двумя утилитами, убил 500 тыщ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.04.2008, 10:30 |
|
||
|
Многа-многа файлов в одной папке.
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.04.2008, 10:48 |
|
||
|
Многа-многа файлов в одной папке.
|
|||
|---|---|---|---|
|
#18+
Nick Anikinа обрабатывать файлы по-одному не получится? первой утилитой, потом второй, потом убил а не создал 500 тыщ, обработал двумя утилитами, убил 500 тыщ Зависит от особенностей производства ИМХО. Если это данные по траффику - то вполне может быть. Хотя количество файлов поражает. Есть мысль что можно было-бы как-то их объединить однородные файлы в группы и слить в один. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.04.2008, 10:55 |
|
||
|
Многа-многа файлов в одной папке.
|
|||
|---|---|---|---|
|
#18+
mayton Nick Anikinа обрабатывать файлы по-одному не получится? первой утилитой, потом второй, потом убил а не создал 500 тыщ, обработал двумя утилитами, убил 500 тыщ Зависит от особенностей производства ИМХО. Если это данные по траффику - то вполне может быть. Хотя количество файлов поражает. Есть мысль что можно было-бы как-то их объединить однородные файлы в группы и слить в один. Можно, но это дополнительный гемморой. Разбирать, групировать, сливать... Короче, все вроде лежит в одной папочке и кушать не просит. На выхи поставлю на обработку. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2008, 16:23 |
|
||
|
|

start [/forum/topic.php?fid=16&msg=35270852&tid=1345332]: |
0ms |
get settings: |
9ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
155ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
50ms |
get tp. blocked users: |
1ms |
| others: | 203ms |
| total: | 446ms |

| 0 / 0 |
