Максим ННесколько сотен тысяч файлов, все <=2 Кб...
100 000 x 2kb = 200 000 kb = 200 Mb - совсем не много
Максим НСоответственно обновление такого хозяйства происходит очень медленно и ресурсозатратно, часто сопровождается ошибками.

Разбираться. Что значит очень медленно? Что значит ресурсозатратно? Какие ошибки?
Максим НКак можно оптимизировать хранение и операции обновления-удаления-переименования такого вида файлов?...

1) Читать доки, разбираться
2) Кого-то нанять, кто может выполнить п.1
3) Обратиться к профессиональным гадалкам

а пока, при исходных данных, можно повторить только ответ:
Dimitry SibiryakovNTFS оптимизирована для хранения большого количества файлов.

Максим Н...На счет Windows еще не знаю, но под *nix вроде есть ФС, которая хранит файлы в сжатом виде, но доступны они в обычном виде.
В Windows (NTFS) в атрибутах файла есть галочка "сжимать содержимое для экономии места на диске".

При таком уровне знаний, можно порекомендовать попытаться просто найти человека который может:
a) выдать рекомендации и сделать настройку
b) обеспечить дальнейшую поддержку (например когда настройки слетят и ошибки начнут повторяться).

IMHO

zirraПро размер кластера слышал что-нибудь?..

про NTFS читал что нибудь?

обменялись комплиментами?

zirra...
И.....При чем тут кластеры?

IMHO А исходный вопрос топикастера достаточно сложен:
1. Не понятно, что это за "картографический сервер"
Соответственно: Не понятны рекомендации разработчика картографического сервера. Если это например ArcGIS, то такие рекомендации быть должны - им и нужно следовать

2. Несколько сотен тысяч файлов, все <=2 Кб, разбросаны по папкам вложенности от 3-5.
В целом это не проблема (см. выше).

3. все <=2 Кб
А вот это уже странно:
3a - Что это за тейлы такие?
3б - NTFS может хранит мелкие файлы (вроде <1K) специальным образом, внутри MFT. Можно высказать _предположение_, что возникает ненормально большая нагрузка на MFT. Диск пустой, а MFT все забито под завязку (и возможно жутко фрагментировано). Нужно смотреть.

4. 7z упаковывает такое дело в ~40 раз.
Все чудесатее и чудесатее. (C)
Что это за тейлы такие? Обычно тейлы хранится в PNG, т.е. уже в сжатом формате.

5. Версия Windows не приведена. Разбивка на диске не приведена. Все остальное - так же не приведено
6. При знания автора, отсылать его в реестр.... Потом вообще компьютер не загрузится )))

etc..etc...

В общем, вопросов огромное кол-во. А начинать надо с пункта 1. "рекомендации производителя картографического софта". IMHO & AFAIK

Да и вообще: Приумножая знания - приумножаем скорбь (C) Эклизиаст

zirraА какое слово непонятно из Files size , Allocated size , Cluster size и/или Files slack ?..

1. Непонятно, какое это отношение имеет к вопросу автора.
2. Ну и в NTFS "все не так однозначно" (C) дочь офицера

p.s. собственно сейчас сам разрабатываю "картографический сервис" на базе Oracle Map Viewer. Такими проблема, как у автора топика - вообще не парюсь. Т.к. такой проблемы нет
p.p.s. до этого (8 лет назад) разрабатывал систему КАМИС . Где спокойно хранили десятки-сотню тысяч изображений музейных предметов в одной папке. В случае формата JTIP (пирамидальный jpeg, jpeg tailed piramidales как-то так по французки), изображение = папка с десятком-сотней файлов (тейлов). Никаких проблем нет

Gator...
1. Если файлы действительно очень маленькие - возможно MFT превратилось в помойку. Но это нужно смотреть. И ставить нормальный дефрагментатор дисков (не то убожество, что после топора M$ /отсечение всего нужного/ в Windows вошло).
2. Я бы первым делом полез править реестр.
3. Не понятно, как разбит диск. Даже тот же пресловутый размер кластера (хотя для производительности это дело десятое).
4. Откуда взялись такие файлы - не очень понятно. Обычно там PNG (не сжимаются).
5. Таскание между серверами - дело сложное. Обычно тейлы это просто кеш, который сервер должен (десять раз ха) уметь пересчитывать. Просто так копировать их с места на место - это очень странно, там наверное какие-то еще движения нужно делать. С Oracle Map Viewer например "все не так однозначно". До сих пор нифига не понимаю, как он тейловый кэшь чистит, все время матюгаюсь.
6. Ну и какое оборудование... В принципе, сейчас есть относительно недорогие (домашняя версия до 10 т.р.) SSD-устройства, которые должны "просто летать" (если конечно от полета не перегорят). При объемах ТС, меньше 1 Gb, вполне можно и нормальную железку воткнуть.

etc...etc...etc... Ну и при такой специфической задаче, под нее явно должен быть бюджет )))

Можно раздельно подходить к разным проблемам и ошибки, а не сваливать все в одну кучу?
Максим НЧего мне вообще нужно - максимально оптимизировать работу с такими файлами,

Оптимизация - это процесс зависящий от критериев, что и зачем оптимизируется.
Максим Нт.к. когда 20 Мб архив распаковывается на 800 Мб (это чистый размер, не "на диске") это по моему не нормально

Почему это не нормально? Вам для "картографического сервера" жалко купить 1 SSD-диск не очень большого объема?

У меня дома _отдельный_ SSD диск куплен _специально_ под игрушку Lineage 2 за 2 тыс. рублей. И я вообще не парюсь, сколько и чего там занято. Работает и хорошо... нафиг трогать....

Если у Вас нет 2-10 тыс. рублей на диск... что тут посоветовать...
Максим Ндаже если сменю размер кластера с 4 Кб на 2 Кб навряд ли ситуация кардинально изменится

а ЗАЧЕМ ее менять?

Максим НПричем такая распаковка 7z-архива зачастую сваливается с ошибкой "Insufficient system resources exist to complete the requested service".

Единственная и первая конкретика в данной теме.

7z не пользуюсь, нормальные архиваторы падать на мой взгляд не должны. Чье это сообщение и чья ошибка (архиватора или ОС) не глядя на систему сказать сложно.
Максим НЧтобы копирование тайлов с одного сервака на другой (такая необходимость иногда возникает) не выполнялось 2-3 дня как сейчас.

Вторая конкретика. Только, как Вы умудряетесь копировать < 1G информации за 2-3 дня и причем тут ХРАНЕНИЕ файлов - для меня загадка.

Заархивировали файлы на одном компьютере _нормальным_ и более менее стандартным архиватором (7z я таким не считаю). Скопировали архив. Разархивировали.

Если операция частая и "картографический сервер" реально нужен, купить _выделенный_ SSD диск 64-128 Gb для хранения тейлов за <10 000 руб, на мой взгляд можно себе позволить.

IMHO & AFAIK

Про "Insufficient system resources exist to complete the requested service" при дисковых операциях информации в Инет полно. Но все опять упирается что никакой конкретики Вы не сообщили и вытягивать ее из Вас через форум это достаточно бредово. Так же как давать рекомендации по правке реестра, плохо понимая, что на Вашем компьютере происходит на самом деле.

Basil A. SidorovЕсли, опять-таки, опираться на средний размер в два килобайта, то сто гигабайт это примерно пятьдесят миллионов файлов.
Я бы сказал, что два-три дня в такой ситуации - хороший результат. Особенно при копировании через сеть.

Что
a) отличается от заявленных автором сотни тысяч файлов в первом сообщении
b) копировать настолько мелкие файлы через сеть, это самоубийство и дэбилизм. Запаковали, архив перенесли, разпаковали.
c) Когда мне в свое время нужно было копировать много файлов на одном диске, я даже специальные плагины под FAR ставил. Т.к. ждать пока все пофайлово скопируется даже десяток минут, мне было влом. Если кто-то хочет копировать по два-три дня и неделями. Ну что же... Ctrl-C, Ctrl-V и пусть наслаждается... Каждый сам себе мазохист

Ну и подводя итоги:
a) Автор хочет от нас услышать Бест Практикс и создание документации администратора, рекомендаций по выбору железа, рекомендаций по настройке ОС и железа и так далее - работа в общем то платная и _сильно_ платная
b) Собственно геоинформационной системой у автора в конторе никто не занимается. Судя по постам ТС, он и жнец и на трубе дудец (все от Unix до Windows, Oracle, Postgress, Java, Net etc) - успехов
c) Такие системы должны стоить не просто дорого, а очень дорого. - см. п.1

Не говоря уже о том, что пошла х.з. какая страница темы, а до сих пор не сказана ни версия Windows , ни название картографического софта , ни размещение по дискам , ни конфигурацию железа , ни реальных проблем и ошибок etc..etc..etc...

Если все запихали в RAID-5, свалили на системный диск, работают методом Ctrl-C, Ctr-V в эклорере и так далее. Помойка она и есть помойка.

ТС, написал на почту

Basil A. Sidorov,
Да нет никакой категоричности. Вы спросили, как "оптимизировать". Логично ожидать, что оптимизируется то, в чем есть проблемы.

Пока, Вы назвали только 2-3 проблемы и то _совершенно_ из _разных_ областей.

1. Ошибка возникающая при разархивации 7z - х.з. с чем связанная
2. Долгое время копирования - опять таки без деталей
возможно что-то еще, пропустил

Проблема то у Вас в чем? Гигабайт файлов в течении 2-х дней скопировать не можете? (пара сотен тыс. файлов, по 2 k)

Для Windows и NTFS кол-во файлов проблемой обычно не являются. Вообще. Оптимальное хранение зависит от используемого софта (так и не названного) и решаемых задач (пока названо только копирование файлов за 2-3 дня).
Или, хотя бы сообщите (максимальные) число и объём копируемых вами данных.
Дома 3 Tb винчестер с порнyхой. Раз там лежат, значит когда-то скопировал. И что?

На самом деле, сорри за тон. Настроения нет. Голова с похмелья болит.

Да и жить скучно. Файлы у меня копируются быстро ))), т.ч. заняться не чем. Вот на форумах и троллю )))