|
Как правильно хранить огромное количество мелких файлов?
|
|||
---|---|---|---|
#18+
ТС, написал на почту ... |
|||
:
Нравится:
Не нравится:
|
|||
19.06.2014, 17:57 |
|
Как правильно хранить огромное количество мелких файлов?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsevb) копировать настолько мелкие файлы через сеть, это самоубийство и дэбилизм. Запаковали, архив перенесли, разпаковали.Дебилизм - именно архивировать: суммарное время на упаковку-распаковку существенно превысит время копирования, плюс - потребуется дополнительное место и время на работу с архивом.Каждый сам себе мазохистОсетра категоричности урежьте. Или, хотя бы сообщите (максимальные) число и объём копируемых вами данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.06.2014, 18:20 |
|
Как правильно хранить огромное количество мелких файлов?
|
|||
---|---|---|---|
#18+
Basil A. Sidorov, Да нет никакой категоричности. Вы спросили, как "оптимизировать". Логично ожидать, что оптимизируется то, в чем есть проблемы. Пока, Вы назвали только 2-3 проблемы и то _совершенно_ из _разных_ областей. 1. Ошибка возникающая при разархивации 7z - х.з. с чем связанная 2. Долгое время копирования - опять таки без деталей возможно что-то еще, пропустил Проблема то у Вас в чем? Гигабайт файлов в течении 2-х дней скопировать не можете? (пара сотен тыс. файлов, по 2 k) Для Windows и NTFS кол-во файлов проблемой обычно не являются. Вообще. Оптимальное хранение зависит от используемого софта (так и не названного) и решаемых задач (пока названо только копирование файлов за 2-3 дня). Или, хотя бы сообщите (максимальные) число и объём копируемых вами данных. Дома 3 Tb винчестер с порнyхой. Раз там лежат, значит когда-то скопировал. И что? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.06.2014, 19:05 |
|
Как правильно хранить огромное количество мелких файлов?
|
|||
---|---|---|---|
#18+
На самом деле, сорри за тон. Настроения нет. Голова с похмелья болит. Да и жить скучно. Файлы у меня копируются быстро ))), т.ч. заняться не чем. Вот на форумах и троллю ))) ... |
|||
:
Нравится:
Не нравится:
|
|||
19.06.2014, 19:20 |
|
Как правильно хранить огромное количество мелких файлов?
|
|||
---|---|---|---|
#18+
Я в своих прогах для этих целей держу БД на DB2 и в BLOBе файлы(текстовые в CLOBe). Удобно бэкап делать. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.06.2014, 11:48 |
|
Как правильно хранить огромное количество мелких файлов?
|
|||
---|---|---|---|
#18+
Максим Н, Решил данную проблему так (под IIS). Тайловое покрытие на крупных масштабных уровнях - это действительно куча сжатых (png) мелких файлов, которые в файловой системе хранятся с большими накладными расходами. Дык, объединял их по смежности (в квадрате по координатам) в файлы приличного размера, в начале файла тупой индекс для доступа к элементом (мелкие файлики имеют разный размер). Далее, под веб-сервер (у меня для IIS использовалось ISAPI) писалось не сложное расширение для доступа по URL к отдельному PNG файлику. Эффект был потрясающий - место хранения на диске уменьшилось на порядок. Но, все это конечно применимо для покрытия, когда имя файла (и путь к нему) это по сути координаты кусочка на карте. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2019, 21:24 |
|
Как правильно хранить огромное количество мелких файлов?
|
|||
---|---|---|---|
#18+
Вот и я похвастаюсь. Написал пару функций в PowerShell. Они собирают данные о файлах: имя, директорию, даты создания/изменения, размер и самое главное хэш. И кладут всё это в базку на скуле. Таким образом, собрав данные о десятках тысяч файлов, смог прочистить их по дубликатам хэша. Около 100Гиг освободилось. Если интересно кому-то, могу поделиться. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.04.2019, 18:57 |
|
Как правильно хранить огромное количество мелких файлов?
|
|||
---|---|---|---|
#18+
SandalTree, reivent the wheel? https://docs.microsoft.com/ru-ru/windows-server/storage/data-deduplication/overview ... |
|||
:
Нравится:
Не нравится:
|
|||
14.04.2019, 19:45 |
|
|
start [/forum/topic.php?fid=26&gotonew=1&tid=1492477]: |
0ms |
get settings: |
11ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
158ms |
get topic data: |
9ms |
get first new msg: |
7ms |
get forum data: |
2ms |
get page messages: |
50ms |
get tp. blocked users: |
1ms |
others: | 230ms |
total: | 489ms |
0 / 0 |