powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / Windows [игнор отключен] [закрыт для гостей] / Как правильно хранить огромное количество мелких файлов?
8 сообщений из 58, страница 3 из 3
Как правильно хранить огромное количество мелких файлов?
    #38674654
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТС, написал на почту
...
Рейтинг: 0 / 0
Как правильно хранить огромное количество мелких файлов?
    #38674679
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsevb) копировать настолько мелкие файлы через сеть, это самоубийство и дэбилизм. Запаковали, архив перенесли, разпаковали.Дебилизм - именно архивировать: суммарное время на упаковку-распаковку существенно превысит время копирования, плюс - потребуется дополнительное место и время на работу с архивом.Каждый сам себе мазохистОсетра категоричности урежьте.
Или, хотя бы сообщите (максимальные) число и объём копируемых вами данных.
...
Рейтинг: 0 / 0
Как правильно хранить огромное количество мелких файлов?
    #38674726
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorov,
Да нет никакой категоричности. Вы спросили, как "оптимизировать". Логично ожидать, что оптимизируется то, в чем есть проблемы.

Пока, Вы назвали только 2-3 проблемы и то _совершенно_ из _разных_ областей.

1. Ошибка возникающая при разархивации 7z - х.з. с чем связанная
2. Долгое время копирования - опять таки без деталей
возможно что-то еще, пропустил

Проблема то у Вас в чем? Гигабайт файлов в течении 2-х дней скопировать не можете? (пара сотен тыс. файлов, по 2 k)

Для Windows и NTFS кол-во файлов проблемой обычно не являются. Вообще. Оптимальное хранение зависит от используемого софта (так и не названного) и решаемых задач (пока названо только копирование файлов за 2-3 дня).
Или, хотя бы сообщите (максимальные) число и объём копируемых вами данных.
Дома 3 Tb винчестер с порнyхой. Раз там лежат, значит когда-то скопировал. И что?
...
Рейтинг: 0 / 0
Как правильно хранить огромное количество мелких файлов?
    #38674737
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
На самом деле, сорри за тон. Настроения нет. Голова с похмелья болит.

Да и жить скучно. Файлы у меня копируются быстро ))), т.ч. заняться не чем. Вот на форумах и троллю )))
...
Рейтинг: 0 / 0
Как правильно хранить огромное количество мелких файлов?
    #38678299
Андрей Васильевич
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я в своих прогах для этих целей держу БД на DB2 и в BLOBе файлы(текстовые в CLOBe). Удобно бэкап делать.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
Как правильно хранить огромное количество мелких файлов?
    #39800973
nikichale
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Максим Н,

Решил данную проблему так (под IIS). Тайловое покрытие на крупных масштабных уровнях - это действительно куча сжатых (png) мелких файлов, которые в файловой системе хранятся с большими накладными расходами. Дык, объединял их по смежности (в квадрате по координатам) в файлы приличного размера, в начале файла тупой индекс для доступа к элементом (мелкие файлики имеют разный размер). Далее, под веб-сервер (у меня для IIS использовалось ISAPI) писалось не сложное расширение для доступа по URL к отдельному PNG файлику. Эффект был потрясающий - место хранения на диске уменьшилось на порядок. Но, все это конечно применимо для покрытия, когда имя файла (и путь к нему) это по сути координаты кусочка на карте.
...
Рейтинг: 0 / 0
Как правильно хранить огромное количество мелких файлов?
    #39801100
Фотография SandalTree
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот и я похвастаюсь.
Написал пару функций в PowerShell.
Они собирают данные о файлах: имя, директорию, даты создания/изменения, размер и самое главное хэш.
И кладут всё это в базку на скуле.

Таким образом, собрав данные о десятках тысяч файлов, смог прочистить их по дубликатам хэша.
Около 100Гиг освободилось.

Если интересно кому-то, могу поделиться.
...
Рейтинг: 0 / 0
Как правильно хранить огромное количество мелких файлов?
    #39801109
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
8 сообщений из 58, страница 3 из 3
Форумы / Windows [игнор отключен] [закрыт для гостей] / Как правильно хранить огромное количество мелких файлов?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]