ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Windows [игнор отключен] [закрыт для гостей] / Как правильно хранить огромное количество мелких файлов?
25 сообщений из 58, страница 1 из 3
  1  все
Как правильно хранить огромное количество мелких файлов?
    #38673251
Максим Н
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Максим Н
Участник
Несколько сотен тысяч файлов, все <=2 Кб, разбросаны по папкам вложенности от 3-5.
7z упаковывает такое дело в ~40 раз. Однако хранить на диске нужно именно в таком открытом виде, чтобы приложение могло читать (это тайлы для картографического сервера).
Соответственно обновление такого хозяйства происходит очень медленно и ресурсозатратно, часто сопровождается ошибками.
Как можно оптимизировать хранение и операции обновления-удаления-переименования такого вида файлов?
Файловые контейнеры, специализированные ФС и т.д.?

ПС

На счет Windows еще не знаю, но под *nix вроде есть ФС, которая хранит файлы в сжатом виде, но доступны они в обычном виде.
...
Рейтинг: 0 / 0
18.06.2014, 16:34
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673268
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
С чем вообще связано обновление этих самых тайлов?
Регулярно переснимаются соответствующие участки местности или что?
...
Рейтинг: 0 / 0
18.06.2014, 16:44
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673273
Фотография zirra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zirra
Участник
Максим Н> Несколько сотен тысяч файлов, все <=2 Кб, разбросаны по папкам вложенности от 3-5.
> 7z упаковывает такое дело в ~40 раз. Однако хранить на диске нужно именно в таком открытом виде, чтобы приложение могло читать (это тайлы для картографического сервера).
Создать VHD с compressed NTFS...

--
Vladimir A.Bakhvaloff
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
18.06.2014, 16:45
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673277
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Максим НФайловые контейнеры, специализированные ФС и т.д.?
NTFS оптимизирована для хранения большого количества файлов.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
18.06.2014, 16:47
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673285
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
zirraСоздать VHD с compressed NTFS...Нахрена это надо-то?
Для мелких и уже несжимаемых файлов? Диск на 80Гб утилизировать?
...
Рейтинг: 0 / 0
18.06.2014, 16:50
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673292
Фотография zirra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zirra
Участник
Basil A. Sidorov> Нахрена это надо-то?
> Для мелких и /уже несжимаемых/ файлов? Диск на 80Гб утилизировать?
Чтобы удобнее переносить было в одном контейнере, как архив... ;-)

--
Vladimir A.Bakhvaloff
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
18.06.2014, 16:54
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673297
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
zirra Чтобы удобнее переносить было в одном контейнере, как архив... ;-)Я про осмысленность компрессии.

P.S. Про "архив" - тоже непонятно.
...
Рейтинг: 0 / 0
18.06.2014, 16:56
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673326
Фотография zirra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zirra
Участник
Basil A. Sidorov> Я про осмысленность компрессии.
> P.S. Про "архив" - тоже непонятно.
Ну, компрессия - к слову пришлось...
А остальное: у меня, например, старая фидошная база в msg валяется...
Не десятки тысяч мелких файлов, но один десяток тысяч - точно есть...
Всё лежит в VHD, который подключается при старте...
Мне вполне удобно пользоваться этим в таком виде, что я этот файл могу оттараканить в любую винду, подключить его и пользоваться и там...

--
Vladimir A.Bakhvaloff
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
18.06.2014, 17:09
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673343
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
zirraМне вполне удобно пользоваться этим в таком виде, что я этот файл могу оттараканить в любую винду, подключить его и пользоваться и там...Только мне кажется, что даже если владельцу картографического сервера потребуется что-то и куда-то тягать, то он (при минимальной адекватности) воспользуется несколько более другими средствами, чем виртуальный диск в файле-контейнере?
...
Рейтинг: 0 / 0
18.06.2014, 17:15
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673345
Фотография zirra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zirra
Участник
Basil A. Sidorov> Только мне кажется, что даже если владельцу картографического сервера потребуется что-то и куда-то тягать, то он (при минимальной адекватности) воспользуется несколько более другими средствами, чем
> виртуальный диск в файле-контейнере?
Надо у ТС спросить...
Зачем использовать ХШ, если можно просто подождать ЕГО ответа?.. ;)))

--
Vladimir A.Bakhvaloff
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
18.06.2014, 17:17
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673361
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
zirraЗачем использовать ХШ, если можно просто подождать ЕГО ответа?.. ;)))Ключевая фраза моего возражения - "даже если".
Вероятная причина заблуждений ТС - "7z сжимает в сорок раз".
...
Рейтинг: 0 / 0
18.06.2014, 17:23
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673363
Максим Н
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Максим Н
Участник
Basil A. SidorovС чем вообще связано обновление этих самых тайлов?
Регулярно переснимаются соответствующие участки местности или что?
Да, раз в месяц примерно, но схем много очень.
...
Рейтинг: 0 / 0
18.06.2014, 17:24
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673385
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Максим ННесколько сотен тысяч файлов, все <=2 Кб...
100 000 x 2kb = 200 000 kb = 200 Mb - совсем не много
Максим НСоответственно обновление такого хозяйства происходит очень медленно и ресурсозатратно, часто сопровождается ошибками.

Разбираться. Что значит очень медленно? Что значит ресурсозатратно? Какие ошибки?
Максим НКак можно оптимизировать хранение и операции обновления-удаления-переименования такого вида файлов?...

1) Читать доки, разбираться
2) Кого-то нанять, кто может выполнить п.1
3) Обратиться к профессиональным гадалкам

а пока, при исходных данных, можно повторить только ответ:
Dimitry SibiryakovNTFS оптимизирована для хранения большого количества файлов.
...
Рейтинг: 0 / 0
18.06.2014, 17:39
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673392
Фотография zirra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zirra
Участник
Leonid Kudryavtsev>> Максим Н
>> Несколько сотен тысяч файлов, все <=2 Кб...
> 100 000 x 2kb = 200 000 kb = 200 Mb - совсем не много
Про размер кластера слышал что-нибудь?.. ;-)

--
Vladimir A.Bakhvaloff
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
18.06.2014, 17:41
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673393
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Максим Н...На счет Windows еще не знаю, но под *nix вроде есть ФС, которая хранит файлы в сжатом виде, но доступны они в обычном виде.
В Windows (NTFS) в атрибутах файла есть галочка "сжимать содержимое для экономии места на диске".

При таком уровне знаний, можно порекомендовать попытаться просто найти человека который может:
a) выдать рекомендации и сделать настройку
b) обеспечить дальнейшую поддержку (например когда настройки слетят и ошибки начнут повторяться).

IMHO
...
Рейтинг: 0 / 0
18.06.2014, 17:42
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673395
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
zirraПро размер кластера слышал что-нибудь?..

про NTFS читал что нибудь?

обменялись комплиментами?
...
Рейтинг: 0 / 0
18.06.2014, 17:44
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673405
Фотография zirra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zirra
Участник
Leonid Kudryavtsev> про NTFS читал что нибудь?
Сказать, про какую это файловую систему?..
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
г================= Quick view ==============17:45
¦                                               ¦
¦ Folder "MAIL"                                 ¦
¦                                               ¦
¦ Contains:                                     ¦
¦                                               ¦
¦ Folders          3                            ¦
¦ Files            4120                         ¦
¦ Files size       8 612 305                    ¦
¦ Allocated size   34 751 056 (403%)            ¦
¦                                               ¦
¦ Cluster size     8 192                        ¦
¦ Files slack      26 138 101 (75%)             ¦
¦ MFT overhead     650 (0%)                     ¦
¦-----------------------------------------------¦
¦MAIL                                           ¦
L===============================================-

--
Vladimir A.Bakhvaloff
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
18.06.2014, 17:49
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673432
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
zirra...
И.....При чем тут кластеры?
...
Рейтинг: 0 / 0
18.06.2014, 18:03
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673435
Фотография zirra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zirra
Участник
Leonid Kudryavtsev> И.....При чем тут кластеры?
А какое слово непонятно из Files size , Allocated size , Cluster size и/или Files slack ?..

--
Vladimir A.Bakhvaloff
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
18.06.2014, 18:04
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673438
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
IMHO А исходный вопрос топикастера достаточно сложен:
1. Не понятно, что это за "картографический сервер"
Соответственно: Не понятны рекомендации разработчика картографического сервера. Если это например ArcGIS, то такие рекомендации быть должны - им и нужно следовать

2. Несколько сотен тысяч файлов, все <=2 Кб, разбросаны по папкам вложенности от 3-5.
В целом это не проблема (см. выше).

3. все <=2 Кб
А вот это уже странно:
3a - Что это за тейлы такие?
3б - NTFS может хранит мелкие файлы (вроде <1K) специальным образом, внутри MFT. Можно высказать _предположение_, что возникает ненормально большая нагрузка на MFT. Диск пустой, а MFT все забито под завязку (и возможно жутко фрагментировано). Нужно смотреть.

4. 7z упаковывает такое дело в ~40 раз.
Все чудесатее и чудесатее. (C)
Что это за тейлы такие? Обычно тейлы хранится в PNG, т.е. уже в сжатом формате.

5. Версия Windows не приведена. Разбивка на диске не приведена. Все остальное - так же не приведено
6. При знания автора, отсылать его в реестр.... Потом вообще компьютер не загрузится )))

etc..etc...

В общем, вопросов огромное кол-во. А начинать надо с пункта 1. "рекомендации производителя картографического софта". IMHO & AFAIK

Да и вообще: Приумножая знания - приумножаем скорбь (C) Эклизиаст
...
Рейтинг: 0 / 0
18.06.2014, 18:06
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673442
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
zirraА какое слово непонятно из Files size , Allocated size , Cluster size и/или Files slack ?..

1. Непонятно, какое это отношение имеет к вопросу автора.
2. Ну и в NTFS "все не так однозначно" (C) дочь офицера
...
Рейтинг: 0 / 0
18.06.2014, 18:08
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673451
Фотография Gator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gator
Участник
Leonid Kudryavtsev,
1. очевидно это набор векторных и растровых картинок и текстовых файлов.
3. Тейпы - это те мелкие "квадратики" разных масштабов, из которых формируется карта.

Ты наверняка видел их (и их прорисовку) и на телефоне и в гугл/яндекс maps.
...
Рейтинг: 0 / 0
18.06.2014, 18:12
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673456
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
p.s. собственно сейчас сам разрабатываю "картографический сервис" на базе Oracle Map Viewer. Такими проблема, как у автора топика - вообще не парюсь. Т.к. такой проблемы нет
p.p.s. до этого (8 лет назад) разрабатывал систему КАМИС . Где спокойно хранили десятки-сотню тысяч изображений музейных предметов в одной папке. В случае формата JTIP (пирамидальный jpeg, jpeg tailed piramidales как-то так по французки), изображение = папка с десятком-сотней файлов (тейлов). Никаких проблем нет
...
Рейтинг: 0 / 0
18.06.2014, 18:15
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673470
Фотография Gator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gator
Участник
Leonid Kudryavtsev, как бы "картография" ТС сбивает с толку. Пусть идёт на SASGis и там спрашивает.
Windows тут абсолютно не при чём.
__________________________
Как хранить много мини-файлов и размеры кластера обсуждалось
много-много-много-много раз, и ищо раз, много-много, много раз :)
...
Рейтинг: 0 / 0
18.06.2014, 18:22
| Ответить | Цитировать | Написать  
Как правильно хранить огромное количество мелких файлов?
    #38673518
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
zirra Про размер кластера слышал что-нибудь?.. ;-)Если опираться на объективные данные, а не на эвристику "диспетчеров файлов", то на NTFS мелкие файлы не занимают ни одного кластера.
...
Рейтинг: 0 / 0
18.06.2014, 18:52
| Ответить | Цитировать | Написать  
25 сообщений из 58, страница 1 из 3
  1  все
Форумы / Windows [игнор отключен] [закрыт для гостей] / Как правильно хранить огромное количество мелких файлов?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=26&fpage=15&tid=1492477]:
 0ms
get settings:
 7ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 73ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 55ms
get tp. blocked users:
 2ms
others: 248ms
total:  415ms
созд. / загр.: 415ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]