ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Windows [игнор отключен] [закрыт для гостей] / Много файлов влияют на производительность?
21 сообщений из 21, страница 1 из 1
Много файлов влияют на производительность?
    #39450305
Alexander Us
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Us
Участник
Есть планы хранить много файлов ~до 2-3 миллиардов на диске.
Размер файлов 1 - 200 кб.
Повлияет ло это на производительность?
Если да, насколько?
...
Рейтинг: 0 / 0
09.05.2017, 14:38
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450308
Alexander Us
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Us
Участник
Дополнение: Win 2012 R2 64 bit
...
Рейтинг: 0 / 0
09.05.2017, 14:49
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450310
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Alexander UsПовлияет ло это на производительность?Производительность чего именно? Видеокарты? :)

Я бы такое вынес на отдельный раздел или физический диск. А дальше - зависит уже от того, что именно с этим множеством файлов будете делать.
...
Рейтинг: 0 / 0
09.05.2017, 14:54
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450319
Alexander Us
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Us
Участник
miksoft,

Производительность машины (это будет на вэб сервере) и файловой сиситемы.

Пока что файлы хранятся в блобах на MSSQL, но я недоволен производительностью.
Обдумывается идея перенапровления блобов в файлы.
...
Рейтинг: 0 / 0
09.05.2017, 15:17
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450330
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
Alexander Usмного файлов ~до 2-3 миллиардов на диске.
...
Повлияет ло это на производительность?
Если в одном каталоге - конечно, повлияет...
...
Рейтинг: 0 / 0
09.05.2017, 15:42
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450332
Alexander Us
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Us
Участник
Akina,

нет не в одном. Будет создана структура папок.
...
Рейтинг: 0 / 0
09.05.2017, 15:45
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450333
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Alexander Us...
Повлияет ло это на производительность?
Если да, насколько?
Думаю, в первую очередь это повлияет на стратегию бэкапа и надежность. По сравнению с SQL сервером.

Из минусов, понятно, что MFT разрастется до неприличных размеров. Я бы какой ни будь софтиной заранее бы MFT сделал большим и как минимум поставил/купил бы дефрагментатор, который умеет MFT дефрагментировать.

Если разложить по поддиректориям, то файловой системе точно выдержат должна. Даже лет 15 назад, пара десятков тысяч файлов в одной директории для NTFS проблемы не составляло. Придумать систему раскладки файлов по поддиректориям и будет счастье.
...
Рейтинг: 0 / 0
09.05.2017, 15:48
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450334
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
AkinaЕсли в одном каталоге - конечно, повлияет...
Если верить книжкам, в NTFS там B-tree, т.ч. должно быть пофиг. Но я бы так экспериментировать не стал бы ))).
...
Рейтинг: 0 / 0
09.05.2017, 15:50
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450354
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Мои эксперименты показывали, что хреновенько получается.

Даже несмотря на то, что файлы меньше 662 байт хранятся прямо в каталогах.

Так что надо пробовать - смотря что с ними придется делать.
Если только читать - лучше пачками в zip или tar совать.
...
Рейтинг: 0 / 0
09.05.2017, 16:56
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450356
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
Leonid KudryavtsevЕсли верить книжкам, в NTFS там B-tree, т.ч. должно быть пофиг.Это не так. Найти файл - одно, а найти его элемент(ы) каталога в многометровом файле каталога для корректировки - совсем другое, и тут B-Tree не помощник... впрочем, если RO и отключить запись last access time, то да...
...
Рейтинг: 0 / 0
09.05.2017, 16:58
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450360
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Alexander UsЕсть планы хранить много файлов ~до 2-3 миллиардов на диске.
Размер файлов 1 - 200 кб.
Эти файлы даже в чистом виде, без оверхэда ФС займут 2-600 террабайт. Таких дисков не бывает.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.05.2017, 17:07
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450363
azsx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
azsx
Участник
Часто работал с числом файлов в каталоге до миллиона. Если бзать из консоли -- особых проблем нет.
зы
Перед такими структурными изменениями в продакшене лучше найти винт, поставить на другой комп и тестово поработать для своих задач с парой миллиардов файлов. кэп.
...
Рейтинг: 0 / 0
09.05.2017, 17:11
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450382
Alexander Us
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Us
Участник
Leonid Kudryavtsev,

Надо сохранять второстепенные данные, которых много, так что это даже лучше исключить их из SQL бэкапа.
Основнвя идея такова - разгрузить SQL, сохранять второстепенные данные прямо в файлы.
Затем имрортировать эти файлы кудя либо для "анализов".
...
Рейтинг: 0 / 0
09.05.2017, 17:35
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450386
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
azsxЕсли бзать из консоли -- особых проблем нет.200 мс при интерактивке в консоли - да, незаметно, а как оверхед к каждому запросу?
...
Рейтинг: 0 / 0
09.05.2017, 17:45
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450437
azsx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
azsx
Участник
автор200 мс при интерактивке в консоли - да, незаметно, а как оверхед к каждому запросу?
Что только подтверждает мой пост, надо тестировать на своей задаче. А если нам архив записей нужен, который может быть запросит новенький гадал по биг дата, а может никто не запросит никогда?
А может лучше на второй комп сделать БД 2, в которую скидывать неактуальные данные. Или другую таблицу в существующей? Откуда мне знать.
...
Рейтинг: 0 / 0
09.05.2017, 20:12
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450470
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Akinaотключить запись last access time, то да...
Плюсуюсь. Совсем забыл. Разумеется 100% отключать.

С этой фигней работать вообще не реально.
...
Рейтинг: 0 / 0
09.05.2017, 22:07
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450472
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Alexander UsLeonid Kudryavtsev,

Надо сохранять второстепенные данные, которых много, так что это даже лучше исключить их из SQL бэкапа.
Основнвя идея такова - разгрузить SQL, сохранять второстепенные данные прямо в файлы.
Затем имрортировать эти файлы кудя либо для "анализов".
Это древний холевар.
БД vs Файловая система

Когда в свое время работал с кол-вом десятки-сотня тысяч объектов (самих файлов было на порядок больше), постоянно были проблемы с логической целостностью.

То файл есть, записи о нем в БД нет, то запись есть, а где файл на диске - фиг поймешь. По разным причинам.

В СУБД такие вещи на порядки проще отлавливаются. Да и известно, что никакой админ своими грязными ручками в СУБД не залезет. Плюс единый доступ по сети. Работали с БД Oracle через I-net и Net80. Пробросили на роутере порт для Net80, настроили Oracle Connaction Manager и удаленный доступ есть ко всей информации. В случае хранения и в БД и на диске - нужно настраивать и доступ к БД и файл шаринг. Плюс права пользователей раздавать и там и там. Безопасность усложняется.

В общем... скорость конечно на диске будет повыше, но заморочек на порядки больше. IMHO & AFAIK. По моему опыту

Ну и это в случае read only. Подозреваю, если информация часто добавляется/изменяется, то СУБД может оказаться быстрее. Или нужно смотреть какие нибудь экзотические файловые системы, a la ZFS. IMHO & AFAIK
...
Рейтинг: 0 / 0
09.05.2017, 22:19
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450485
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Leonid Kudryavtsev,

TxF
...
Рейтинг: 0 / 0
09.05.2017, 23:06
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450547
Roman Mejtes
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Roman Mejtes
Участник
если осуществляется запись и чтения с базы, как бы медленнее не стало имхо, особенно в плане доступа на запись\чтение, сама цепочка станет больше, ведь для каждой операции чтения\записи будет вызвано куча всего, создан ханл и т.д. Автор напиши потом, на сколько это помогло, просто интересно :)
...
Рейтинг: 0 / 0
10.05.2017, 08:34
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450559
Фотография Нахлобуч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нахлобуч
Участник
SiemarglLeonid Kudryavtsev,

TxF
Нету больше TxF .
...
Рейтинг: 0 / 0
10.05.2017, 08:57
| Ответить | Цитировать | Написать  
Много файлов влияют на производительность?
    #39450677
Onax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Onax
Гость
тоже с этим вопросом столкнулся, правда файлов сильно меньше, около 40к
решил полумерой - оставил все старые механизмы которые лезли в БД, однако дополнил их прямым чтением из файлов если они есть
ну и выкачал файлы скриптом, по мере надобности просто подкачиваю еще с условием where created>'прошлая выкачка'
проблема синхронизации таким образом ушла, трудозатрат ноль, целостность осталась, с бекапами всё четко
если встанет вопрос с удалением чего нет в БД решение 50 строк кода дернуть базу и пройтись по файлам удаляя всё лишнее

ну а с точки зрения системы ничего не произошло от такой папки, главное никогда не входить в нее окошками, ни через фтп и т.п )
...
Рейтинг: 0 / 0
10.05.2017, 11:56
| Ответить | Цитировать | Написать  
21 сообщений из 21, страница 1 из 1
Форумы / Windows [игнор отключен] [закрыт для гостей] / Много файлов влияют на производительность?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=26&msg=39450677&tid=1493114]:
 0ms
get settings:
 8ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 166ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 63ms
get tp. blocked users:
 2ms
others: 12ms
total:  288ms
созд. / загр.: 288ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]