powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Windows [игнор отключен] [закрыт для гостей] / скорость копирования файлов
16 сообщений из 16, страница 1 из 1
скорость копирования файлов
    #37455272
YuraIII
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет,
Возник такой вопрос, посоветуйте плз как разобраться. есть Source откуда надо копировать файлы на другое хранилище.
далее программа подтягивает из этого хранилища файлы которые ей нужны.
вопрос, имеет ли разницу\влияет на скорость копирования, лежат ли все файлы , например 100 000 файлов в корне, или нужных 30 файлов в отдельной папке
1) \\test - и в нем 100 000 файлов
2) \\test\test1 - и в нем 30 нужных файлов

мне кажется что 2-й вариант работает быстрее. но как это можно доказать или опровергнуть с конкретными цифрами.

Огромное спасибо
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37455278
Фотография AndreTM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тут все зависит от ФС; но в любом случае, 100000 файлов даже с индексированным каталогом дадут такие тормоза при поиске... в сравнении с деревом каталогов для того же количества (скажем 100 каталогов, в каждом из которых по 100 подкаталогов, в каждом из которых по 100 файлов...). Ибо поиск по древовидной, особенно сбалансированной, стуктуре пропорционален логарифму, в отличие от линейного перебора.
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37455285
YuraIII
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
AndreTM,

спасибо. подскажите как это можно замерять, возможно какой-то простой .bat файл?
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37455306
Фотография AndreTM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тут проверка копированием не поможет. Поскольку больше времени при "последующей случайной выборке некоторых файлов" тратится именно на поиск в каталоге.
Хотя общее время на копирование - можете проверить:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
=== cut ===
@echo off
echo Start  %date%  %time%
echo Working, please wait...
xcopy c:\work\* d:\w\*.* /E /C /Q /Y /Z
echo End  %date%  %time%
pause
=== cut ===
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37455457
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Копировать лучше в nul.
И лучше сбросить дисковый кэш, чтобы более точно измерить.
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37455606
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
YuraIIIесть Source откуда надо копировать файлы на другое хранилище.
далее программа подтягивает из этого хранилища файлы которые ей нужны.
вопрос, имеет ли разницу\влияет на скорость копирования, лежат ли все файлы , например 100 000 файлов в корне, или нужных 30 файлов в отдельной папке
1) \\test - и в нем 100 000 файлов
2) \\test\test1 - и в нем 30 нужных файлов

мне кажется что 2-й вариант работает быстрее. но как это можно доказать или опровергнуть с конкретными цифрами.

Второй вариант однозначно работает быстрее. Однако насколько - зависит от того, какая ОС и какая файловая система в файлохранилище, что там с оперативкой и пр... вполне может оказаться, что разницу тне то увидеть - замерить не удастся.
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37457623
YuraIII
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
всем спасибо за советы,

стоит NTFS, Но вот интересует именно замер в плоть до секунд.
Спасибо
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37457780
The Dim!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
YuraIIIвсем спасибо за советы,

стоит NTFS, Но вот интересует именно замер в плоть до секунд.
Спасибо

Значение имеет не только это.
- фрагментация/расположение файлов;
- наличие антивирусного ПО;
- прочий доступ к диску в это время;
- нагрузка на сетевой интерфейс/канал;
- ...

По-возможности заливайте все в один файл(архив - хоть вообще без сжатия) и копируйте именно его.

Замер чего?
Вам же уже сказали, что нужно различать время на сканирование диска(MFT, файлов) и время передачи данных по сети. Вы сможете обеспечить раздельный замер? Скорее всего нет.

P.S. Как производит сравнение(т.е. на чем основано ваше заключение "бастрее/медленее"), уж не визуально ли в GUI интерфейсе?
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37458206
YuraIII
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
The Dim!P.S. Как производит сравнение(т.е. на чем основано ваше заключение "бастрее/медленее"), уж не визуально ли в GUI интерфейсе?

так вот именно что не на чем, вот и хочу замерять скорость, скажем так, получения файлов
просто с корня - \\test
и из папки , как я приводил выше \\test\test\

спасибо за выше приведенные условия\требования.
возможности заливать в один архив нет, потому что это просто репозиторий, откуда потом подтягиваются файлы\библиотеки.
поэтому и стал вопрос, нужно ли разделить нужные файлы, или так и продолжать заливать все в корень превращая его в мусорник.
не всегда просто то что накатывается сегодня (т.е например одним архивом) , может понадобиться. может понадобиться
test_v2_hello.dll , и test_v7_privet.dll . так же в этом корне уже содержатся файлы, test_v1_hello.dll , test_v1_privet.dll (все 7 версий)
но вот в чем дело, есть апликейшен тест который всегда будет искать только тест.dll -ки. а кроме этого тут еще лежат куча библиотек других апликейшенов и т.д.

вот возникла задача, и нужно ли это вообще делать, вынести все тест в папку тест, и оттуда их потом подгружать\копировать.
или это не имеет смысла делать?
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37458347
The Dim!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Риторический вопрос... зачем? :)

Не всё так просто :)

С точки зрения таблицы размещения файлов, то чем меньше вложенность, тем быстрее будет отдан файл. Но в NTFS есть индексы и как они работаю я объяснить не берусь, по моему они ни так зависимы от вложенности. Это я к тому что в NTFS есть два способа поиска файлов.
По умолчанию (могу ошибаться, надеюсь меня поправят) используется метод доступа по индексам.

Большое количество файлов в одном каталоге трудно обработать любым файловым менеджерам. Это влияет на скорость отрисовки. Поэтому, для оценки скорости копирования, такой метод не подходит - тормоза не от FS а от GUI.

Как проверить...
В который раз вопрос: что проверить, время поиска файла или время прокачки его по сети? Вы поймите, это принципиально разные моменты.
Время поиска можно проверить тестировщиками винта. Скорость интерфейса - да просто копированием большого файла.
Но имея эти результаты нельзя понять какая же скорость копирования множества мелких файлов должна быть.... на это влияет много сторонних фактор (см. выше).

Репозитарий.
Для организации таких вещей есть сервера баз данных. В частности, есть ориентированные именно на эту задачу. Например вот Apache cassandra .
Правда, нужно научить приложение забирать оттуда файлы :)


Microsoft, кстати говоря, предоставляет два способа доступа к файлам на шарах.
1. То что используете вы - просто шара. Насколько я понимаю, то вы используете именно этот способ.
2. Монтирование сетевой шары как сетевого диска.

Чем они различаются? Ответа я не знаю - спрашивал/искал... без результатно (может кто из форумчан поделится сим знанием сокральным). Но в рекомендациях по работе с базами данных (файл-серверными, разумеется) встречал рекомендацию монтировать каталог на удаленной машине именно как сетевой диск. Вполне возможно что это потому что драйвера не могли работать с UNC путями... а возможно из-за другой организации кэширования, особенностей ввода/вывода...
Попробуйте так.

Как замерить...
Да на любом скриптовом движке вывыдее время начала работы скрипта и окончания. Только вот что вы померяете таким образом, я затрудняюсь ответить. Но приблизительный ответ на быстрее/медленние вы получите.
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37472404
serg3533
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Нужна стратегическая потдержка))) Такая ситуация, один сервак глючит, никак по сети копировать не хочет. Хоть на него, хоть обратно - скорость 10 Кб/с!!!! Между любыми другими серваками до 50 000 Кб/с!!!! Пробовал по удаленке с этого сервака и на него копировать, пробовал RAdmin, пробовал менять сетевухи, пробовал в 3Com местами с другим серваком менять сетевые провода - ВСЁ БЕЗРЕЗУЛЬТАТНО!!! С этого сервака BackUp (~150 GB) сливать нужно, а никак ((( Настройки сетевых везде одинаковы, пробовал и через свободный доступ и Админом - всё без толку. ОС на серверах Win2003 EE SP2(сетевые 1Гб), на РС WinXPSP3.
Что можно сделать, помогите!!!
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37473269
Khod
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Топология сети какая?
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37473565
serg3533
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
KhodТопология сети какая?

Звезда.

И вот ещё какая штука, на этот (проблемный) сервак скинуть можно (скорость нормальная), только с него такая проблема. На него файл копируешь 1 минуту, обратно его же - 20 часов показывает (((
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37473744
Фотография naPmu3aH
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Попробуйте поотключать в параметрах драйвера сетевой карты (что за сетевая карта там кстати и какие драйвера?) всякие там Task Offload/Checksum Offload/TCP Segmentation Offload и т.п.
Ну или можно сразу отключать через реестр, как написано здесь

P.S. В серверах имеют право на существование только гигабитные Intel'ы (у них в порядке и с железом и с драйверами, хотя иногда бывают проблемы) и Broadcom'ы (у этих весьма зависит от драйверов)... Все остальное, особенно встроенное в платы, предназначенные для десктопных компьютеров (я надеюсь у вас не такой "сервер", нет?) - потенциальное глюкалово. Особенно сейчас, когда каждые несколько месяцев выпускается новая ревизия/чипсет по новому техпроцессу и т.п. и тысячи пользователей по всему миру становятся бесплатными бетатестерами этого и драйверов к всему этому...
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37473844
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
naPmu3aHP.S. В серверах имеют право на существование только гигабитные Intel'ы
Такая точка зрения имела право на существование лет 10 назад.
На серверах должны быть хотя бы EXPX9502AFXSR, да и то только при ограниченном бюджете.
...
Рейтинг: 0 / 0
скорость копирования файлов
    #37474005
The Dim!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А что PerfMon и... ну скажем, ProcessXP (от Руссиновича) показывают при копировании?
...
Рейтинг: 0 / 0
16 сообщений из 16, страница 1 из 1
Форумы / Windows [игнор отключен] [закрыт для гостей] / скорость копирования файлов
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]