Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Windows [игнор отключен] [закрыт для гостей] / скорость копирования файлов / 16 сообщений из 16, страница 1 из 1
25.09.2011, 22:08
    #37455272
YuraIII
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
Всем привет,
Возник такой вопрос, посоветуйте плз как разобраться. есть Source откуда надо копировать файлы на другое хранилище.
далее программа подтягивает из этого хранилища файлы которые ей нужны.
вопрос, имеет ли разницу\влияет на скорость копирования, лежат ли все файлы , например 100 000 файлов в корне, или нужных 30 файлов в отдельной папке
1) \\test - и в нем 100 000 файлов
2) \\test\test1 - и в нем 30 нужных файлов

мне кажется что 2-й вариант работает быстрее. но как это можно доказать или опровергнуть с конкретными цифрами.

Огромное спасибо
...
Рейтинг: 0 / 0
25.09.2011, 22:18
    #37455278
AndreTM
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
Тут все зависит от ФС; но в любом случае, 100000 файлов даже с индексированным каталогом дадут такие тормоза при поиске... в сравнении с деревом каталогов для того же количества (скажем 100 каталогов, в каждом из которых по 100 подкаталогов, в каждом из которых по 100 файлов...). Ибо поиск по древовидной, особенно сбалансированной, стуктуре пропорционален логарифму, в отличие от линейного перебора.
...
Рейтинг: 0 / 0
25.09.2011, 22:37
    #37455285
YuraIII
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
AndreTM,

спасибо. подскажите как это можно замерять, возможно какой-то простой .bat файл?
...
Рейтинг: 0 / 0
25.09.2011, 23:08
    #37455306
AndreTM
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
Тут проверка копированием не поможет. Поскольку больше времени при "последующей случайной выборке некоторых файлов" тратится именно на поиск в каталоге.
Хотя общее время на копирование - можете проверить:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
=== cut ===
@echo off
echo Start  %date%  %time%
echo Working, please wait...
xcopy c:\work\* d:\w\*.* /E /C /Q /Y /Z
echo End  %date%  %time%
pause
=== cut ===
...
Рейтинг: 0 / 0
26.09.2011, 09:14
    #37455457
Alibek B
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
Копировать лучше в nul.
И лучше сбросить дисковый кэш, чтобы более точно измерить.
...
Рейтинг: 0 / 0
26.09.2011, 11:29
    #37455606
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
YuraIIIесть Source откуда надо копировать файлы на другое хранилище.
далее программа подтягивает из этого хранилища файлы которые ей нужны.
вопрос, имеет ли разницу\влияет на скорость копирования, лежат ли все файлы , например 100 000 файлов в корне, или нужных 30 файлов в отдельной папке
1) \\test - и в нем 100 000 файлов
2) \\test\test1 - и в нем 30 нужных файлов

мне кажется что 2-й вариант работает быстрее. но как это можно доказать или опровергнуть с конкретными цифрами.

Второй вариант однозначно работает быстрее. Однако насколько - зависит от того, какая ОС и какая файловая система в файлохранилище, что там с оперативкой и пр... вполне может оказаться, что разницу тне то увидеть - замерить не удастся.
...
Рейтинг: 0 / 0
27.09.2011, 16:47
    #37457623
YuraIII
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
всем спасибо за советы,

стоит NTFS, Но вот интересует именно замер в плоть до секунд.
Спасибо
...
Рейтинг: 0 / 0
27.09.2011, 18:03
    #37457780
The Dim!
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
YuraIIIвсем спасибо за советы,

стоит NTFS, Но вот интересует именно замер в плоть до секунд.
Спасибо

Значение имеет не только это.
- фрагментация/расположение файлов;
- наличие антивирусного ПО;
- прочий доступ к диску в это время;
- нагрузка на сетевой интерфейс/канал;
- ...

По-возможности заливайте все в один файл(архив - хоть вообще без сжатия) и копируйте именно его.

Замер чего?
Вам же уже сказали, что нужно различать время на сканирование диска(MFT, файлов) и время передачи данных по сети. Вы сможете обеспечить раздельный замер? Скорее всего нет.

P.S. Как производит сравнение(т.е. на чем основано ваше заключение "бастрее/медленее"), уж не визуально ли в GUI интерфейсе?
...
Рейтинг: 0 / 0
28.09.2011, 00:59
    #37458206
YuraIII
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
The Dim!P.S. Как производит сравнение(т.е. на чем основано ваше заключение "бастрее/медленее"), уж не визуально ли в GUI интерфейсе?

так вот именно что не на чем, вот и хочу замерять скорость, скажем так, получения файлов
просто с корня - \\test
и из папки , как я приводил выше \\test\test\

спасибо за выше приведенные условия\требования.
возможности заливать в один архив нет, потому что это просто репозиторий, откуда потом подтягиваются файлы\библиотеки.
поэтому и стал вопрос, нужно ли разделить нужные файлы, или так и продолжать заливать все в корень превращая его в мусорник.
не всегда просто то что накатывается сегодня (т.е например одним архивом) , может понадобиться. может понадобиться
test_v2_hello.dll , и test_v7_privet.dll . так же в этом корне уже содержатся файлы, test_v1_hello.dll , test_v1_privet.dll (все 7 версий)
но вот в чем дело, есть апликейшен тест который всегда будет искать только тест.dll -ки. а кроме этого тут еще лежат куча библиотек других апликейшенов и т.д.

вот возникла задача, и нужно ли это вообще делать, вынести все тест в папку тест, и оттуда их потом подгружать\копировать.
или это не имеет смысла делать?
...
Рейтинг: 0 / 0
28.09.2011, 09:15
    #37458347
The Dim!
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
Риторический вопрос... зачем? :)

Не всё так просто :)

С точки зрения таблицы размещения файлов, то чем меньше вложенность, тем быстрее будет отдан файл. Но в NTFS есть индексы и как они работаю я объяснить не берусь, по моему они ни так зависимы от вложенности. Это я к тому что в NTFS есть два способа поиска файлов.
По умолчанию (могу ошибаться, надеюсь меня поправят) используется метод доступа по индексам.

Большое количество файлов в одном каталоге трудно обработать любым файловым менеджерам. Это влияет на скорость отрисовки. Поэтому, для оценки скорости копирования, такой метод не подходит - тормоза не от FS а от GUI.

Как проверить...
В который раз вопрос: что проверить, время поиска файла или время прокачки его по сети? Вы поймите, это принципиально разные моменты.
Время поиска можно проверить тестировщиками винта. Скорость интерфейса - да просто копированием большого файла.
Но имея эти результаты нельзя понять какая же скорость копирования множества мелких файлов должна быть.... на это влияет много сторонних фактор (см. выше).

Репозитарий.
Для организации таких вещей есть сервера баз данных. В частности, есть ориентированные именно на эту задачу. Например вот Apache cassandra .
Правда, нужно научить приложение забирать оттуда файлы :)


Microsoft, кстати говоря, предоставляет два способа доступа к файлам на шарах.
1. То что используете вы - просто шара. Насколько я понимаю, то вы используете именно этот способ.
2. Монтирование сетевой шары как сетевого диска.

Чем они различаются? Ответа я не знаю - спрашивал/искал... без результатно (может кто из форумчан поделится сим знанием сокральным). Но в рекомендациях по работе с базами данных (файл-серверными, разумеется) встречал рекомендацию монтировать каталог на удаленной машине именно как сетевой диск. Вполне возможно что это потому что драйвера не могли работать с UNC путями... а возможно из-за другой организации кэширования, особенностей ввода/вывода...
Попробуйте так.

Как замерить...
Да на любом скриптовом движке вывыдее время начала работы скрипта и окончания. Только вот что вы померяете таким образом, я затрудняюсь ответить. Но приблизительный ответ на быстрее/медленние вы получите.
...
Рейтинг: 0 / 0
07.10.2011, 11:02
    #37472404
serg3533
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
Нужна стратегическая потдержка))) Такая ситуация, один сервак глючит, никак по сети копировать не хочет. Хоть на него, хоть обратно - скорость 10 Кб/с!!!! Между любыми другими серваками до 50 000 Кб/с!!!! Пробовал по удаленке с этого сервака и на него копировать, пробовал RAdmin, пробовал менять сетевухи, пробовал в 3Com местами с другим серваком менять сетевые провода - ВСЁ БЕЗРЕЗУЛЬТАТНО!!! С этого сервака BackUp (~150 GB) сливать нужно, а никак ((( Настройки сетевых везде одинаковы, пробовал и через свободный доступ и Админом - всё без толку. ОС на серверах Win2003 EE SP2(сетевые 1Гб), на РС WinXPSP3.
Что можно сделать, помогите!!!
...
Рейтинг: 0 / 0
07.10.2011, 16:58
    #37473269
Khod
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
Топология сети какая?
...
Рейтинг: 0 / 0
07.10.2011, 20:42
    #37473565
serg3533
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
KhodТопология сети какая?

Звезда.

И вот ещё какая штука, на этот (проблемный) сервак скинуть можно (скорость нормальная), только с него такая проблема. На него файл копируешь 1 минуту, обратно его же - 20 часов показывает (((
...
Рейтинг: 0 / 0
08.10.2011, 00:26
    #37473744
naPmu3aH
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
Попробуйте поотключать в параметрах драйвера сетевой карты (что за сетевая карта там кстати и какие драйвера?) всякие там Task Offload/Checksum Offload/TCP Segmentation Offload и т.п.
Ну или можно сразу отключать через реестр, как написано здесь

P.S. В серверах имеют право на существование только гигабитные Intel'ы (у них в порядке и с железом и с драйверами, хотя иногда бывают проблемы) и Broadcom'ы (у этих весьма зависит от драйверов)... Все остальное, особенно встроенное в платы, предназначенные для десктопных компьютеров (я надеюсь у вас не такой "сервер", нет?) - потенциальное глюкалово. Особенно сейчас, когда каждые несколько месяцев выпускается новая ревизия/чипсет по новому техпроцессу и т.п. и тысячи пользователей по всему миру становятся бесплатными бетатестерами этого и драйверов к всему этому...
...
Рейтинг: 0 / 0
08.10.2011, 10:14
    #37473844
Alibek B
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
naPmu3aHP.S. В серверах имеют право на существование только гигабитные Intel'ы
Такая точка зрения имела право на существование лет 10 назад.
На серверах должны быть хотя бы EXPX9502AFXSR, да и то только при ограниченном бюджете.
...
Рейтинг: 0 / 0
08.10.2011, 15:22
    #37474005
The Dim!
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скорость копирования файлов
А что PerfMon и... ну скажем, ProcessXP (от Руссиновича) показывают при копировании?
...
Рейтинг: 0 / 0
Форумы / Windows [игнор отключен] [закрыт для гостей] / скорость копирования файлов / 16 сообщений из 16, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]