|
|
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
Всем привет, Возник такой вопрос, посоветуйте плз как разобраться. есть Source откуда надо копировать файлы на другое хранилище. далее программа подтягивает из этого хранилища файлы которые ей нужны. вопрос, имеет ли разницу\влияет на скорость копирования, лежат ли все файлы , например 100 000 файлов в корне, или нужных 30 файлов в отдельной папке 1) \\test - и в нем 100 000 файлов 2) \\test\test1 - и в нем 30 нужных файлов мне кажется что 2-й вариант работает быстрее. но как это можно доказать или опровергнуть с конкретными цифрами. Огромное спасибо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2011, 22:08 |
|
||
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
Тут все зависит от ФС; но в любом случае, 100000 файлов даже с индексированным каталогом дадут такие тормоза при поиске... в сравнении с деревом каталогов для того же количества (скажем 100 каталогов, в каждом из которых по 100 подкаталогов, в каждом из которых по 100 файлов...). Ибо поиск по древовидной, особенно сбалансированной, стуктуре пропорционален логарифму, в отличие от линейного перебора. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2011, 22:18 |
|
||
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
AndreTM, спасибо. подскажите как это можно замерять, возможно какой-то простой .bat файл? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2011, 22:37 |
|
||
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
Тут проверка копированием не поможет. Поскольку больше времени при "последующей случайной выборке некоторых файлов" тратится именно на поиск в каталоге. Хотя общее время на копирование - можете проверить: Код: plaintext 1. 2. 3. 4. 5. 6. 7. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2011, 23:08 |
|
||
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
Копировать лучше в nul. И лучше сбросить дисковый кэш, чтобы более точно измерить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.09.2011, 09:14 |
|
||
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
YuraIIIесть Source откуда надо копировать файлы на другое хранилище. далее программа подтягивает из этого хранилища файлы которые ей нужны. вопрос, имеет ли разницу\влияет на скорость копирования, лежат ли все файлы , например 100 000 файлов в корне, или нужных 30 файлов в отдельной папке 1) \\test - и в нем 100 000 файлов 2) \\test\test1 - и в нем 30 нужных файлов мне кажется что 2-й вариант работает быстрее. но как это можно доказать или опровергнуть с конкретными цифрами. Второй вариант однозначно работает быстрее. Однако насколько - зависит от того, какая ОС и какая файловая система в файлохранилище, что там с оперативкой и пр... вполне может оказаться, что разницу тне то увидеть - замерить не удастся. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.09.2011, 11:29 |
|
||
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
всем спасибо за советы, стоит NTFS, Но вот интересует именно замер в плоть до секунд. Спасибо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.09.2011, 16:47 |
|
||
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
YuraIIIвсем спасибо за советы, стоит NTFS, Но вот интересует именно замер в плоть до секунд. Спасибо Значение имеет не только это. - фрагментация/расположение файлов; - наличие антивирусного ПО; - прочий доступ к диску в это время; - нагрузка на сетевой интерфейс/канал; - ... По-возможности заливайте все в один файл(архив - хоть вообще без сжатия) и копируйте именно его. Замер чего? Вам же уже сказали, что нужно различать время на сканирование диска(MFT, файлов) и время передачи данных по сети. Вы сможете обеспечить раздельный замер? Скорее всего нет. P.S. Как производит сравнение(т.е. на чем основано ваше заключение "бастрее/медленее"), уж не визуально ли в GUI интерфейсе? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.09.2011, 18:03 |
|
||
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
The Dim!P.S. Как производит сравнение(т.е. на чем основано ваше заключение "бастрее/медленее"), уж не визуально ли в GUI интерфейсе? так вот именно что не на чем, вот и хочу замерять скорость, скажем так, получения файлов просто с корня - \\test и из папки , как я приводил выше \\test\test\ спасибо за выше приведенные условия\требования. возможности заливать в один архив нет, потому что это просто репозиторий, откуда потом подтягиваются файлы\библиотеки. поэтому и стал вопрос, нужно ли разделить нужные файлы, или так и продолжать заливать все в корень превращая его в мусорник. не всегда просто то что накатывается сегодня (т.е например одним архивом) , может понадобиться. может понадобиться test_v2_hello.dll , и test_v7_privet.dll . так же в этом корне уже содержатся файлы, test_v1_hello.dll , test_v1_privet.dll (все 7 версий) но вот в чем дело, есть апликейшен тест который всегда будет искать только тест.dll -ки. а кроме этого тут еще лежат куча библиотек других апликейшенов и т.д. вот возникла задача, и нужно ли это вообще делать, вынести все тест в папку тест, и оттуда их потом подгружать\копировать. или это не имеет смысла делать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.09.2011, 00:59 |
|
||
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
Риторический вопрос... зачем? :) Не всё так просто :) С точки зрения таблицы размещения файлов, то чем меньше вложенность, тем быстрее будет отдан файл. Но в NTFS есть индексы и как они работаю я объяснить не берусь, по моему они ни так зависимы от вложенности. Это я к тому что в NTFS есть два способа поиска файлов. По умолчанию (могу ошибаться, надеюсь меня поправят) используется метод доступа по индексам. Большое количество файлов в одном каталоге трудно обработать любым файловым менеджерам. Это влияет на скорость отрисовки. Поэтому, для оценки скорости копирования, такой метод не подходит - тормоза не от FS а от GUI. Как проверить... В который раз вопрос: что проверить, время поиска файла или время прокачки его по сети? Вы поймите, это принципиально разные моменты. Время поиска можно проверить тестировщиками винта. Скорость интерфейса - да просто копированием большого файла. Но имея эти результаты нельзя понять какая же скорость копирования множества мелких файлов должна быть.... на это влияет много сторонних фактор (см. выше). Репозитарий. Для организации таких вещей есть сервера баз данных. В частности, есть ориентированные именно на эту задачу. Например вот Apache cassandra . Правда, нужно научить приложение забирать оттуда файлы :) Microsoft, кстати говоря, предоставляет два способа доступа к файлам на шарах. 1. То что используете вы - просто шара. Насколько я понимаю, то вы используете именно этот способ. 2. Монтирование сетевой шары как сетевого диска. Чем они различаются? Ответа я не знаю - спрашивал/искал... без результатно (может кто из форумчан поделится сим знанием сокральным). Но в рекомендациях по работе с базами данных (файл-серверными, разумеется) встречал рекомендацию монтировать каталог на удаленной машине именно как сетевой диск. Вполне возможно что это потому что драйвера не могли работать с UNC путями... а возможно из-за другой организации кэширования, особенностей ввода/вывода... Попробуйте так. Как замерить... Да на любом скриптовом движке вывыдее время начала работы скрипта и окончания. Только вот что вы померяете таким образом, я затрудняюсь ответить. Но приблизительный ответ на быстрее/медленние вы получите. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.09.2011, 09:15 |
|
||
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
Нужна стратегическая потдержка))) Такая ситуация, один сервак глючит, никак по сети копировать не хочет. Хоть на него, хоть обратно - скорость 10 Кб/с!!!! Между любыми другими серваками до 50 000 Кб/с!!!! Пробовал по удаленке с этого сервака и на него копировать, пробовал RAdmin, пробовал менять сетевухи, пробовал в 3Com местами с другим серваком менять сетевые провода - ВСЁ БЕЗРЕЗУЛЬТАТНО!!! С этого сервака BackUp (~150 GB) сливать нужно, а никак ((( Настройки сетевых везде одинаковы, пробовал и через свободный доступ и Админом - всё без толку. ОС на серверах Win2003 EE SP2(сетевые 1Гб), на РС WinXPSP3. Что можно сделать, помогите!!! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.10.2011, 11:02 |
|
||
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
Топология сети какая? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.10.2011, 16:58 |
|
||
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
KhodТопология сети какая? Звезда. И вот ещё какая штука, на этот (проблемный) сервак скинуть можно (скорость нормальная), только с него такая проблема. На него файл копируешь 1 минуту, обратно его же - 20 часов показывает ((( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.10.2011, 20:42 |
|
||
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
Попробуйте поотключать в параметрах драйвера сетевой карты (что за сетевая карта там кстати и какие драйвера?) всякие там Task Offload/Checksum Offload/TCP Segmentation Offload и т.п. Ну или можно сразу отключать через реестр, как написано здесь P.S. В серверах имеют право на существование только гигабитные Intel'ы (у них в порядке и с железом и с драйверами, хотя иногда бывают проблемы) и Broadcom'ы (у этих весьма зависит от драйверов)... Все остальное, особенно встроенное в платы, предназначенные для десктопных компьютеров (я надеюсь у вас не такой "сервер", нет?) - потенциальное глюкалово. Особенно сейчас, когда каждые несколько месяцев выпускается новая ревизия/чипсет по новому техпроцессу и т.п. и тысячи пользователей по всему миру становятся бесплатными бетатестерами этого и драйверов к всему этому... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.10.2011, 00:26 |
|
||
|
скорость копирования файлов
|
|||
|---|---|---|---|
|
#18+
naPmu3aHP.S. В серверах имеют право на существование только гигабитные Intel'ы Такая точка зрения имела право на существование лет 10 назад. На серверах должны быть хотя бы EXPX9502AFXSR, да и то только при ограниченном бюджете. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.10.2011, 10:14 |
|
||
|
|

start [/forum/topic.php?fid=26&msg=37473269&tid=1497664]: |
0ms |
get settings: |
4ms |
get forum list: |
8ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
215ms |
get topic data: |
6ms |
get forum data: |
1ms |
get page messages: |
29ms |
get tp. blocked users: |
1ms |
| others: | 211ms |
| total: | 479ms |

| 0 / 0 |
