Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Windows [игнор отключен] [закрыт для гостей] / Какой счётчик использовать? / 24 сообщений из 24, страница 1 из 1
22.01.2016, 18:17
    #39153306
13th
13th
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
Есть софтина, которая складывает данные в каталог. Отложила за 10 лет работы 200 тысяч файлов и 87 Гб данных. В один каталог. Стала софтина уставать, и ложиться отдохнуть. При чём не падает, процесс не повисает, просто начинает чрезвычайно медленно работать, приходится перезапускать.
Хочу посмотреть Performance Monitor-ом, что именно является причиной, какой ресурс тормозит. Подскажите, какой счётчик смотреть.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.01.2016, 18:33
    #39153315
bga83
bga83
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
13th,

и без счетчиков легко можно сказать - торомиз файловая система на моменте чтения содержимого такого каталога
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.01.2016, 18:35
    #39153317
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
bga83торомиз файловая система на моменте чтения содержимого такого каталога

Это если приложение читает всё содержимое сразу...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.01.2016, 19:45
    #39153352
Damien
Damien
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
>>200 тысяч файлов

в одной папке? С таким количеством файлов даже Проводник задумчивый станет. Как вариант - перейти на SSD, увеличить размер кластера, если объем позволяет, чтоб файл занимал не 4 кластера, а один, например.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.01.2016, 20:14
    #39153369
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
DamienС таким количеством файлов даже Проводник задумчивый станет.
Вообще-то только он задумчивым и станет. Простая команда dir не будет задумываться.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 13:22
    #39154474
13th
13th
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
Dimitry SibiryakovЭто если приложение читает всё содержимое сразу...


Читаются данные случайно, активно используется 30-40 процентов содержимого.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 13:24
    #39154476
13th
13th
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
Dimitry SibiryakovDamienС таким количеством файлов даже Проводник задумчивый станет.
Вообще-то только он задумчивым и станет. Простая команда dir не будет задумываться.

Будет. И очень сильно.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 13:25
    #39154478
13th
13th
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
Damien>>200 тысяч файлов

в одной папке? С таким количеством файлов даже Проводник задумчивый станет. Как вариант - перейти на SSD, увеличить размер кластера, если объем позволяет, чтоб файл занимал не 4 кластера, а один, например.

Хороший совет. Жалко, что практически очень тяжело его выполнить. Но в блокнотег записал.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 13:33
    #39154489
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
13thБудет. И очень сильно.
Правда что ли? Выполни следующий командник и покажи результат:
Код: sql
1.
2.
3.
echo %time%
dir твой_мегакаталог >nul
echo %time%


Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 13:48
    #39154521
Leonid Kudryavtsev
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
Еще вопрос, какой Windows. В старых версиях, хранение LastAccessTime в NTFS было по умолчанию разрешено, в новых вроде наконец это выключили.

Возможно, выключения данной "фичи" производительность резко повысит.

https://technet.microsoft.com/en-us/library/cc959914.aspx
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 13:56
    #39154540
Leonid Kudryavtsev
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
Ну и возможно, на диске MFT уже давно распухла и фрагментирована. Когда работал с большим кол-вом файлов, всегда старался запускать продвинутые дефрагментаторы, которые умеют дефрагметированный MFT объединить в один кусок и перенести обратно в положенное ему место.

Но такие дефрагментаторы платные. Ну и понятно, необходимость иметь резервную копию данных никто не отменял )))
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 15:19
    #39154675
13th
13th
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
Leonid KudryavtsevЕще вопрос, какой Windows. В старых версиях, хранение LastAccessTime в NTFS было по умолчанию разрешено, в новых вроде наконец это выключили.

Возможно, выключения данной "фичи" производительность резко повысит.

https://technet.microsoft.com/en-us/library/cc959914.aspx

Last Access Time выключил уже давно. За совет - спасибо.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 15:21
    #39154677
13th
13th
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
Leonid KudryavtsevНу и возможно, на диске MFT уже давно распухла и фрагментирована. Когда работал с большим кол-вом файлов, всегда старался запускать продвинутые дефрагментаторы, которые умеют дефрагметированный MFT объединить в один кусок и перенести обратно в положенное ему место.

Но такие дефрагментаторы платные. Ну и понятно, необходимость иметь резервную копию данных никто не отменял )))

Вроде есть OO Defrag забесплатно MFT дефрагментирует. Запустили на выходные - не успели.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 15:27
    #39154692
13th
13th
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
Dimitry Sibiryakov13thБудет. И очень сильно.
Правда что ли? Выполни следующий командник и покажи результат:
Код: sql
1.
2.
3.
echo %time%
dir твой_мегакаталог >nul
echo %time%




Правда.

E:\server\Server>echo 6:15:46.69
6:15:46.69

E:\server\Server>dir Data.DB 1>nul

E:\server\Server>echo 6:21:07.39
6:21:07.39
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 15:28
    #39154693
13th
13th
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
Сервер в США, поэтому время такое странное.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 15:42
    #39154725
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
13thпоэтому время такое странное.
Время пофиг, а вот пять минут на 200 тысяч файлов это действительно странные тормоза. Там
случайно дисковая система не на деградировавшем рейде?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 16:03
    #39154766
13th
13th
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
Dimitry Sibiryakov13thпоэтому время такое странное.
Время пофиг, а вот пять минут на 200 тысяч файлов это действительно странные тормоза. Там
случайно дисковая система не на деградировавшем рейде?..


Сервак современный. Я поэтому и спросил "какой счётчик использовать?", что бы посмотреть, какое место узкое. А мне в ответ "правда что ли?".
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 16:25
    #39154786
очередь
очередь
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
13th, начните с очереди диска.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 16:35
    #39154798
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
13thЯ поэтому и спросил "какой счётчик использовать?", что бы посмотреть, какое
место узкое. А мне в ответ "правда что ли?".
Для ответа на вопрос о счётчике надо было сначала уточнить проблему. И действительно, раз
dir работает пять минут, надо смотреть дисковые счётчики. Все.
Если бы dir отработал быстро, следовало бы смотреть ОЗУ и ЦПУ.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.01.2016, 19:14
    #39154975
Leonid Kudryavtsev
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
13thВроде есть OO Defrag забесплатно MFT дефрагментирует. Запустили на выходные - не успели.
Смотрю в книгу, вижу фигу.
Нигде на сайте OO Defrag описание такой фичи не нашел. Например http://www.oo-software.com/en/docs/whitepaper/whitepaper_oodvswin7_en.pdf ни разу слово MFT не встречается, только Page File.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.01.2016, 09:20
    #39155243
andreymx
andreymx
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
перебросить устаревшие файлы в архив или другую папку
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.01.2016, 18:56
    #39155945
Basil A. Sidorov
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
Dimitry SibiryakovЭто если приложение читает всё содержимое сразу...По барабану.
На каталоге с 65 тысячами файлов было прекрасно видно, что Far читает его частями, но скорости это не добавляло.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.01.2016, 18:59
    #39155947
Basil A. Sidorov
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
13thПодскажите, какой счётчик смотреть.Никакой.
Если есть желание - отключаете создание коротких имён и пересоздаёте каталог.
Радикальное решение - убрать лишнее процентов так девяносто.
Ещё хорошо настучать по голове разработчику и заставить переделать.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.01.2016, 19:04
    #39155956
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой счётчик использовать?
Basil A. SidorovНа каталоге с 65 тысячами файлов было прекрасно видно, что Far
читает его частями, но скорости это не добавляло.

Не читает Far частями. Он просто тормозит после определённого числа файлов чтобы их
отсортировать, получить атрибуты и вообще маяться прочей необязательной фигнёй.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Windows [игнор отключен] [закрыт для гостей] / Какой счётчик использовать? / 24 сообщений из 24, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 395ms
Закрыть
start [/forum/topic.php?fid=26&mobile=1&tid=1493668]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 52ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 55ms
get tp. blocked users:
 2ms
others: 243ms
total:  395ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]