ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Windows [игнор отключен] [закрыт для гостей] / Какой счётчик использовать?
24 сообщений из 24, страница 1 из 1
Какой счётчик использовать?
    #39153306
13th
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
13th
Гость
Есть софтина, которая складывает данные в каталог. Отложила за 10 лет работы 200 тысяч файлов и 87 Гб данных. В один каталог. Стала софтина уставать, и ложиться отдохнуть. При чём не падает, процесс не повисает, просто начинает чрезвычайно медленно работать, приходится перезапускать.
Хочу посмотреть Performance Monitor-ом, что именно является причиной, какой ресурс тормозит. Подскажите, какой счётчик смотреть.
...
Рейтинг: 0 / 0
22.01.2016, 18:17
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39153315
Фотография bga83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bga83
Участник
13th,

и без счетчиков легко можно сказать - торомиз файловая система на моменте чтения содержимого такого каталога
...
Рейтинг: 0 / 0
22.01.2016, 18:33
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39153317
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
bga83торомиз файловая система на моменте чтения содержимого такого каталога

Это если приложение читает всё содержимое сразу...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
22.01.2016, 18:35
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39153352
Damien
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Damien
Участник
>>200 тысяч файлов

в одной папке? С таким количеством файлов даже Проводник задумчивый станет. Как вариант - перейти на SSD, увеличить размер кластера, если объем позволяет, чтоб файл занимал не 4 кластера, а один, например.
...
Рейтинг: 0 / 0
22.01.2016, 19:45
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39153369
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
DamienС таким количеством файлов даже Проводник задумчивый станет.
Вообще-то только он задумчивым и станет. Простая команда dir не будет задумываться.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
22.01.2016, 20:14
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154474
13th
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
13th
Гость
Dimitry SibiryakovЭто если приложение читает всё содержимое сразу...


Читаются данные случайно, активно используется 30-40 процентов содержимого.
...
Рейтинг: 0 / 0
25.01.2016, 13:22
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154476
13th
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
13th
Гость
Dimitry SibiryakovDamienС таким количеством файлов даже Проводник задумчивый станет.
Вообще-то только он задумчивым и станет. Простая команда dir не будет задумываться.

Будет. И очень сильно.
...
Рейтинг: 0 / 0
25.01.2016, 13:24
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154478
13th
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
13th
Гость
Damien>>200 тысяч файлов

в одной папке? С таким количеством файлов даже Проводник задумчивый станет. Как вариант - перейти на SSD, увеличить размер кластера, если объем позволяет, чтоб файл занимал не 4 кластера, а один, например.

Хороший совет. Жалко, что практически очень тяжело его выполнить. Но в блокнотег записал.
...
Рейтинг: 0 / 0
25.01.2016, 13:25
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154489
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
13thБудет. И очень сильно.
Правда что ли? Выполни следующий командник и покажи результат:
Код: sql
1.
2.
3.
echo %time%
dir твой_мегакаталог >nul
echo %time%


Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.01.2016, 13:33
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154521
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Еще вопрос, какой Windows. В старых версиях, хранение LastAccessTime в NTFS было по умолчанию разрешено, в новых вроде наконец это выключили.

Возможно, выключения данной "фичи" производительность резко повысит.

https://technet.microsoft.com/en-us/library/cc959914.aspx
...
Рейтинг: 0 / 0
25.01.2016, 13:48
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154540
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Ну и возможно, на диске MFT уже давно распухла и фрагментирована. Когда работал с большим кол-вом файлов, всегда старался запускать продвинутые дефрагментаторы, которые умеют дефрагметированный MFT объединить в один кусок и перенести обратно в положенное ему место.

Но такие дефрагментаторы платные. Ну и понятно, необходимость иметь резервную копию данных никто не отменял )))
...
Рейтинг: 0 / 0
25.01.2016, 13:56
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154675
13th
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
13th
Гость
Leonid KudryavtsevЕще вопрос, какой Windows. В старых версиях, хранение LastAccessTime в NTFS было по умолчанию разрешено, в новых вроде наконец это выключили.

Возможно, выключения данной "фичи" производительность резко повысит.

https://technet.microsoft.com/en-us/library/cc959914.aspx

Last Access Time выключил уже давно. За совет - спасибо.
...
Рейтинг: 0 / 0
25.01.2016, 15:19
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154677
13th
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
13th
Гость
Leonid KudryavtsevНу и возможно, на диске MFT уже давно распухла и фрагментирована. Когда работал с большим кол-вом файлов, всегда старался запускать продвинутые дефрагментаторы, которые умеют дефрагметированный MFT объединить в один кусок и перенести обратно в положенное ему место.

Но такие дефрагментаторы платные. Ну и понятно, необходимость иметь резервную копию данных никто не отменял )))

Вроде есть OO Defrag забесплатно MFT дефрагментирует. Запустили на выходные - не успели.
...
Рейтинг: 0 / 0
25.01.2016, 15:21
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154692
13th
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
13th
Гость
Dimitry Sibiryakov13thБудет. И очень сильно.
Правда что ли? Выполни следующий командник и покажи результат:
Код: sql
1.
2.
3.
echo %time%
dir твой_мегакаталог >nul
echo %time%




Правда.

E:\server\Server>echo 6:15:46.69
6:15:46.69

E:\server\Server>dir Data.DB 1>nul

E:\server\Server>echo 6:21:07.39
6:21:07.39
...
Рейтинг: 0 / 0
25.01.2016, 15:27
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154693
13th
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
13th
Гость
Сервер в США, поэтому время такое странное.
...
Рейтинг: 0 / 0
25.01.2016, 15:28
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154725
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
13thпоэтому время такое странное.
Время пофиг, а вот пять минут на 200 тысяч файлов это действительно странные тормоза. Там
случайно дисковая система не на деградировавшем рейде?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.01.2016, 15:42
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154766
13th
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
13th
Гость
Dimitry Sibiryakov13thпоэтому время такое странное.
Время пофиг, а вот пять минут на 200 тысяч файлов это действительно странные тормоза. Там
случайно дисковая система не на деградировавшем рейде?..


Сервак современный. Я поэтому и спросил "какой счётчик использовать?", что бы посмотреть, какое место узкое. А мне в ответ "правда что ли?".
...
Рейтинг: 0 / 0
25.01.2016, 16:03
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154786
очередь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
очередь
Гость
13th, начните с очереди диска.
...
Рейтинг: 0 / 0
25.01.2016, 16:25
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154798
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
13thЯ поэтому и спросил "какой счётчик использовать?", что бы посмотреть, какое
место узкое. А мне в ответ "правда что ли?".
Для ответа на вопрос о счётчике надо было сначала уточнить проблему. И действительно, раз
dir работает пять минут, надо смотреть дисковые счётчики. Все.
Если бы dir отработал быстро, следовало бы смотреть ОЗУ и ЦПУ.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.01.2016, 16:35
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39154975
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
13thВроде есть OO Defrag забесплатно MFT дефрагментирует. Запустили на выходные - не успели.
Смотрю в книгу, вижу фигу.
Нигде на сайте OO Defrag описание такой фичи не нашел. Например http://www.oo-software.com/en/docs/whitepaper/whitepaper_oodvswin7_en.pdf ни разу слово MFT не встречается, только Page File.
...
Рейтинг: 0 / 0
25.01.2016, 19:14
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39155243
andreymx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreymx
Участник
перебросить устаревшие файлы в архив или другую папку
...
Рейтинг: 0 / 0
26.01.2016, 09:20
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39155945
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
Dimitry SibiryakovЭто если приложение читает всё содержимое сразу...По барабану.
На каталоге с 65 тысячами файлов было прекрасно видно, что Far читает его частями, но скорости это не добавляло.
...
Рейтинг: 0 / 0
26.01.2016, 18:56
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39155947
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
13thПодскажите, какой счётчик смотреть.Никакой.
Если есть желание - отключаете создание коротких имён и пересоздаёте каталог.
Радикальное решение - убрать лишнее процентов так девяносто.
Ещё хорошо настучать по голове разработчику и заставить переделать.
...
Рейтинг: 0 / 0
26.01.2016, 18:59
| Ответить | Цитировать | Написать  
Какой счётчик использовать?
    #39155956
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Basil A. SidorovНа каталоге с 65 тысячами файлов было прекрасно видно, что Far
читает его частями, но скорости это не добавляло.

Не читает Far частями. Он просто тормозит после определённого числа файлов чтобы их
отсортировать, получить атрибуты и вообще маяться прочей необязательной фигнёй.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
26.01.2016, 19:04
| Ответить | Цитировать | Написать  
24 сообщений из 24, страница 1 из 1
Форумы / Windows [игнор отключен] [закрыт для гостей] / Какой счётчик использовать?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=26&msg=39153306&tid=1493668]:
 0ms
get settings:
 9ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 68ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 60ms
get tp. blocked users:
 1ms
others: 12ms
total:  178ms
созд. / загр.: 178ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]