|
IOPS и файловая система
|
|||
---|---|---|---|
#18+
Зависит ли показатель IOPS от файловой системы? ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2016, 13:46 |
|
IOPS и файловая система
|
|||
---|---|---|---|
#18+
Hello, Неизвестныйг! You wrote on 12 апреля 2016 г. 15:32:30: Неизвестныйг> Зависит ли показатель IOPS от файловой системы?а смысл? при измерении IOPS тупо читают-пишут блоки информации, по возможности использую низкоуровневый ввод-вывод. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2016, 15:36 |
|
IOPS и файловая система
|
|||
---|---|---|---|
#18+
НеизвестныйГ, IOPS * TransferSizeInBytes = BytesPerSec разумеется, зависит. Т.к. у разных файловых систем, причем с разными настройками, разная производительность. Имея в виду одно и то же железо, выше всего iops на raw-диске. Под Windows все проще, т.к. есть либо FAT32, либо NTFS, причем использовать fat32 имеет смысл разве что на флэшках. Как ни странно, на одной и той же флэшке CrystalDiskMark на ntfs показывает гораздо лучшие результаты, чем на fat32. На Линуксах все гораздо страшнее. Там туча разных файловых систем, и кроме есть еще разные системные шедулеры ввода-вывода (cfq, deadline, и какие-то еще). И например, у файловой системы EXT4 есть разные опции, например одна из них barrier (0 или 1), которая может ухудшить или улучшить скорость ввода-вывода в зависимости от других настроек этой файловой системы, и в зависимости от того, как приложение работает с файлом (random, sequential, и т.д.). Поэтому для дисков показатель IOPS считается примерным. А конкретный IOPS - при обращении из приложения А к файлу на ОС Б с файловой системой В и настройками Г. Тестовый софт (например IOMeter) при измерении IOPS обязан уметь указывать хотя бы часть специфики - file server, web server, database, размер блока, n параллельных обращений, и т.д. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2016, 18:42 |
|
IOPS и файловая система
|
|||
---|---|---|---|
#18+
kdv, Ntfs на флешках вообще прикольно себя ведет. Может скопировать 99% за одну секунду и потом висеть несколько минут до полного завершения. Поэтому на флешках использую exFat. Оно более-менее вменяемое. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2016, 18:47 |
|
IOPS и файловая система
|
|||
---|---|---|---|
#18+
НеизвестныйГ, Ну, слегка всё-таки зависит. В той же NTFS можно забубенить очень разные размеры блока, соответственно, больше блок - меньше IOps, в других ФС - и это, и другие вещи, про которые уже выше написали. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2016, 18:52 |
|
IOPS и файловая система
|
|||
---|---|---|---|
#18+
НеизвестныйГЗависит ли показатель IOPS от файловой системы?Соглашусь с автором статьи на хабре, что никак не зависит от ФС. https://habrahabr.ru/post/164325/ ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2016, 19:03 |
|
IOPS и файловая система
|
|||
---|---|---|---|
#18+
JVFникак не зависит от ФС. гм, похоже что да, и я имел в виду кучу дополнительных условий "IOPS numbers by themselves are meaningless and should be treated as such. Without additional metrics such as latency, read vs write % and I/O size (to name a few), an IOPS number is useless." Значения IOPS сами по себе бессмыслены и именно так должны пониматься. Без дополнительных метрик, таких как латентность, соотношение чтения и записи, и размера ввода-вывода, значения IOPS бесполезны. Собственно, я имел в виду не "заявленные IOPS", а "измеряемые в конкретных условиях IOPS" Вот тут вполне хорошее описание http://blog.aboutnetapp.ru/archives/1204 JVFМожет скопировать 99% за одну секунду и потом висеть несколько минут до полного завершения. это микрософт еще в Vista относительно XP поменял. Т.е. так работает индикатор. Потому что, например, если файл копируется с диска на флэшку, то - либо файл не кэширован, и копируется и правда с диска на флэшку - либо файл кэширован, и копируется из памяти (кэша) на флэшку. в первом случае индикатор будет ползти медленно, во втором - быстро. Дальше идет запись из кэша на флэшку - в XP индикатор копирования этого вообще не показывал, в результате чего пользователи выдергивали флэшку ДО записи кэша на нее, отсюда соответствующие проблемы (недописанные файлы на флэшке). В Висте поменяли - индикатор теперь ждет завершения записи кэша в файлы на флэшке. Поэтому и "висит несколько минут до полного завершения". Зависит от размера файлов, разумеется. p.s. я напомню, что в винде копирование файлов происходит так - сначала создается целевой файл требуемого размера, пустой (аллокируются секторы в файловой системе), а затем целевой файл последовательно заполняется содержимым исходного файла. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2016, 19:18 |
|
IOPS и файловая система
|
|||
---|---|---|---|
#18+
Всем спасибо за ответы, ответьте пожалуйста на еше один вопрос. Сильно ли будут отличаться время IO при последовательной записи на HDD блоков размером 512 байт или 64 КБ? Запись происходит в один файл циклически, причем его размер не меняется. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2016, 19:31 |
|
IOPS и файловая система
|
|||
---|---|---|---|
#18+
А как вы объясните, что индикатор копирования (Win, FAR) ведет вполне себе адекватно на FAT и его вариациях FAT32, exFAT. Поэтому я флешки под них форматирую.kdvэто микрософт еще в Vista относительно XP поменял. Т.е. так работает индикатор. Потому что, например, если файл копируется с диска на флэшку, то - либо файл не кэширован, и копируется и правда с диска на флэшку - либо файл кэширован, и копируется из памяти (кэша) на флэшку. в первом случае индикатор будет ползти медленно, во втором - быстро. Дальше идет запись из кэша на флэшку - в XP индикатор копирования этого вообще не показывал, в результате чего пользователи выдергивали флэшку ДО записи кэша на нее, отсюда соответствующие проблемы (недописанные файлы на флэшке). В Висте поменяли - индикатор теперь ждет завершения записи кэша в файлы на флэшке. Поэтому и "висит несколько минут до полного завершения". Зависит от размера файлов, разумеется. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2016, 19:38 |
|
IOPS и файловая система
|
|||
---|---|---|---|
#18+
НеизвестныйГ, зависит от диска, контроллера и т.д. Вот тест, который позволяет мерять на одном и том же файле разные размеры блока. https://www.attotech.com/disk-benchmark/ запустите и посмотрите. Вот мой результат одного из дисков (старенький ST31000528AS). ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2016, 19:51 |
|
IOPS и файловая система
|
|||
---|---|---|---|
#18+
JVFиндикатор копирования (Win, FAR) ведет вполне себе адекватно тут я могу только теоретизировать - возможно, на этих файловых системах в ОС не используется кэширование записи (вернее, используется write-through или write-around вместо write-back). ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2016, 19:55 |
|
IOPS и файловая система
|
|||
---|---|---|---|
#18+
JVF, Объясняю - это очень просто. Идете в диспетчер устройств, выключаете кэширование записи для этого устройства (флэшки) - и всякие индикаторы начинают вести себя правильно :) ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2016, 12:54 |
|
IOPS и файловая система
|
|||
---|---|---|---|
#18+
a_shatsJVF, Объясняю - это очень просто. Идете в диспетчер устройств, выключаете кэширование записи для этого устройства (флэшки) - и всякие индикаторы начинают вести себя правильно :)гы=) так оно и так отключено по умолчанию - "Safe Removal". ... |
|||
:
Нравится:
Не нравится:
|
|||
14.04.2016, 18:51 |
|
|
start [/forum/topic.php?fid=30&msg=39214054&tid=1529206]: |
0ms |
get settings: |
10ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
34ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
51ms |
get tp. blocked users: |
1ms |
others: | 11ms |
total: | 141ms |
0 / 0 |