Гость
Форумы / Hardware [игнор отключен] [закрыт для гостей] / IOPS и файловая система / 13 сообщений из 13, страница 1 из 1
12.04.2016, 13:46
    #39213590
IOPS и файловая система
Зависит ли показатель IOPS от файловой системы?
...
Рейтинг: 0 / 0
12.04.2016, 15:36
    #39213770
Мимопроходящий
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IOPS и файловая система
Hello, Неизвестныйг!
You wrote on 12 апреля 2016 г. 15:32:30:

Неизвестныйг> Зависит ли показатель IOPS от файловой системы?а смысл?
при измерении IOPS тупо читают-пишут блоки информации, по возможности использую низкоуровневый ввод-вывод.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
12.04.2016, 18:42
    #39214001
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IOPS и файловая система
НеизвестныйГ,

IOPS * TransferSizeInBytes = BytesPerSec

разумеется, зависит. Т.к. у разных файловых систем, причем с разными настройками, разная производительность. Имея в виду одно и то же железо, выше всего iops на raw-диске.

Под Windows все проще, т.к. есть либо FAT32, либо NTFS, причем использовать fat32 имеет смысл разве что на флэшках. Как ни странно, на одной и той же флэшке CrystalDiskMark на ntfs показывает гораздо лучшие результаты, чем на fat32.

На Линуксах все гораздо страшнее. Там туча разных файловых систем, и кроме есть еще разные системные шедулеры ввода-вывода (cfq, deadline, и какие-то еще). И например, у файловой системы EXT4 есть разные опции, например одна из них barrier (0 или 1), которая может ухудшить или улучшить скорость ввода-вывода в зависимости от других настроек этой файловой системы, и в зависимости от того, как приложение работает с файлом (random, sequential, и т.д.).

Поэтому для дисков показатель IOPS считается примерным. А конкретный IOPS - при обращении из приложения А к файлу на ОС Б с файловой системой В и настройками Г.

Тестовый софт (например IOMeter) при измерении IOPS обязан уметь указывать хотя бы часть специфики - file server, web server, database, размер блока, n параллельных обращений, и т.д.
...
Рейтинг: 0 / 0
12.04.2016, 18:47
    #39214006
JVF
JVF
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IOPS и файловая система
kdv,

Ntfs на флешках вообще прикольно себя ведет. Может скопировать 99% за одну секунду и потом висеть несколько минут до полного завершения. Поэтому на флешках использую exFat. Оно более-менее вменяемое.
...
Рейтинг: 0 / 0
12.04.2016, 18:52
    #39214012
a_shats
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IOPS и файловая система
НеизвестныйГ,

Ну, слегка всё-таки зависит. В той же NTFS можно забубенить очень разные размеры блока, соответственно, больше блок - меньше IOps, в других ФС - и это, и другие вещи, про которые уже выше написали.
...
Рейтинг: 0 / 0
12.04.2016, 19:03
    #39214028
JVF
JVF
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IOPS и файловая система
НеизвестныйГЗависит ли показатель IOPS от файловой системы?Соглашусь с автором статьи на хабре, что никак не зависит от ФС. https://habrahabr.ru/post/164325/
...
Рейтинг: 0 / 0
12.04.2016, 19:18
    #39214047
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IOPS и файловая система
JVFникак не зависит от ФС.
гм, похоже что да, и я имел в виду кучу дополнительных условий
"IOPS numbers by themselves are meaningless and should be treated as such. Without additional metrics such as latency, read vs write % and I/O size (to name a few), an IOPS number is useless."

Значения IOPS сами по себе бессмыслены и именно так должны пониматься. Без дополнительных метрик, таких как латентность, соотношение чтения и записи, и размера ввода-вывода, значения IOPS бесполезны.


Собственно, я имел в виду не "заявленные IOPS", а "измеряемые в конкретных условиях IOPS"
Вот тут вполне хорошее описание
http://blog.aboutnetapp.ru/archives/1204

JVFМожет скопировать 99% за одну секунду и потом висеть несколько минут до полного завершения.
это микрософт еще в Vista относительно XP поменял. Т.е. так работает индикатор. Потому что, например, если файл копируется с диска на флэшку, то
- либо файл не кэширован, и копируется и правда с диска на флэшку
- либо файл кэширован, и копируется из памяти (кэша) на флэшку.
в первом случае индикатор будет ползти медленно, во втором - быстро.
Дальше идет запись из кэша на флэшку - в XP индикатор копирования этого вообще не показывал, в результате чего пользователи выдергивали флэшку ДО записи кэша на нее, отсюда соответствующие проблемы (недописанные файлы на флэшке).
В Висте поменяли - индикатор теперь ждет завершения записи кэша в файлы на флэшке. Поэтому и "висит несколько минут до полного завершения". Зависит от размера файлов, разумеется.

p.s. я напомню, что в винде копирование файлов происходит так - сначала создается целевой файл требуемого размера, пустой (аллокируются секторы в файловой системе), а затем целевой файл последовательно заполняется содержимым исходного файла.
...
Рейтинг: 0 / 0
12.04.2016, 19:31
    #39214054
IOPS и файловая система
Всем спасибо за ответы, ответьте пожалуйста на еше один вопрос. Сильно ли будут отличаться время IO при последовательной записи на HDD блоков размером 512 байт или 64 КБ? Запись происходит в один файл циклически, причем его размер не меняется.
...
Рейтинг: 0 / 0
12.04.2016, 19:38
    #39214056
JVF
JVF
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IOPS и файловая система
А как вы объясните, что индикатор копирования (Win, FAR) ведет вполне себе адекватно на FAT и его вариациях FAT32, exFAT. Поэтому я флешки под них форматирую.kdvэто микрософт еще в Vista относительно XP поменял. Т.е. так работает индикатор. Потому что, например, если файл копируется с диска на флэшку, то
- либо файл не кэширован, и копируется и правда с диска на флэшку
- либо файл кэширован, и копируется из памяти (кэша) на флэшку.
в первом случае индикатор будет ползти медленно, во втором - быстро.
Дальше идет запись из кэша на флэшку - в XP индикатор копирования этого вообще не показывал, в результате чего пользователи выдергивали флэшку ДО записи кэша на нее, отсюда соответствующие проблемы (недописанные файлы на флэшке).
В Висте поменяли - индикатор теперь ждет завершения записи кэша в файлы на флэшке. Поэтому и "висит несколько минут до полного завершения". Зависит от размера файлов, разумеется.
...
Рейтинг: 0 / 0
12.04.2016, 19:51
    #39214061
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IOPS и файловая система
НеизвестныйГ,

зависит от диска, контроллера и т.д. Вот тест, который позволяет мерять на одном и том же файле разные размеры блока.
https://www.attotech.com/disk-benchmark/

запустите и посмотрите. Вот мой результат одного из дисков (старенький ST31000528AS).
...
Рейтинг: 0 / 0
12.04.2016, 19:55
    #39214062
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IOPS и файловая система
JVFиндикатор копирования (Win, FAR) ведет вполне себе адекватно
тут я могу только теоретизировать - возможно, на этих файловых системах в ОС не используется кэширование записи (вернее, используется write-through или write-around вместо write-back).
...
Рейтинг: 0 / 0
13.04.2016, 12:54
    #39214587
a_shats
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IOPS и файловая система
JVF,

Объясняю - это очень просто.
Идете в диспетчер устройств, выключаете кэширование записи для этого устройства (флэшки) - и всякие индикаторы начинают вести себя правильно :)
...
Рейтинг: 0 / 0
14.04.2016, 18:51
    #39216074
JVF
JVF
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IOPS и файловая система
a_shatsJVF,

Объясняю - это очень просто.
Идете в диспетчер устройств, выключаете кэширование записи для этого устройства (флэшки) - и всякие индикаторы начинают вести себя правильно :)гы=) так оно и так отключено по умолчанию - "Safe Removal".
...
Рейтинг: 0 / 0
Форумы / Hardware [игнор отключен] [закрыт для гостей] / IOPS и файловая система / 13 сообщений из 13, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]