powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Форумы / Hardware [игнор отключен] [закрыт для гостей] / IOPS и файловая система
13 сообщений из 13, страница 1 из 1
IOPS и файловая система
    #39213590
Зависит ли показатель IOPS от файловой системы?
...
Рейтинг: 0 / 0
IOPS и файловая система
    #39213770
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hello, Неизвестныйг!
You wrote on 12 апреля 2016 г. 15:32:30:

Неизвестныйг> Зависит ли показатель IOPS от файловой системы?а смысл?
при измерении IOPS тупо читают-пишут блоки информации, по возможности использую низкоуровневый ввод-вывод.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
IOPS и файловая система
    #39214001
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
НеизвестныйГ,

IOPS * TransferSizeInBytes = BytesPerSec

разумеется, зависит. Т.к. у разных файловых систем, причем с разными настройками, разная производительность. Имея в виду одно и то же железо, выше всего iops на raw-диске.

Под Windows все проще, т.к. есть либо FAT32, либо NTFS, причем использовать fat32 имеет смысл разве что на флэшках. Как ни странно, на одной и той же флэшке CrystalDiskMark на ntfs показывает гораздо лучшие результаты, чем на fat32.

На Линуксах все гораздо страшнее. Там туча разных файловых систем, и кроме есть еще разные системные шедулеры ввода-вывода (cfq, deadline, и какие-то еще). И например, у файловой системы EXT4 есть разные опции, например одна из них barrier (0 или 1), которая может ухудшить или улучшить скорость ввода-вывода в зависимости от других настроек этой файловой системы, и в зависимости от того, как приложение работает с файлом (random, sequential, и т.д.).

Поэтому для дисков показатель IOPS считается примерным. А конкретный IOPS - при обращении из приложения А к файлу на ОС Б с файловой системой В и настройками Г.

Тестовый софт (например IOMeter) при измерении IOPS обязан уметь указывать хотя бы часть специфики - file server, web server, database, размер блока, n параллельных обращений, и т.д.
...
Рейтинг: 0 / 0
IOPS и файловая система
    #39214006
JVF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv,

Ntfs на флешках вообще прикольно себя ведет. Может скопировать 99% за одну секунду и потом висеть несколько минут до полного завершения. Поэтому на флешках использую exFat. Оно более-менее вменяемое.
...
Рейтинг: 0 / 0
IOPS и файловая система
    #39214012
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
НеизвестныйГ,

Ну, слегка всё-таки зависит. В той же NTFS можно забубенить очень разные размеры блока, соответственно, больше блок - меньше IOps, в других ФС - и это, и другие вещи, про которые уже выше написали.
...
Рейтинг: 0 / 0
IOPS и файловая система
    #39214028
JVF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
НеизвестныйГЗависит ли показатель IOPS от файловой системы?Соглашусь с автором статьи на хабре, что никак не зависит от ФС. https://habrahabr.ru/post/164325/
...
Рейтинг: 0 / 0
IOPS и файловая система
    #39214047
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JVFникак не зависит от ФС.
гм, похоже что да, и я имел в виду кучу дополнительных условий
"IOPS numbers by themselves are meaningless and should be treated as such. Without additional metrics such as latency, read vs write % and I/O size (to name a few), an IOPS number is useless."

Значения IOPS сами по себе бессмыслены и именно так должны пониматься. Без дополнительных метрик, таких как латентность, соотношение чтения и записи, и размера ввода-вывода, значения IOPS бесполезны.


Собственно, я имел в виду не "заявленные IOPS", а "измеряемые в конкретных условиях IOPS"
Вот тут вполне хорошее описание
http://blog.aboutnetapp.ru/archives/1204

JVFМожет скопировать 99% за одну секунду и потом висеть несколько минут до полного завершения.
это микрософт еще в Vista относительно XP поменял. Т.е. так работает индикатор. Потому что, например, если файл копируется с диска на флэшку, то
- либо файл не кэширован, и копируется и правда с диска на флэшку
- либо файл кэширован, и копируется из памяти (кэша) на флэшку.
в первом случае индикатор будет ползти медленно, во втором - быстро.
Дальше идет запись из кэша на флэшку - в XP индикатор копирования этого вообще не показывал, в результате чего пользователи выдергивали флэшку ДО записи кэша на нее, отсюда соответствующие проблемы (недописанные файлы на флэшке).
В Висте поменяли - индикатор теперь ждет завершения записи кэша в файлы на флэшке. Поэтому и "висит несколько минут до полного завершения". Зависит от размера файлов, разумеется.

p.s. я напомню, что в винде копирование файлов происходит так - сначала создается целевой файл требуемого размера, пустой (аллокируются секторы в файловой системе), а затем целевой файл последовательно заполняется содержимым исходного файла.
...
Рейтинг: 0 / 0
IOPS и файловая система
    #39214054
Всем спасибо за ответы, ответьте пожалуйста на еше один вопрос. Сильно ли будут отличаться время IO при последовательной записи на HDD блоков размером 512 байт или 64 КБ? Запись происходит в один файл циклически, причем его размер не меняется.
...
Рейтинг: 0 / 0
IOPS и файловая система
    #39214056
JVF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А как вы объясните, что индикатор копирования (Win, FAR) ведет вполне себе адекватно на FAT и его вариациях FAT32, exFAT. Поэтому я флешки под них форматирую.kdvэто микрософт еще в Vista относительно XP поменял. Т.е. так работает индикатор. Потому что, например, если файл копируется с диска на флэшку, то
- либо файл не кэширован, и копируется и правда с диска на флэшку
- либо файл кэширован, и копируется из памяти (кэша) на флэшку.
в первом случае индикатор будет ползти медленно, во втором - быстро.
Дальше идет запись из кэша на флэшку - в XP индикатор копирования этого вообще не показывал, в результате чего пользователи выдергивали флэшку ДО записи кэша на нее, отсюда соответствующие проблемы (недописанные файлы на флэшке).
В Висте поменяли - индикатор теперь ждет завершения записи кэша в файлы на флэшке. Поэтому и "висит несколько минут до полного завершения". Зависит от размера файлов, разумеется.
...
Рейтинг: 0 / 0
IOPS и файловая система
    #39214061
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
НеизвестныйГ,

зависит от диска, контроллера и т.д. Вот тест, который позволяет мерять на одном и том же файле разные размеры блока.
https://www.attotech.com/disk-benchmark/

запустите и посмотрите. Вот мой результат одного из дисков (старенький ST31000528AS).
...
Рейтинг: 0 / 0
IOPS и файловая система
    #39214062
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JVFиндикатор копирования (Win, FAR) ведет вполне себе адекватно
тут я могу только теоретизировать - возможно, на этих файловых системах в ОС не используется кэширование записи (вернее, используется write-through или write-around вместо write-back).
...
Рейтинг: 0 / 0
IOPS и файловая система
    #39214587
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JVF,

Объясняю - это очень просто.
Идете в диспетчер устройств, выключаете кэширование записи для этого устройства (флэшки) - и всякие индикаторы начинают вести себя правильно :)
...
Рейтинг: 0 / 0
IOPS и файловая система
    #39216074
JVF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_shatsJVF,

Объясняю - это очень просто.
Идете в диспетчер устройств, выключаете кэширование записи для этого устройства (флэшки) - и всякие индикаторы начинают вести себя правильно :)гы=) так оно и так отключено по умолчанию - "Safe Removal".
...
Рейтинг: 0 / 0
13 сообщений из 13, страница 1 из 1
Форумы / Hardware [игнор отключен] [закрыт для гостей] / IOPS и файловая система
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]