Здравствуйте,
К серверу Linux SuSE смонтирован лун 900Гб с массива через SAS адаптер.
На массиве настроен RAID10(диски SAS 10k 300Гб*6).
На сервере работает БД oracle.

Подскажите как можно оценить/измерить производительность данного подключения?
Прежде всего интересует методика.

спасибо.

Спасибо, Денис

завтра на работе попробую fio.

добрый день,
сегодня повозился с fio.

Как шаблон взял ./fio -name iops -rw=randread -bs=8192 -size=10G -runtime=300 -iodepth 1 -directory /mnt/hd2/iotest -filename iofile -ioengine libaio -direct=1

Не стал грузить продакшн, замеры делал на резервном сервере. Массив RAID10 с дисками SAS 10k 300Гб * 4.

при iodepth=1 я получил:
read : io=341408KB, bw=1137.2KB/s, iops=142 , runt=300010msec

при iodepth=3:
read : io=844360KB, bw=2814.5KB/s, iops=351 , runt=300008msec

при iodepth=6:
read : io=1496.9MB, bw=5109.2KB/s, iops=638 , runt=300017msec

при iodepth=20:
read : io=2991.1MB, bw=10212KB/s, iops=1276 , runt=300025msec

Если увеличивать количество одновременных процессов(iodepth) работающих с файловой системой, соответственно iops растет. Интересно как тогда обнаружить придел этого iops для системы? т.е. как узнать максимальное значение iops которое может выдать система?


p/s
я че то уже начинаю сомневатся в корректности поставленного вопроса. По сути нужно оценить текущий массив для дальнейшего его использования или обновления. Планировал сперва выяснить сколько может данный массив iops-ов выдать максимум, потом посчитать текущую нагрузку(iops) при помощи sar или iostat. И тем самым определить процент загруженности массива.
А почему iops, потому что бд oltp.

Dimitry SibiryakovzhumКак шаблон взял ./fio -name iops -rw=randread
А зачем ты его взял?


если про параметр -rw=randread, решил загрузить максимально диски, чтоб читались разбросанные блоки а не с одного места.


Dimitry SibiryakovА класть базу и логи на один LUN... Спроси в соответствующем разделе, услышишь что тебе скажут.


положили до меня.

Денис,
допустим что так и есть, но...
у меня четыре диска SAS 10К и RAID 10. Теоретический он должен максимум выдать iops двух дисков.
Если в среднем брать что один SAS 10K (2,5in) может выдать 150 iops, то предполагаемый iops лежит в районе 300 iops .

я превысил аж на три диска т.е. iodepth=6 и получил 638 iops . Это ведь намного больше чем может выдать два диска SAS.
далее я ставлю iodepth=20, поидеи он должен был бы остановится в районе 638 iops -ов. Но он не остановился и выдал в два раза больше.

все так запутано ((

Кэш у рейда 512 Мб или 1Гб.
К сожалению когда пришел админа уже не было. Он уволился до моего приезда. Массив ставили еще до него. От массива все консольные шнуры утеряны.
Я извиняюсь, мало информации. То что четыре диска это точно.


тем временем снял еще три замера:
1. iodepth=200, получил iops=1767
2. iodepth=500, получил iops=1766
3. iodepth=600, получил iops=1750

наконец то остановился. тут видимо свои корективы вносит рейд.

Журавлев Денис,

:) не, на самом деле всего дисков 14.

но под этот рейд задействован 4 диска.

Журавлев Денискто-то врет, суся какая?
почему врет?


SUSE 9 sp 4 x86_64,
вывод команды dd if=/mnt/hd2/iotest /dev/null iflag=direct bs=1M завтра скину(не на работе).

доброе утро,

вывод dd if=/mnt/hd2/iotest/iofile of=/dev/null bs=1M
10240+0 records in
10240+0 records out

p/s
в моей версии dd не оказалось опции iflag. запускал без него.

Журавлев Денис,
а что нам бы это дало?

Вчера снял замеры на промышленной системе.

Там уже 6 дисков 300g SAS 10К организованы под RAID10.

получил следующее:

чтение:
при iodepth=20,
read : io=4235.4MB, bw=14456KB/s, iops=1806 , runt=300020msec
при iodepth=200,
read : io=6280.4MB, bw=21428KB/s, iops=2678 , runt=300111msec
при iodepth=600,
read : io=10240MB, bw=21273KB/s, iops=2659 , runt=492909msec

запись:
при iodepth=1,
write: io=695480KB, bw=1159.2KB/s, iops=144 , runt=600010msec
при iodepth=200,
write: io=757936KB, bw=1263.3KB/s, iops=157 , runt=600004msec
при iodepth=600,
write: io=750544KB, bw=1250.1KB/s, iops=156 , runt=600005msec

Чтоб окончательно доверится инструменту(fio) начал сравнивать его с выводами от sar и вот что получил.
Имея данные от fio (только чтение):
read : bw=14456KB/s, iops=1806 , runt=300020msec | iodepth=20
read : bw=21428KB/s, iops=2678 , runt=300111msec | iodepth=200
read : bw=21273KB/s, iops=2659 , runt=492909msec | iodepth=600

начал сравнивать с графиком от sar. http://picthost.ru/images/05509289611662778333.jpg . основой для построения графика служил вывод sar -d. для примера вывод выглядет так


о чем повествует man sar касательно ключа -d:
tps - Indicate the number of transfers per second that were issued to the device. Multiple logical requests can be combined into a single I/O request to the device. A transfer is of indeterminate size. . В моем понимании она должна быть в районе нашего значения iops, т.е. iops=tps/s и с этим более понятно, вроде сходится (на графике tps/s) .
rd_sec/s - Number of sectors read from the device. The size of a sector is 512 bytes. (на графике read/s) - здесь уже придется колдавать с цифрами. Для начала посчитал по замерам от fio сколько МБ за секунду выдала система: iops*bs=2678*8192=23544972=22MБ/с. Потом считаю по данным sar: 44000секторов*512=22528000=21,4МБ. Вывод - показатели двух инструментов совпадает, по ним можно делать выводы.
wr_sec/s - Number of sectors written to the device. The size of a sector is 512 bytes. (на графике write/s) - это я не смотрел.

Делаю вывод что моя система может выдать максимум iops(только чтение) = 2678 в секунду.
Далее снова собираю sar отчет за день, нахожу самую высокую точку tps/s и сравниваю его с 2678. Если она меньше как минимум в два раза от точки tps/s=2678 то могу сказать что запас производительности системы еще есть.

Как вы считатете?