|
|
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Хочу проверить мифы Raid5 vs Raid1, влияние размера кластера NTFS. Имею EVA4000 по fc, с толпой 15krpm дисков, и 2-мя головами с 2-гигами кеша. Нужна утилита типа iozone, чтобы эмулировать поведение субд, т.е. надо задать record size (4k), file size 10g, o_direct, и тесты типа write/rewrite, read/re-read, random-read/write, Re-write-record, stride-read. Iozone под виндоусом работает не корректно, не умеет o_direct? Без ключика -I (Use VxFS VX_DIRECT), явно используется виндовый кеш. С ключиком -I явно используется mmap. iozone -i 0 -i 1 -i 2 -i 4 -i 5 -i 8 -e -I -o -c -s 3000M -r 4K -j 100 -f e:\testdir\testfile Получаю фигу: Mapping failed, errno 0 Flags = 1. Что вообще используется под win IOmeter, bonnie++ ? ----------------------------------------------------------------------------------------------------------------------------------------- нужно делать то что нужно, а то что не нужно -- делать не нужно (перефразируя В-Пуха). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 11:49 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Может проще TPC-C запустить? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 12:32 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
В принципе у меня есть тестовое приложение по WS которое генерирует OLTP нагрузку на БД. А-ля website по продаже автомобилей. P.S. Fix для ODBC готов, осталось получить или ждать следующего FC ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 12:34 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Nikolay KulikovМожет проще TPC-C запустить?Я хочу потестить i/o, ntfs, а не влияние io на субд. Смешно конечно, придется самому тестилку писать, а лень. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 12:42 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Почему неправильно конфигурируем БД что-бы был интенсивный io (буферные пулы минимальные) и смотрим как размер блока влияет на один плохо сконфигурировнный сервер??? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 12:44 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Nikolay KulikovВ принципе у меня есть тестовое приложение по WS которое генерирует OLTP нагрузку на БД. А-ля website по продаже автомобилей.Да нет спасибо. Если я и буду тестировать TPC, то под oracle (hamerora). Nikolay Kulikov P.S. Fix для ODBC готов, осталось получить или ждать следующего FCЗнаю, большое спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 12:45 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Nikolay KulikovПочему неправильно конфигурируем БД что-бы был интенсивный io (буферные пулы минимальные) и смотрим как размер блока влияет на один плохо сконфигурировнный сервер???И добавляем вагон и маленькую тележку непонятно влиящиюх параметров: буффер, латчи, сессии, оптимизатор, чекпоинты. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 12:47 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Ну заодно можно будет посмотреть как на все это влияет конфигурация RAID. У меня что-то подобное валялось правда под AIX. Могу поискать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 13:09 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Nikolay KulikovНу заодно можно будет посмотреть как на все это влияет конфигурация RAID. У меня что-то подобное валялось правда под AIX. Могу поискать.Не надо, мне доступен только hp-ux, с него я потестю iozone. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 15:15 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Если не видел, посмотри список утилит на http://www.benchmarkhq.ru/russian.html и некую статью "How We Test: Networked Storage Devices" http://www.tomsnetworking.com/2004/03/02/how_we_test/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 15:42 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Сделал тестик iozone-м на 5-м рейде: NTFS-4k vs NTFS-64k Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. Хреновый как-то random read. Похоже размер кластера ни на что не влияет. Увеличение размера записи до 64k дает не хилый ожидаемый прирост. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 16:10 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
http://www.iometer.org ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 16:16 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
a_shatshttp://www.iometer.orgЯ его давно скачал, одно мне не понятно, как тестировать и вообще возможно-ли -- ф.с. а не сырые уств-а? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 16:45 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
vasilisЕсли не видел, посмотри список утилит на http://www.benchmarkhq.ru/russian.html Это все не то. Это для ширпотреба, прямой доступ к диску o_direct там не упоминается. vasilisи некую статью "How We Test: Networked Storage Devices" http://www.tomsnetworking.com/2004/03/02/how_we_test/ Там тотже iozone, и тестируют NAS, а я SAN. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 16:48 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Там просто нужно 5 мин на то, чтобы внимательно разобраться :) 1. Пад Topology - если хотите сделать тестирование одновременно разных драйвов/томов или хотите, чтобы кажный поток начинался с разных мест (с разным стартовым смещением) - делаете сколько воркеров, сколько надо драйвов/томов или потоков. Если все вышеперечисленное пофиг - указываете нужные параметры прямо в Manager'е :) Maximum Disk Size - задаем, если лень ждать залития файликом iobw.tst (это если имеется файловая система, на raw работает молча) всего свободного места на томе - или хотим потестить производительность из кэша (в этом случае ограничиваем пол-кэша, т.к. фирмварь контроллера тоже чтой-то под себя ест :) ) Объем там измеряется секторами размером 512 байт. Starting Disk Sector - смещение в вышеописанных секторах от начала тома (точнее все того же файла). Применяется, когда хотим "пришибить" алгоритмы кэширования в фирмвари или проверить его эффективность. Если не выставить каждому воркеру по отдельности - все потоки начнут работать с одного и того же места (с начала). # of Outstanding I/Os - длина очереди к дисковой. Выставляется обычно такой, сколько хочется иметь потоков чтения и записи всего. 2. Самый интересный Pad - Access Specifications: по умолчанию есть только один паттерн, и зовется он, естессно, Default - при желании можно создать, настроить и поставить каждому манагеру/воркеру собственный паттерн. Назначенные этому манагеру/воркеру паттерны слева, все какие есть - справа. Открываем паттерн (например тот же Default). Если с английским нет проблем - думаю, понять и выставит нужное труда не составит. Правда, не рекомендую играться с Burstiness, Align и Reply - глючат, заразы :) 3. Все, давим на Большой Зеленый Флаг , сообщаем, куда писать лог (пишется в csv), переходим на Pad - Results Display, убираем ползунок Update Frequency влево до упора (1 раз в секунду) и ждем появления результатов. Добавить или изменить счетчики на этом паде можно нажатием на кнопки с их названиями. В самом простом виде - вот Вам и тест. А дальше, как разберетесь - играйтесь с паттернами и манагерами/воркерами до максимального приближения условий теста к реальной задаче ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 17:18 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Пара советов вдогонку: - Не спешите давить Большую Красную Кнопку, дождитесь "устаканивания" результатов - на указанном мной сайте есть готовые паттерны для разных задач, но лучше всего настраивать IOMeter в соответствии с поведением задачи относительно дисковой подсистемы, описанном в ее документации (NTFS к примеру работает блоками 16х4 КБайт по умолчанию, MSSQL - данные 8х8 КБайт, логи 2х2 КБайт и т.д. - это все конечно очень примерно и по умолчанию) - на полученном csv файлике можно сделать небольшой анализ поведения дисковой подсистемы в разных ситуациях - надо учитывать, что нагрузку IOMeter создает не среднюю, а именно пиковую. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 17:31 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Журавлев Денис Сделал тестик iozone-м на 5-м рейде: ........ Хреновый как-то random read. Похоже размер кластера ни на что не влияет. Увеличение размера записи до 64k дает не хилый ожидаемый прирост. Наверное размер страйпа на массиве = 64К. Если есть инфа о количестве дисковых операций, то ИХМО оно будет приблизительно однаковым, а за счет увеличния размера рекорда получается повышение скорости ВВ. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2006, 18:13 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Результаты iometer. Отсортировано по убыванию IOps. №Раид-тип ф.с.reclenIOpsRead IOpsWrite IOpsMBpsRead MBpsWrite MBps1raid54k1222.82916.67306.154.783.581.202raid5-ntfs4k4k1126.33844.41281.924.403.301.103raid5-ntfs64k4k1125.42844.05281.364.403.301.104raid14k1028.03771.03257.004.023.011.005raid1-ntfs64k4k1021.65767.20254.463.993.000.996raid1-ntfs4k4k1014.43760.55253.873.962.970.997raid564k699.77524.84174.9443.7432.8010.938raid5-ntfs4k64k696.26523.01173.2543.5232.6910.839raid5-ntfs64k64k685.11514.15170.9642.8232.1310.6810raid164k656.27492.02164.2441.0230.7510.2711raid1-ntfs4k64k652.20489.14163.0640.7630.5710.1912raid1-ntfs64k64k651.08488.67162.4140.6930.5410.15 Raid5 победил (в данных тестах, в данной среде). Отсутсвие ф.с. дает мизерный выйгрыш. Размер кластера ntfs не влияет на производительность io. Тестировалось в четыре потока, 75% чтения - 25% записи, 75% случайного доступа - 25% последовательного. Тестировалась eva4000, 20 дисков 15krpm. raid5 -- без ф.с. raid5-ntfs4k -- с ф.с. ntfs кластер 4k. raid5-ntfs64k -- с ф.с. ntfs кластер 64k. Для сравнения результат такого-же теста (PCI)SmartArray 6i из 2-х SCSI в raid1. IOpsRead IOpsWrite IOpsMBpsRead MBpsWrite MBps6i raid1-ntfs4k501.48376.00125.481.961.470.496i raid1ntfs64k356.70267.8888.8222.2916.745.55Результат отличается всего в два раза. Выходит я плохой тестер. Или это был предел для моей файбер ченел сети. С другой стороны последовательное чтение маленького файла (т.е. из кэша eva) дает: IOpsRead IOpsWrite IOpsMBpsRead MBpsWrite MBps% CPU Utilization% User Time% Privileged Time4k26923.3626923.360.00105.17105.170.0025.282.3622.9364k3038.763038.760.00189.92189.920.002.550.202.34Т.е. предел IOps=27тыс, а может и больше при меньших размерах блока. ----------------------------------------------------------------------------------------------------------------------------------------- нужно делать то что нужно, а то что не нужно -- делать не нужно (перефразируя В-Пуха). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.07.2006, 14:22 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Сколько дисков было в RAID-5 ? А сколько в RAID-1? Я аналогичный тест делал 4 года назад, у меня тоже поначалу получилось, что RAID-5 рулит. С повышением количества одновременных сессий RAID5 сразу начал проигрывать. На десяти сессия, отставание стало значительным. Жалко результатов не сохранил. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.07.2006, 17:33 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
DaugavaСколько дисков было в RAID-5 ? А сколько в RAID-1?И там и там 20 дисков. Там рейды нарезаются из кусочков дисков дисковой группы, т.е. на одних и тех-же дисках живет много разных рейдов. При тестировании конечно один небольшой рейд на 20 гиг (я догадываюсь что он на всех 20-ти дисках нарезается, но не факт, хотя лампочки все мигают :) ), массив используется мной эксклюзивно. DaugavaЯ аналогичный тест делал 4 года назад, у меня тоже поначалу получилось, что RAID-5 рулит. С повышением количества одновременных сессий RAID5 сразу начал проигрывать. На десяти сессия, отставание стало значительным. Жалко результатов не сохранил.Это логично, запустил не 4-ре как раньше, а 20 потоков, посмотрим. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.07.2006, 17:50 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Сделал тест для 20-ти потоков (workers). Тестировал только сырые устройства. Слегка изменил тест, убрал последовательные операции, и уменьшил % записи. И сделал тест с raid0. Код: plaintext 1. 2. Отсортировано по убыванию Write IOps reclenIOpsRead IOpsWrite IOpsMBpsRead MBpsWrite MBpsraid04k3061.552755.69305.8611.9610.761.19raid54k2790.832511.07279.7610.909.811.09raid14k2629.802366.37263.4310.279.241.03raid065k1987.741770.03217.70124.23110.6313.61raid565k1773.061578.22194.84110.8298.6412.18raid165k1656.201474.19182.01103.5192.1411.385-й рейд опять выйграл слегка у raid1 и чуть програл raid0. ----------------------------------------------------------------------------------------------------------------------------------------- нужно делать то что нужно, а то что не нужно -- делать не нужно (перефразируя В-Пуха). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.07.2006, 18:49 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
А зачем тестировать RAID-1 и RAID-0 если есть возможность проверить RAID 1+0 ? Т.е. создать только зеркальные пары и на их базе сделать страйпинг. Мне кажется, что именно такая конфигурация даст наибольшую производительность и надежность (особенно, если в парах диски садить на различные контроллеры). И не очень понятно, что в твоей конфигурации обозначает RAID-1 - 10 дисков зеркалируются на другие 10 дисков ? И запись на 10 дисков идет последовательно, т.е. пока не заполнится 1-й, на 2-й не пишется ? В таком случае скорость записи на рейд5 сравнима со скоростью записи одного диска. Что не говорит в пользу 5-ки. Но мне кажется, что тебе сильно портит картину большой кэш, а ведь он на запись может и отключаться (и даже должен при высоких требованиях к надежности :) Возможно, и размер кластера NTFS не влияет именно по этой причине. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.07.2006, 21:57 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
vasilisА зачем тестировать RAID-1 и RAID-0 если есть возможность проверить RAID 1+0 ? Т.е. создать только зеркальные пары и на их базе сделать страйпинг. Ну ээ. Тут вообще сложно говорить о типе рейда, рейды составляются не из дисков, я вообще на это повлиять не могу, у меня есть выбор vraid0, vraid1, vraid5 (v -- виртуал). vasilis Мне кажется, что именно такая конфигурация даст наибольшую производительность и надежность (особенно, если в парах диски садить на различные контроллеры).Два контроллера, две дисковых корзины, у контроллеров синхронизируются кеши, каждый управляет обеими корзинами. vasilis И не очень понятно, что в твоей конфигурации обозначает RAID-1 - 10 дисков зеркалируются на другие 10 дисков ? И запись на 10 дисков идет последовательно, т.е. пока не заполнится 1-й, на 2-й не пишется ?Не знаю. vasilis В таком случае скорость записи на рейд5 сравнима со скоростью записи одного диска.Рейд5 показывает хорошую производительность из-за 2Г кэша . vasilisЧто не говорит в пользу 5-ки. Но мне кажется, что тебе сильно портит картину большой кэш, а ведь он на запись может и отключаться (и даже должен при высоких требованиях к надежности :)У каждого контроллера батарейка (он контроллирует ее заряд), удерживающая кэш 48 часов. Плюс упсы. vasilis Возможно, и размер кластера NTFS не влияет именно по этой причине.Сама ntfs мало влияет, а ее кластер и подавно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.07.2006, 08:26 |
|
||
|
Какой утилитой потестить скорость массива?
|
|||
|---|---|---|---|
|
#18+
Рейд5 все таки чуть проиграл на записи, но несущественно: Output is in Mbytes/sec reclenwriterewritereadrereadrandom readrandom writerecord rewritestride readvraid047.0414.0713.1213.140.8314.0814.2613.01vraid06438.1945.8444.1144.119.3845.8945.8736.28vraid147.0814.0313.1212.781.0114.0414.3012.93vraid16438.4046.1443.6343.5210.3146.1146.1535.44vraid546.7713.1913.6313.631.0311.7114.2912.86vraid56438.1945.9844.2644.2210.7343.8245.9736.19 HP-UX B.11.11 Command line used: ./iozone -i 0 -i 1 -i 2 -i 4 -i 5 -i 8 -e -I -o -c -s 10000M -r 4K -j 1 -f /mnt/test2/test.000 VxFS advanced feature SET_CACHE, VX_DIRECT enabled SYNC Mode. VxFS delaylog,nodatainlog,largefiles,mincache=direct,convosync=direct ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.07.2006, 18:14 |
|
||
|
|

start [/forum/topic.php?fid=44&msg=33874047&tid=1608622]: |
0ms |
get settings: |
8ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
163ms |
get topic data: |
7ms |
get forum data: |
1ms |
get page messages: |
36ms |
get tp. blocked users: |
1ms |
| others: | 217ms |
| total: | 453ms |

| 0 / 0 |
