|
raid vs vraid
|
|||
---|---|---|---|
#18+
alexeyvgИМХО маловат файл, при тестировании на СХД, если нет другой нагрузки, будет большое попадание в кеш и результат будет некорректным (поскольку в реальной работе данных будет больше, и пользвателей у СХД будет ещё много, кроме одного этого сервера). да согласен, с размером файла нагрузки промахнулся. alexeyvgЕщё при тесте важно создавать адеватную нагрузку на подсистему хранения в целом. Если райд на ХХХ дисков используется только для лога, то нужно создать нагрузку в виде последовательной записи небольших блоков, а если vRAID5 будет хранить и данные, и логи, то нужно создать нагрузку в виде последовательного потока записи 8 кб, случайного потока чтения 64 кб, случайного потока записи 64 кб. Такая мешанина будет лучше показывать реальную ситуацию. будут разные тома под журнал и под данные, вне зависимости от того на каком рейде остановлюсь. alexeyvgdmitry stakanovпс оч сильный разброс между чтением и записью - это нормально?ИМХО, т.к. чтение и запись на RAID1 одинаковы, а на vRAID5 отличаются, это говорит о том, что на vRAID5 включён кеш записи, а на RAID1 выключен. Вообще RAID1 должен быть с кешем на запись с батарейкой, иначе будет очень медленно. Кэш включен. ниже конфигурация контроллера и дисков: конфигурация RAID1: controller: Smart Array P410i, logical drive 600gb (2 шпинделя) ntfs, drive type=SAS, 10k, stripe=128k, sectors=32, queue depth=automatic, cache=512mb, array accelerator= 25% read / 75% write, cache status = ok, array accelerator=yes; alexeyvgЕщё вопрос - графики, которые с queue, там какой размер блока, какие параметры? Вообще, непонятно на графиках и в таблицах, какие были выбраны параметры теста (кроме оси х на графиках, естественно). Это средние значения: для каждого варианта очереди прогонялся каждый вариант размера блока и наоборот; те для q1 -> b1...b512 .... q64 ->b1...b512 и для b8 -> q1...q64 ... b512 -> q1...q64 ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2012, 17:08 |
|
raid vs vraid
|
|||
---|---|---|---|
#18+
alexeyvgdmitry stakanovчто можно улучшить в настройках операционной системы и рейд контроллеров дисков?Ещё хочу обратить ваше внимание на рад провалов при размере блока 64к Это очень (даже наверное самый) распространённый размер блока для работы сиквела с файлом даннымх, и провал говорит о какой то неправильной настройке в СХД (может, размер страйпа, или что то там невыровненено...), или невыровнен том. вроде бы выравнено все, но вот только размер сектора 32. диск парт показывает ровно 32 и на вьюер рейда показывает тоже самое. мб дело в этом? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2012, 17:11 |
|
raid vs vraid
|
|||
---|---|---|---|
#18+
alexeyvgalexeyvgВообще, изначально не было сомнений, что vRAID5 на 96 дисков с 2 гб кеша будет быстрее RAID1, если он целиком предоставлен серверу :-)Хотя видно, что как раз для файла лога жалкие 2 диска победили :-) Это тест sequential_write, b8 - характерная нагрузка для файла лога, 138,7 против 96,8 я думал характерный ворклоад для лога на отдельном томе будет 54-512? а для данные рандомные операции 8? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2012, 17:13 |
|
raid vs vraid
|
|||
---|---|---|---|
#18+
dmitry stakanovalexeyvgпропущено... Хотя видно, что как раз для файла лога жалкие 2 диска победили :-) Это тест sequential_write, b8 - характерная нагрузка для файла лога, 138,7 против 96,8 я думал характерный ворклоад для лога на отдельном томе будет 54-512? а для данные рандомные операции 8?Ну вообще конечно зависит от базы, приложения. Для олтп типичны маленькие транзакции, и соответственно размер блока записи в файл лога 512 байт - 8 кбайт. Понятно, для больших траназкций будет больше. Для файлов данные типичны разные операции - сильно зависит от базы, от организации таблиц и операций. Можно ведь только вставлять данные и читать последние данные, можно дополнительно обновлять последние записи, остальные не трогать, а можно обновлять всего понемоножку во всей базе. В принципе типичны случайные чтения 64к, последовательные чтения 64к, случайные чтения 512к для операций упреждающего чтения, последовательные и случайные записи 64к... В общем, сильно зависит от дизайна базы, но операции 64к в олтп преобладают... ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2012, 17:23 |
|
raid vs vraid
|
|||
---|---|---|---|
#18+
dmitry stakanovalexeyvgпропущено... Ещё хочу обратить ваше внимание на рад провалов при размере блока 64к Это очень (даже наверное самый) распространённый размер блока для работы сиквела с файлом даннымх, и провал говорит о какой то неправильной настройке в СХД (может, размер страйпа, или что то там невыровненено...), или невыровнен том. вроде бы выравнено все, но вот только размер сектора 32. диск парт показывает ровно 32 и на вьюер рейда показывает тоже самое. мб дело в этом?Вы про размер кластера в NTFS? ИМХО тоже надо 64 ставить. Важно, как том выровнен, лучьше там побольше выравнивание сделать. Вот щас АГ придёт, поставит диагноз :-) ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2012, 17:25 |
|
raid vs vraid
|
|||
---|---|---|---|
#18+
dmitry stakanovЭто средние значения: для каждого варианта очереди прогонялся каждый вариант размера блока и наоборотПонятно, спасибо. dmitry stakanovalexeyvgпропущено... ИМХО, т.к. чтение и запись на RAID1 одинаковы, а на vRAID5 отличаются, это говорит о том, что на vRAID5 включён кеш записи, а на RAID1 выключен. Вообще RAID1 должен быть с кешем на запись с батарейкой, иначе будет очень медленно. Кэш включен. ниже конфигурация контроллера и дисков:Тут важно, верит ли этому сиквел :-) Даже при включённом аппаратном кеше записи он может не использоваться для некоторых операций, если контроллер об этом попросит ОС. Я не такой уж бльшой спец по железу, вам нужно ещё поискать что нибуть про это. По крайней мере, результаты теста подозрительные. dmitry stakanovбудут разные тома под журнал и под данные, вне зависимости от того на каком рейде остановлюсь.Разделение по томам вообще ни на что не влияет, если вы про тома NTFS на рейде/луне. Это же просто логическое разделение, влияет разве что на фрагментирование, да и то, если вы не задали файлы изначально нужного размера. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2012, 17:31 |
|
raid vs vraid
|
|||
---|---|---|---|
#18+
alexeyvgdmitry stakanovпропущено... вроде бы выравнено все, но вот только размер сектора 32. диск парт показывает ровно 32 и на вьюер рейда показывает тоже самое. мб дело в этом?Вы про размер кластера в NTFS? ИМХО тоже надо 64 ставить. Важно, как том выровнен, лучьше там побольше выравнивание сделать. Вот щас АГ придёт, поставит диагноз :-) Status OK Drive Number 4 Drive Unique ID 600508B1001C8144D0416EF8F13F3715 Size 572293 MB Fault Tolerance RAID 1 Heads 255 Sectors 32 Cylinders 65535 Stripe Size 128 KB Array Accelerator Enabled диск парт тоже показывает размер сектора 32 ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2012, 17:34 |
|
raid vs vraid
|
|||
---|---|---|---|
#18+
alexeyvgdmitry stakanovЭто средние значения: для каждого варианта очереди прогонялся каждый вариант размера блока и наоборотПонятно, спасибо. dmitry stakanovпропущено... Кэш включен. ниже конфигурация контроллера и дисков:Тут важно, верит ли этому сиквел :-) Даже при включённом аппаратном кеше записи он может не использоваться для некоторых операций, если контроллер об этом попросит ОС. Я не такой уж бльшой спец по железу, вам нужно ещё поискать что нибуть про это. По крайней мере, результаты теста подозрительные. dmitry stakanovбудут разные тома под журнал и под данные, вне зависимости от того на каком рейде остановлюсь.Разделение по томам вообще ни на что не влияет, если вы про тома NTFS на рейде/луне. Это же просто логическое разделение, влияет разве что на фрагментирование, да и то, если вы не задали файлы изначально нужного размера. прошу прощения, имел виду разные тома на разных lun/raid. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2012, 17:36 |
|
raid vs vraid
|
|||
---|---|---|---|
#18+
alexeyvg, да, и стоит ли устанавливать фиксированный замер очереди на контроллере? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2012, 17:41 |
|
raid vs vraid
|
|||
---|---|---|---|
#18+
dmitry stakanovalexeyvgпропущено... Вы про размер кластера в NTFS? ИМХО тоже надо 64 ставить. Важно, как том выровнен, лучьше там побольше выравнивание сделать. Вот щас АГ придёт, поставит диагноз :-) Status OK Drive Number 4 Drive Unique ID 600508B1001C8144D0416EF8F13F3715 Size 572293 MB Fault Tolerance RAID 1 Heads 255 Sectors 32 Cylinders 65535 Stripe Size 128 KB Array Accelerator Enabled диск парт тоже показывает размер сектора 32А, ясно, Stripe Size 128. В принципе нормально... dmitry stakanovпрошу прощения, имел виду разные тома на разных lun/raid.Вот тут важно, что такое lun :-) Если это логический блок на одном массиве raid5, то неминуемо будет влияние от другой нагрузки (пусть даже не от вашего сервера, так от других) ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2012, 17:50 |
|
|
start [/forum/topic.php?fid=30&msg=38000931&tid=1530042]: |
0ms |
get settings: |
8ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
132ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
47ms |
get tp. blocked users: |
1ms |
others: | 14ms |
total: | 233ms |
0 / 0 |