Гость
Форумы / Hardware [игнор отключен] [закрыт для гостей] / raid vs vraid / 25 сообщений из 36, страница 1 из 2
03.10.2012, 18:11
    #37982482
dmitry stakanov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
Добрый день.

Вопрос по дисковой подсистеме.

задача: Конфигурирование репликации транзакций.

софт: win2008, ms sql2008r2;

3 сервера: публикация, распространение, подписка;

диски: vRAID5 (EVA4400), локально RAID1, RAID1+0, RAID0;


вопрос: будет ли профит в скорости, если локальные RAID1/1+0 заменить на vRAID5 (для журналов транзакций)?
...
Рейтинг: 0 / 0
03.10.2012, 18:37
    #37982533
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
dmitry stakanov,

raid 5 уже давно не торт.
...
Рейтинг: 0 / 0
03.10.2012, 19:25
    #37982598
rahzer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
RAID 5 давно уже торт, с внедрением двухядерных числодробилок под определенные вещи, да с большим кэшем под это дело на сервках, тем более, что гиг сейчас даже в базе на серверах дают..
Так что тут будут решать именно логика контроллера+шпиндели+ббу+оптимизация вендора.
...
Рейтинг: 0 / 0
03.10.2012, 19:50
    #37982617
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
dmitry stakanovвопрос: будет ли профит в скорости, если локальные RAID1/1+0 заменить на vRAID5 (для журналов транзакций)?Зависит от конкретной настройки и характеристик.

vRAID5 - сколько шпинделей, и сколько десятков серверов ещё туда подключено?

Если шпинделей много, и этот сервер единственный, кеш большой и кеширование записи разрешено, то будет быстрее. Но всё это маловероятно, скорее всего на это СХД будет навешано много чего.

Достаточно просто проверить разницу в быстродействии с помощью sqlio.
...
Рейтинг: 0 / 0
03.10.2012, 19:51
    #37982620
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
rahzerда с большим кэшем под это дело на сервкахБольшой или маленький кеш на серверах для кеширования лога MSSQL не используется. Сисадмины любят СХД, но не знают, как с дисками работает сиквел.
...
Рейтинг: 0 / 0
04.10.2012, 10:32
    #37983090
dmitry stakanov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
alexeyvgdmitry stakanovвопрос: будет ли профит в скорости, если локальные RAID1/1+0 заменить на vRAID5 (для журналов транзакций)?Зависит от конкретной настройки и характеристик.

vRAID5 - сколько шпинделей, и сколько десятков серверов ещё туда подключено?

Если шпинделей много, и этот сервер единственный, кеш большой и кеширование записи разрешено, то будет быстрее. Но всё это маловероятно, скорее всего на это СХД будет навешано много чего.

Достаточно просто проверить разницу в быстродействии с помощью sqlio.

спасибо!
админы говорят, что пока висит 5 серверов и один кластер vmware (без нагрузки) + я навешу еще 3 сервера с репликацией.
также сказано, что стойка максимально забита шпинделями. судя по спеку - 56 штук.
каковы могут быть прогнозы относительно 1 vs v5, 0 vs v5 и 1+0 vs v5?

пс кэширование где? на стойке?
ппс и какой должен быть размер страйпа?
пппс сорри, я по части железа полный профан(
...
Рейтинг: 0 / 0
04.10.2012, 10:41
    #37983104
dmitry stakanov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
alexeyvg,

я бы, конечно, методом тыка (тестирования) все бы сделал. но, к сожалению, время очень ограничено и хотелось бы иметь представление о том, чего делать не стоит.
...
Рейтинг: 0 / 0
04.10.2012, 11:38
    #37983225
S.G.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
rahzerRAID 5 давно уже торт, с внедрением двухядерных числодробилок под определенные вещи, да с большим кэшем под это дело на сервках, тем более...A за какое время сейчас, после всех этих улучшений, делается восстановление данных, после отказа одного диска? Примерно, raid 5 на трех дисках по 2TB.
...
Рейтинг: 0 / 0
04.10.2012, 14:51
    #37983753
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
dmitry stakanovalexeyvg,

я бы, конечно, методом тыка (тестирования) все бы сделал. но, к сожалению, время очень ограничено и хотелось бы иметь представление о том, чего делать не стоит.При использовании СХД у вас точно не будет контроля над ситуацией, возможности что то поменять, в лучьшем случае расскажут про конфигурацию, если вы их конечно сумеете чем то заинтересовать.

Несколько статей, чтоб не тестировать самому:

10 рекомендаций по настройке хранилищ данных
http://sqlcat.com/sqlcat_international/b/whitepapers_russian/archive/2008/10/30/492.aspx
!!! В некоторых случаях (в зависимости от характера использования TEMPDB) можно добиться повышения производительности, если поместить базу данных TEMPDB на дисковый массив RAID 1+0.
!!! Всегда размещайте файлы журналов на дисковых массивах RAID 1+0 (или RAID 1).

http://download.microsoft.com/download/B/E/1/BE1AABB3-6ED8-4C3C-AF91-448AB733B1AF/Analyzing%20Characterizing%20and%20IO%20Size%20Considerations.docx
!!! one RAID 1 pair for each LUN

Storage Top 10 Best Practices
http://technet.microsoft.com/en-us/library/cc966534.aspx
!!! Isolate log from data at the physical disk level
!!! Always place log files on RAID 1+0 (or RAID 1) disks.
...
Рейтинг: 0 / 0
04.10.2012, 15:25
    #37983868
Логин_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
rahzerRAID 5 давно уже торт, с внедрением двухядерных числодробилок под определенные вещи, да с большим кэшем под это дело на сервках, тем более, что гиг сейчас даже в базе на серверах дают..
Так что тут будут решать именно логика контроллера+шпиндели+ббу+оптимизация вендора.

где то виде статью на хабре что при росте рейд5 объема до 11тб вероятность отказа равна чуть ли не 100% при этом сам рейд сбоить не станет (покажет исправное состояние, а данные будут утеряны)
...
Рейтинг: 0 / 0
04.10.2012, 16:19
    #37984021
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
Логин_, alexeyvg

raid 5 "не фонтан" по многим причинам, как минимум из-за write penalty. И обычно запись никак не ускоряет. Так что raid 10 лучше raid 5, независимо от "числодробилок".

про надежность raid 5, 6, 10
http://blog.aboutnetapp.ru/archives/975

" RAID-5 на 7 дисках данных (7d+1p) почти в четыре тысяч раз менее надежен, чем RAID-6, на тех же 7 дисках данных (7d+2p)! "

и
http://www.firebirdsql.org/file/community/ppts/fbcon11/FB_Conf_2011_Firebird_RAID.pdf
...
Рейтинг: 0 / 0
04.10.2012, 16:27
    #37984043
dmitry stakanov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
alexeyvgdmitry stakanovalexeyvg,

я бы, конечно, методом тыка (тестирования) все бы сделал. но, к сожалению, время очень ограничено и хотелось бы иметь представление о том, чего делать не стоит.При использовании СХД у вас точно не будет контроля над ситуацией, возможности что то поменять, в лучьшем случае расскажут про конфигурацию, если вы их конечно сумеете чем то заинтересовать.

Несколько статей, чтоб не тестировать самому:

10 рекомендаций по настройке хранилищ данных
http://sqlcat.com/sqlcat_international/b/whitepapers_russian/archive/2008/10/30/492.aspx
!!! В некоторых случаях (в зависимости от характера использования TEMPDB) можно добиться повышения производительности, если поместить базу данных TEMPDB на дисковый массив RAID 1+0.
!!! Всегда размещайте файлы журналов на дисковых массивах RAID 1+0 (или RAID 1).

http://download.microsoft.com/download/B/E/1/BE1AABB3-6ED8-4C3C-AF91-448AB733B1AF/Analyzing%20Characterizing%20and%20IO%20Size%20Considerations.docx
!!! one RAID 1 pair for each LUN

Storage Top 10 Best Practices
http://technet.microsoft.com/en-us/library/cc966534.aspx
!!! Isolate log from data at the physical disk level
!!! Always place log files on RAID 1+0 (or RAID 1) disks.

доп инфа, 96 дисков - 15K RPM, 5 LUN, 2 контроллера кэш по 2гб.

да менять точно нечего не дадут на сдх, это самый главный гэп(
...
Рейтинг: 0 / 0
04.10.2012, 20:37
    #37984463
Логин_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
kdvЛогин_, alexeyvg

raid 5 "не фонтан" по многим причинам, как минимум из-за write penalty. И обычно запись никак не ускоряет. Так что raid 10 лучше raid 5, независимо от "числодробилок".

про надежность raid 5, 6, 10
http://blog.aboutnetapp.ru/archives/975

" RAID-5 на 7 дисках данных (7d+1p) почти в четыре тысяч раз менее надежен, чем RAID-6, на тех же 7 дисках данных (7d+2p)! "

и
http://www.firebirdsql.org/file/community/ppts/fbcon11/FB_Conf_2011_Firebird_RAID.pdf

дело даже не в надежности (понятно что рейд6 надежней чем рейд5), а в том, что вероятность возникновения ошибки высока, а сам рейд на нее не среагирует никак.
...
Рейтинг: 0 / 0
04.10.2012, 20:41
    #37984466
Логин_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
...
Рейтинг: 0 / 0
04.10.2012, 22:07
    #37984515
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
dmitry stakanovда менять точно нечего не дадут на сдх, это самый главный гэп(Ага, это самое плохое :-(

Что бы там не говорили адепты волшебных виртуализированных хранилищ, размазывающих данные сразу на все диски, со сверхумными многоядерными контроллерами (кстати, по моему, за "числодробилки" эти процессоры не отвечают, только за управление, а числодробилки там специализированные), если это неправильно настроить, то работать будет плохо, а настраивать будут гарантированно непрофессионалы (по СУБД).

Далее, что бы там не говорили эти адепты, микроскопический кеш на несколько гигов просто не может изменить характер работы СХД - потоки разнородной нагрузки, да ещё и от многих серверов будут сбивать работу этой прорвы дисков, заставлять работать её в неоптимальном режиме.

Конечно, альтернатива у вас слабенькая, пара дисков не смогут тягаться с большой СХД, но если есть возможность использовать несколько дисков, или тем более нормальную полку + нормальные контроллеры, то это для сиквела однозначно лучше.
...
Рейтинг: 0 / 0
05.10.2012, 16:39
    #37985694
dmitry stakanov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
alexeyvgdmitry stakanovда менять точно нечего не дадут на сдх, это самый главный гэп(Ага, это самое плохое :-(

Что бы там не говорили адепты волшебных виртуализированных хранилищ, размазывающих данные сразу на все диски, со сверхумными многоядерными контроллерами (кстати, по моему, за "числодробилки" эти процессоры не отвечают, только за управление, а числодробилки там специализированные), если это неправильно настроить, то работать будет плохо, а настраивать будут гарантированно непрофессионалы (по СУБД).

Далее, что бы там не говорили эти адепты, микроскопический кеш на несколько гигов просто не может изменить характер работы СХД - потоки разнородной нагрузки, да ещё и от многих серверов будут сбивать работу этой прорвы дисков, заставлять работать её в неоптимальном режиме.

Конечно, альтернатива у вас слабенькая, пара дисков не смогут тягаться с большой СХД, но если есть возможность использовать несколько дисков, или тем более нормальную полку + нормальные контроллеры, то это для сиквела однозначно лучше.


Протестировал RAID0+1, RAID5 и vRAID5.
в общем-то разницы никакой нет. и это странно.
либо я неправильно конфигурировал sqlio, либо меня ввели в заблуждение где, какой рейд. странно все это...
...
Рейтинг: 0 / 0
05.10.2012, 18:03
    #37985842
dmitry stakanov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
dmitry stakanovalexeyvgпропущено...
Ага, это самое плохое :-(

Что бы там не говорили адепты волшебных виртуализированных хранилищ, размазывающих данные сразу на все диски, со сверхумными многоядерными контроллерами (кстати, по моему, за "числодробилки" эти процессоры не отвечают, только за управление, а числодробилки там специализированные), если это неправильно настроить, то работать будет плохо, а настраивать будут гарантированно непрофессионалы (по СУБД).

Далее, что бы там не говорили эти адепты, микроскопический кеш на несколько гигов просто не может изменить характер работы СХД - потоки разнородной нагрузки, да ещё и от многих серверов будут сбивать работу этой прорвы дисков, заставлять работать её в неоптимальном режиме.

Конечно, альтернатива у вас слабенькая, пара дисков не смогут тягаться с большой СХД, но если есть возможность использовать несколько дисков, или тем более нормальную полку + нормальные контроллеры, то это для сиквела однозначно лучше.


Протестировал RAID0+1, RAID5 и vRAID5.
в общем-то разницы никакой нет. и это странно.
либо я неправильно конфигурировал sqlio, либо меня ввели в заблуждение где, какой рейд. странно все это...

да наврали мне. оказывается я тестировал raid1 vs raidv5
...
Рейтинг: 0 / 0
05.10.2012, 18:40
    #37985904
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
dmitry stakanovлибо я неправильно конфигурировал sqlio, либо меня ввели в заблуждение где, какой рейд. странно все это...Посмотрите: SQL Server: Методика тестирования дисковой подсистемы

Вкратце: в настройках утилиты SQLIO для тестирования дисков под лог нужно сконфигурить последовательную запись небольшими блоками и отключить кеш.

Не забывайте, что при эксплуатации большой vRAID будет ещё параллельно загружен потоком случайной записи/чтения.
...
Рейтинг: 0 / 0
05.10.2012, 18:42
    #37985909
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
alexeyvgи отключить кешИмеется в виду кеш ОС и кеш без батарейки, то есть смоделировтаь реальную ситуацию.
...
Рейтинг: 0 / 0
08.10.2012, 17:40
    #37988794
dmitry stakanov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
alexeyvg,

спасибо! А. Гладченко уже прочитал.

все-таки можно про кэш подробнее?
в статье идет речь об отключении кеша контроллеров.
...
Рейтинг: 0 / 0
08.10.2012, 18:58
    #37988912
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
dmitry stakanovвсе-таки можно про кэш подробнее?Да в общем ерунда... Я имел в виду, чтоб не использовался кеш записи в ОС (допустим, на настольных ОС такое озможно, или в виртуальных машинах).

А так в общем достаточно протестировать последовательную запись небольшими блоками (как характерно для работы сиквела с файлом лога), и учесть работу при паралельных потоках разнородной нагрузки (что будет характерно для разделения одного большого vRAID5 между многими серверами).
...
Рейтинг: 0 / 0
16.10.2012, 15:57
    #38000724
dmitry stakanov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
alexeyvgdmitry stakanovвсе-таки можно про кэш подробнее?Да в общем ерунда... Я имел в виду, чтоб не использовался кеш записи в ОС (допустим, на настольных ОС такое озможно, или в виртуальных машинах).

А так в общем достаточно протестировать последовательную запись небольшими блоками (как характерно для работы сиквела с файлом лога), и учесть работу при паралельных потоках разнородной нагрузки (что будет характерно для разделения одного большого vRAID5 между многими серверами).

закончил тесты, но результаты довольно странные (см вложение).

Тестировались: RAID1, RAIDv5 (EVA4400)
параметры тестирования:

-k(W, R)
-s180
-(fsequential, frandom)
-t8
-o(1,2,4,8,16,32,64)
-b(8,16,32,64,128,512)
-LS
-Fparam.txt (файл 8гб, маска - все процессоры, потоки - 8);

вопросы:
адекватны ли были параметры тестирования?
что можно улучшить в настройках операционной системы и рейд контроллеров дисков?
пс оч сильный разброс между чтением и записью - это нормально?
спасибо.
...
Рейтинг: 0 / 0
16.10.2012, 16:32
    #38000800
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
dmitry stakanovзакончил тестыОооо, спасибо за проделанную работу, интересно будет ознакомиться!
dmitry stakanovадекватны ли были параметры тестирования?
ИМХО маловат файл, при тестировании на СХД, если нет другой нагрузки, будет большое попадание в кеш и результат будет некорректным (поскольку в реальной работе данных будет больше, и пользвателей у СХД будет ещё много, кроме одного этого сервера).

Ещё при тесте важно создавать адеватную нагрузку на подсистему хранения в целом.
Если райд на ХХХ дисков используется только для лога, то нужно создать нагрузку в виде последовательной записи небольших блоков, а если vRAID5 будет хранить и данные, и логи, то нужно создать нагрузку в виде последовательного потока записи 8 кб, случайного потока чтения 64 кб, случайного потока записи 64 кб. Такая мешанина будет лучше показывать реальную ситуацию.

Вообще, изначально не было сомнений, что vRAID5 на 96 дисков с 2 гб кеша будет быстрее RAID1, если он целиком предоставлен серверу :-)
dmitry stakanovпс оч сильный разброс между чтением и записью - это нормально?ИМХО, т.к. чтение и запись на RAID1 одинаковы, а на vRAID5 отличаются, это говорит о том, что на vRAID5 включён кеш записи, а на RAID1 выключен.

Вообще RAID1 должен быть с кешем на запись с батарейкой, иначе будет очень медленно.

Ещё вопрос - графики, которые с queue, там какой размер блока, какие параметры?
Вообще, непонятно на графиках и в таблицах, какие были выбраны параметры теста (кроме оси х на графиках, естественно).
...
Рейтинг: 0 / 0
16.10.2012, 16:41
    #38000821
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
dmitry stakanovчто можно улучшить в настройках операционной системы и рейд контроллеров дисков?Ещё хочу обратить ваше внимание на рад провалов при размере блока 64к

Это очень (даже наверное самый) распространённый размер блока для работы сиквела с файлом даннымх, и провал говорит о какой то неправильной настройке в СХД (может, размер страйпа, или что то там невыровненено...), или невыровнен том.
...
Рейтинг: 0 / 0
16.10.2012, 16:46
    #38000834
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
raid vs vraid
alexeyvgВообще, изначально не было сомнений, что vRAID5 на 96 дисков с 2 гб кеша будет быстрее RAID1, если он целиком предоставлен серверу :-)Хотя видно, что как раз для файла лога жалкие 2 диска победили :-)

Это тест sequential_write, b8 - характерная нагрузка для файла лога, 138,7 против 96,8
...
Рейтинг: 0 / 0
Форумы / Hardware [игнор отключен] [закрыт для гостей] / raid vs vraid / 25 сообщений из 36, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]