powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Hardware [игнор отключен] [закрыт для гостей] / raid vs vraid
25 сообщений из 36, страница 1 из 2
raid vs vraid
    #37982482
dmitry stakanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день.

Вопрос по дисковой подсистеме.

задача: Конфигурирование репликации транзакций.

софт: win2008, ms sql2008r2;

3 сервера: публикация, распространение, подписка;

диски: vRAID5 (EVA4400), локально RAID1, RAID1+0, RAID0;


вопрос: будет ли профит в скорости, если локальные RAID1/1+0 заменить на vRAID5 (для журналов транзакций)?
...
Рейтинг: 0 / 0
raid vs vraid
    #37982533
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dmitry stakanov,

raid 5 уже давно не торт.
...
Рейтинг: 0 / 0
raid vs vraid
    #37982598
rahzer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
RAID 5 давно уже торт, с внедрением двухядерных числодробилок под определенные вещи, да с большим кэшем под это дело на сервках, тем более, что гиг сейчас даже в базе на серверах дают..
Так что тут будут решать именно логика контроллера+шпиндели+ббу+оптимизация вендора.
...
Рейтинг: 0 / 0
raid vs vraid
    #37982617
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dmitry stakanovвопрос: будет ли профит в скорости, если локальные RAID1/1+0 заменить на vRAID5 (для журналов транзакций)?Зависит от конкретной настройки и характеристик.

vRAID5 - сколько шпинделей, и сколько десятков серверов ещё туда подключено?

Если шпинделей много, и этот сервер единственный, кеш большой и кеширование записи разрешено, то будет быстрее. Но всё это маловероятно, скорее всего на это СХД будет навешано много чего.

Достаточно просто проверить разницу в быстродействии с помощью sqlio.
...
Рейтинг: 0 / 0
raid vs vraid
    #37982620
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rahzerда с большим кэшем под это дело на сервкахБольшой или маленький кеш на серверах для кеширования лога MSSQL не используется. Сисадмины любят СХД, но не знают, как с дисками работает сиквел.
...
Рейтинг: 0 / 0
raid vs vraid
    #37983090
dmitry stakanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
alexeyvgdmitry stakanovвопрос: будет ли профит в скорости, если локальные RAID1/1+0 заменить на vRAID5 (для журналов транзакций)?Зависит от конкретной настройки и характеристик.

vRAID5 - сколько шпинделей, и сколько десятков серверов ещё туда подключено?

Если шпинделей много, и этот сервер единственный, кеш большой и кеширование записи разрешено, то будет быстрее. Но всё это маловероятно, скорее всего на это СХД будет навешано много чего.

Достаточно просто проверить разницу в быстродействии с помощью sqlio.

спасибо!
админы говорят, что пока висит 5 серверов и один кластер vmware (без нагрузки) + я навешу еще 3 сервера с репликацией.
также сказано, что стойка максимально забита шпинделями. судя по спеку - 56 штук.
каковы могут быть прогнозы относительно 1 vs v5, 0 vs v5 и 1+0 vs v5?

пс кэширование где? на стойке?
ппс и какой должен быть размер страйпа?
пппс сорри, я по части железа полный профан(
...
Рейтинг: 0 / 0
raid vs vraid
    #37983104
dmitry stakanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
alexeyvg,

я бы, конечно, методом тыка (тестирования) все бы сделал. но, к сожалению, время очень ограничено и хотелось бы иметь представление о том, чего делать не стоит.
...
Рейтинг: 0 / 0
raid vs vraid
    #37983225
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rahzerRAID 5 давно уже торт, с внедрением двухядерных числодробилок под определенные вещи, да с большим кэшем под это дело на сервках, тем более...A за какое время сейчас, после всех этих улучшений, делается восстановление данных, после отказа одного диска? Примерно, raid 5 на трех дисках по 2TB.
...
Рейтинг: 0 / 0
raid vs vraid
    #37983753
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dmitry stakanovalexeyvg,

я бы, конечно, методом тыка (тестирования) все бы сделал. но, к сожалению, время очень ограничено и хотелось бы иметь представление о том, чего делать не стоит.При использовании СХД у вас точно не будет контроля над ситуацией, возможности что то поменять, в лучьшем случае расскажут про конфигурацию, если вы их конечно сумеете чем то заинтересовать.

Несколько статей, чтоб не тестировать самому:

10 рекомендаций по настройке хранилищ данных
http://sqlcat.com/sqlcat_international/b/whitepapers_russian/archive/2008/10/30/492.aspx
!!! В некоторых случаях (в зависимости от характера использования TEMPDB) можно добиться повышения производительности, если поместить базу данных TEMPDB на дисковый массив RAID 1+0.
!!! Всегда размещайте файлы журналов на дисковых массивах RAID 1+0 (или RAID 1).

http://download.microsoft.com/download/B/E/1/BE1AABB3-6ED8-4C3C-AF91-448AB733B1AF/Analyzing%20Characterizing%20and%20IO%20Size%20Considerations.docx
!!! one RAID 1 pair for each LUN

Storage Top 10 Best Practices
http://technet.microsoft.com/en-us/library/cc966534.aspx
!!! Isolate log from data at the physical disk level
!!! Always place log files on RAID 1+0 (or RAID 1) disks.
...
Рейтинг: 0 / 0
raid vs vraid
    #37983868
Фотография Логин_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rahzerRAID 5 давно уже торт, с внедрением двухядерных числодробилок под определенные вещи, да с большим кэшем под это дело на сервках, тем более, что гиг сейчас даже в базе на серверах дают..
Так что тут будут решать именно логика контроллера+шпиндели+ббу+оптимизация вендора.

где то виде статью на хабре что при росте рейд5 объема до 11тб вероятность отказа равна чуть ли не 100% при этом сам рейд сбоить не станет (покажет исправное состояние, а данные будут утеряны)
...
Рейтинг: 0 / 0
raid vs vraid
    #37984021
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Логин_, alexeyvg

raid 5 "не фонтан" по многим причинам, как минимум из-за write penalty. И обычно запись никак не ускоряет. Так что raid 10 лучше raid 5, независимо от "числодробилок".

про надежность raid 5, 6, 10
http://blog.aboutnetapp.ru/archives/975

" RAID-5 на 7 дисках данных (7d+1p) почти в четыре тысяч раз менее надежен, чем RAID-6, на тех же 7 дисках данных (7d+2p)! "

и
http://www.firebirdsql.org/file/community/ppts/fbcon11/FB_Conf_2011_Firebird_RAID.pdf
...
Рейтинг: 0 / 0
raid vs vraid
    #37984043
dmitry stakanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
alexeyvgdmitry stakanovalexeyvg,

я бы, конечно, методом тыка (тестирования) все бы сделал. но, к сожалению, время очень ограничено и хотелось бы иметь представление о том, чего делать не стоит.При использовании СХД у вас точно не будет контроля над ситуацией, возможности что то поменять, в лучьшем случае расскажут про конфигурацию, если вы их конечно сумеете чем то заинтересовать.

Несколько статей, чтоб не тестировать самому:

10 рекомендаций по настройке хранилищ данных
http://sqlcat.com/sqlcat_international/b/whitepapers_russian/archive/2008/10/30/492.aspx
!!! В некоторых случаях (в зависимости от характера использования TEMPDB) можно добиться повышения производительности, если поместить базу данных TEMPDB на дисковый массив RAID 1+0.
!!! Всегда размещайте файлы журналов на дисковых массивах RAID 1+0 (или RAID 1).

http://download.microsoft.com/download/B/E/1/BE1AABB3-6ED8-4C3C-AF91-448AB733B1AF/Analyzing%20Characterizing%20and%20IO%20Size%20Considerations.docx
!!! one RAID 1 pair for each LUN

Storage Top 10 Best Practices
http://technet.microsoft.com/en-us/library/cc966534.aspx
!!! Isolate log from data at the physical disk level
!!! Always place log files on RAID 1+0 (or RAID 1) disks.

доп инфа, 96 дисков - 15K RPM, 5 LUN, 2 контроллера кэш по 2гб.

да менять точно нечего не дадут на сдх, это самый главный гэп(
...
Рейтинг: 0 / 0
raid vs vraid
    #37984463
Фотография Логин_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvЛогин_, alexeyvg

raid 5 "не фонтан" по многим причинам, как минимум из-за write penalty. И обычно запись никак не ускоряет. Так что raid 10 лучше raid 5, независимо от "числодробилок".

про надежность raid 5, 6, 10
http://blog.aboutnetapp.ru/archives/975

" RAID-5 на 7 дисках данных (7d+1p) почти в четыре тысяч раз менее надежен, чем RAID-6, на тех же 7 дисках данных (7d+2p)! "

и
http://www.firebirdsql.org/file/community/ppts/fbcon11/FB_Conf_2011_Firebird_RAID.pdf

дело даже не в надежности (понятно что рейд6 надежней чем рейд5), а в том, что вероятность возникновения ошибки высока, а сам рейд на нее не среагирует никак.
...
Рейтинг: 0 / 0
raid vs vraid
    #37984466
Фотография Логин_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
raid vs vraid
    #37984515
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dmitry stakanovда менять точно нечего не дадут на сдх, это самый главный гэп(Ага, это самое плохое :-(

Что бы там не говорили адепты волшебных виртуализированных хранилищ, размазывающих данные сразу на все диски, со сверхумными многоядерными контроллерами (кстати, по моему, за "числодробилки" эти процессоры не отвечают, только за управление, а числодробилки там специализированные), если это неправильно настроить, то работать будет плохо, а настраивать будут гарантированно непрофессионалы (по СУБД).

Далее, что бы там не говорили эти адепты, микроскопический кеш на несколько гигов просто не может изменить характер работы СХД - потоки разнородной нагрузки, да ещё и от многих серверов будут сбивать работу этой прорвы дисков, заставлять работать её в неоптимальном режиме.

Конечно, альтернатива у вас слабенькая, пара дисков не смогут тягаться с большой СХД, но если есть возможность использовать несколько дисков, или тем более нормальную полку + нормальные контроллеры, то это для сиквела однозначно лучше.
...
Рейтинг: 0 / 0
raid vs vraid
    #37985694
dmitry stakanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
alexeyvgdmitry stakanovда менять точно нечего не дадут на сдх, это самый главный гэп(Ага, это самое плохое :-(

Что бы там не говорили адепты волшебных виртуализированных хранилищ, размазывающих данные сразу на все диски, со сверхумными многоядерными контроллерами (кстати, по моему, за "числодробилки" эти процессоры не отвечают, только за управление, а числодробилки там специализированные), если это неправильно настроить, то работать будет плохо, а настраивать будут гарантированно непрофессионалы (по СУБД).

Далее, что бы там не говорили эти адепты, микроскопический кеш на несколько гигов просто не может изменить характер работы СХД - потоки разнородной нагрузки, да ещё и от многих серверов будут сбивать работу этой прорвы дисков, заставлять работать её в неоптимальном режиме.

Конечно, альтернатива у вас слабенькая, пара дисков не смогут тягаться с большой СХД, но если есть возможность использовать несколько дисков, или тем более нормальную полку + нормальные контроллеры, то это для сиквела однозначно лучше.


Протестировал RAID0+1, RAID5 и vRAID5.
в общем-то разницы никакой нет. и это странно.
либо я неправильно конфигурировал sqlio, либо меня ввели в заблуждение где, какой рейд. странно все это...
...
Рейтинг: 0 / 0
raid vs vraid
    #37985842
dmitry stakanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
dmitry stakanovalexeyvgпропущено...
Ага, это самое плохое :-(

Что бы там не говорили адепты волшебных виртуализированных хранилищ, размазывающих данные сразу на все диски, со сверхумными многоядерными контроллерами (кстати, по моему, за "числодробилки" эти процессоры не отвечают, только за управление, а числодробилки там специализированные), если это неправильно настроить, то работать будет плохо, а настраивать будут гарантированно непрофессионалы (по СУБД).

Далее, что бы там не говорили эти адепты, микроскопический кеш на несколько гигов просто не может изменить характер работы СХД - потоки разнородной нагрузки, да ещё и от многих серверов будут сбивать работу этой прорвы дисков, заставлять работать её в неоптимальном режиме.

Конечно, альтернатива у вас слабенькая, пара дисков не смогут тягаться с большой СХД, но если есть возможность использовать несколько дисков, или тем более нормальную полку + нормальные контроллеры, то это для сиквела однозначно лучше.


Протестировал RAID0+1, RAID5 и vRAID5.
в общем-то разницы никакой нет. и это странно.
либо я неправильно конфигурировал sqlio, либо меня ввели в заблуждение где, какой рейд. странно все это...

да наврали мне. оказывается я тестировал raid1 vs raidv5
...
Рейтинг: 0 / 0
raid vs vraid
    #37985904
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dmitry stakanovлибо я неправильно конфигурировал sqlio, либо меня ввели в заблуждение где, какой рейд. странно все это...Посмотрите: SQL Server: Методика тестирования дисковой подсистемы

Вкратце: в настройках утилиты SQLIO для тестирования дисков под лог нужно сконфигурить последовательную запись небольшими блоками и отключить кеш.

Не забывайте, что при эксплуатации большой vRAID будет ещё параллельно загружен потоком случайной записи/чтения.
...
Рейтинг: 0 / 0
raid vs vraid
    #37985909
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvgи отключить кешИмеется в виду кеш ОС и кеш без батарейки, то есть смоделировтаь реальную ситуацию.
...
Рейтинг: 0 / 0
raid vs vraid
    #37988794
dmitry stakanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
alexeyvg,

спасибо! А. Гладченко уже прочитал.

все-таки можно про кэш подробнее?
в статье идет речь об отключении кеша контроллеров.
...
Рейтинг: 0 / 0
raid vs vraid
    #37988912
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dmitry stakanovвсе-таки можно про кэш подробнее?Да в общем ерунда... Я имел в виду, чтоб не использовался кеш записи в ОС (допустим, на настольных ОС такое озможно, или в виртуальных машинах).

А так в общем достаточно протестировать последовательную запись небольшими блоками (как характерно для работы сиквела с файлом лога), и учесть работу при паралельных потоках разнородной нагрузки (что будет характерно для разделения одного большого vRAID5 между многими серверами).
...
Рейтинг: 0 / 0
raid vs vraid
    #38000724
dmitry stakanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
alexeyvgdmitry stakanovвсе-таки можно про кэш подробнее?Да в общем ерунда... Я имел в виду, чтоб не использовался кеш записи в ОС (допустим, на настольных ОС такое озможно, или в виртуальных машинах).

А так в общем достаточно протестировать последовательную запись небольшими блоками (как характерно для работы сиквела с файлом лога), и учесть работу при паралельных потоках разнородной нагрузки (что будет характерно для разделения одного большого vRAID5 между многими серверами).

закончил тесты, но результаты довольно странные (см вложение).

Тестировались: RAID1, RAIDv5 (EVA4400)
параметры тестирования:

-k(W, R)
-s180
-(fsequential, frandom)
-t8
-o(1,2,4,8,16,32,64)
-b(8,16,32,64,128,512)
-LS
-Fparam.txt (файл 8гб, маска - все процессоры, потоки - 8);

вопросы:
адекватны ли были параметры тестирования?
что можно улучшить в настройках операционной системы и рейд контроллеров дисков?
пс оч сильный разброс между чтением и записью - это нормально?
спасибо.
...
Рейтинг: 0 / 0
raid vs vraid
    #38000800
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dmitry stakanovзакончил тестыОооо, спасибо за проделанную работу, интересно будет ознакомиться!
dmitry stakanovадекватны ли были параметры тестирования?
ИМХО маловат файл, при тестировании на СХД, если нет другой нагрузки, будет большое попадание в кеш и результат будет некорректным (поскольку в реальной работе данных будет больше, и пользвателей у СХД будет ещё много, кроме одного этого сервера).

Ещё при тесте важно создавать адеватную нагрузку на подсистему хранения в целом.
Если райд на ХХХ дисков используется только для лога, то нужно создать нагрузку в виде последовательной записи небольших блоков, а если vRAID5 будет хранить и данные, и логи, то нужно создать нагрузку в виде последовательного потока записи 8 кб, случайного потока чтения 64 кб, случайного потока записи 64 кб. Такая мешанина будет лучше показывать реальную ситуацию.

Вообще, изначально не было сомнений, что vRAID5 на 96 дисков с 2 гб кеша будет быстрее RAID1, если он целиком предоставлен серверу :-)
dmitry stakanovпс оч сильный разброс между чтением и записью - это нормально?ИМХО, т.к. чтение и запись на RAID1 одинаковы, а на vRAID5 отличаются, это говорит о том, что на vRAID5 включён кеш записи, а на RAID1 выключен.

Вообще RAID1 должен быть с кешем на запись с батарейкой, иначе будет очень медленно.

Ещё вопрос - графики, которые с queue, там какой размер блока, какие параметры?
Вообще, непонятно на графиках и в таблицах, какие были выбраны параметры теста (кроме оси х на графиках, естественно).
...
Рейтинг: 0 / 0
raid vs vraid
    #38000821
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dmitry stakanovчто можно улучшить в настройках операционной системы и рейд контроллеров дисков?Ещё хочу обратить ваше внимание на рад провалов при размере блока 64к

Это очень (даже наверное самый) распространённый размер блока для работы сиквела с файлом даннымх, и провал говорит о какой то неправильной настройке в СХД (может, размер страйпа, или что то там невыровненено...), или невыровнен том.
...
Рейтинг: 0 / 0
raid vs vraid
    #38000834
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvgВообще, изначально не было сомнений, что vRAID5 на 96 дисков с 2 гб кеша будет быстрее RAID1, если он целиком предоставлен серверу :-)Хотя видно, что как раз для файла лога жалкие 2 диска победили :-)

Это тест sequential_write, b8 - характерная нагрузка для файла лога, 138,7 против 96,8
...
Рейтинг: 0 / 0
25 сообщений из 36, страница 1 из 2
Форумы / Hardware [игнор отключен] [закрыт для гостей] / raid vs vraid
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]