ReSQL.ru
     
powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Informix [игнор отключен] [закрыт для гостей] / Плохая производительность дисковой подсистемы на сервере под Informix.
25 сообщений из 90, страница 1 из 4
  1  все
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36185982
Павел. С
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел. С
Гость
Добрый день!

Решили переносить БД на новый сервер. Меняется практически все: версия IDS, OS, железо.
Перед тем как этим заниматься решил проверить, насколько новое железо шустрее. Был удивлен:
на новом сервере производительность дисковой подсистемы на синтетических бенчмарках ниже, чем на старом. Не могу понять причину... Буду рад, если здесь помогут.
Вопрос больше к системщикам, чем к DBA, но, думаю, найдутся люди, которым интересно )) Все-таки сервер делается для Информикса.

Сервер раз
Код: plaintext
1.
2.
3.
4.
5.
CPU - 2 шт. 4 ядра Xeon 2.33
RAM - 2 GB
OS - Win2003 под IA32
тестируемый контроллер - внутренний, PCI-E 8x, 256 MB кеша (50/50).
физ. диски - 2х SAS 10k RPM 72 GB. Внутри сервера. Кеш дисков выключен.
тестируемый диск - собран из 2х физ. дисков в RAID 1. ОС видит 1 диск. Кеширование в Windows выключено.

Сервер два
Код: plaintext
1.
2.
3.
4.
5.
6.
CPU - 2 шт. 2 ядра Xeon 2.66
RAM - 8 GB
OS - Linux RH 5. под x64.
тестируемый контроллер - внутренний, PCI-X 133 64 bit, 256 MB кеша (50/50).
физ. диски - 24х SAS 15k RPM 72 GB. Внешние. Кеш дисков выключен.
тестируемый диск - собран из 24х физ. дисков в RAID 10. ОС видит 1 диск. Файловой системы нет.

На обоих серверах последние стабильные драйвера и прошивки контроллеров и дисков.

Бенчмарк
Тестировал iometer'ом. Заставлял его в несколько (8) потоков читать с тестируемого диска данные блоками по 2Кб. Случайно. Размер "области" для случайного чтения 10 GB. На первом сервере "область" - это файл на диске. Во втором - просто блочное устройство. Все потоки за чтением обращаются к одной и той же "области".
Тест гонял по 10 минут на каждом сервере. Получил результат:
Код: plaintext
1.
сервер раз - 610 IO per sec
сервер два - 450 IO per sec

Внимание, вопрос: почему диск из 12ти зеркал оказался быстрее, чем диск из одного зеркала?!?!? Причем физ. диски во втором случае сами по себе быстрее.

У меня есть несколько предположений, но все они кажутся мне маловероятными:
1) я что-то криво настроил )))
2) у меня сбоит железо.
3) Linux работает с этим железом не так как надо
4) мой бенчмарк не подходит для сравнения производительности дисков на разных ОС.
5) Я чего-то не понимаю, и количество дисков в массиве (2 против 24) не должно влиять на общую производительность системы при рандомном чтении в несколько потоков.

Кстати, предполагаю, что из-за размера страницы Информикса в 4 КB, на Win2003 я получу значительно б о льшую скорость работы самой БД (IO в секунду столько же, а МБ в секунду в 2 раза больше). Я не ошибаюсь?

П.С. Делал еще один бенчмарк на сервере три. Там тоже Win2003 и NAS из 12 дисков в RAID 10. Там получил 1200 IO per sec.
...
Рейтинг: 0 / 0
09.09.2009, 12:25
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186021
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
Павел. С
5) Я чего-то не понимаю, и количество дисков в массиве (2 против 24) не должно влиять на общую производительность системы при рандомном чтении в несколько потоков.
с точностью до наоборот.
1-й поток читает с диска 1 (и замирает 10мс seek)
2-й поток в это же время с диска 4 seek 10мс
3-й ждет диск 1 стоит в очереди
4-й поток читает диск 2
и т.д.

Размер блока в информиксе я думаю стоит ставить 16кб, т.к. все современные контроллеры оптимизируют на огромные размеры в сотни кб.
...
Рейтинг: 0 / 0
09.09.2009, 12:36
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186039
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
кол-во потоков в асинхронном режиме не принципиально. Т.е. мы контроллеру кидаем команды читай, читай, читай, читай, читай, пиши, читай, читай, читай, контроллер асинхронно отвечает готово пользуйся, готово пользуйся,готово пользуйся,готово пользуйся,
...
Рейтинг: 0 / 0
09.09.2009, 12:41
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186060
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
сервер раз - 610 IO per sec
сервер два - 450 IO per sec
разницы конечный пользователь не заметит. Т.к. io на 99% кеширован.
...
Рейтинг: 0 / 0
09.09.2009, 12:46
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186131
Павел. С
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел. С
Гость
Павел. С5) Я чего-то не понимаю, и количество дисков в массиве (2 против 24) не должно влиять на общую производительность системы при рандомном чтении в несколько потоков.
Журавлев Денисс точностью до наоборот.
Денис, поясните, пожалуйста, какое из моих утверждений "с точностью до наоборот" ) Никак не могу сориентироваться.
...
Рейтинг: 0 / 0
09.09.2009, 13:07
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186225
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
авторпочему диск из 12ти зеркал оказался быстрее, чем диск из одного зеркала?!?!?
Потому что так и должно быть

автор5) Я чего-то не понимаю, и количество дисков в массиве (2 против 24) не должно влиять на общую производительность системы при рандомном чтении в несколько потоков.
должно.


больше дисков -> больше иопсов. Пока не упремся в ограничения контроллера или нагружающей системы.
...
Рейтинг: 0 / 0
09.09.2009, 13:47
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186247
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_shats
Участник
Павел. С
Код: plaintext
1.
сервер раз - 610 IO per sec
сервер два - 450 IO per sec

Внимание, вопрос: почему диск из 12ти зеркал оказался быстрее, чем диск из одного зеркала?!?!? Причем физ. диски во втором случае сами по себе быстрее.

У меня есть несколько предположений, но все они кажутся мне маловероятными:
1) я что-то криво настроил )))
2) у меня сбоит железо.
3) Linux работает с этим железом не так как надо
4) мой бенчмарк не подходит для сравнения производительности дисков на разных ОС.
5) Я чего-то не понимаю, и количество дисков в массиве (2 против 24) не должно влиять на общую производительность системы при рандомном чтении в несколько потоков.

Кстати, предполагаю, что из-за размера страницы Информикса в 4 КB, на Win2003 я получу значительно б о льшую скорость работы самой БД (IO в секунду столько же, а МБ в секунду в 2 раза больше). Я не ошибаюсь?

П.С. Делал еще один бенчмарк на сервере три. Там тоже Win2003 и NAS из 12 дисков в RAID 10. Там получил 1200 IO per sec.

Outstanding I/Os сколько ?
Или Вы 1 поток операций чтения 2К блоками мерили ? :)
Ну, Вы поняли
...
Рейтинг: 0 / 0
09.09.2009, 13:52
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186250
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_shats
Участник
Павел. С,

И вдогонку: iometer под Линукс - было много сообщений о глюках и кривости измерений.
Используйте iozone - но тщательно смотрите и выбирайте параметры тестирования.
...
Рейтинг: 0 / 0
09.09.2009, 13:53
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186254
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
Проведите тест на файлике 100мб (чтобы влез в кеш контроллера) и блоках 2кб. -- узнаете максимум пролезающий сквозь контроллер, шину pcie и iometer.
...
Рейтинг: 0 / 0
09.09.2009, 13:54
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186270
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andron
Участник
Павел. СДобрый день!

...

Кстати, предполагаю, что из-за размера страницы Информикса в 4 КB, на Win2003 я получу значительно б о льшую скорость работы самой БД (IO в секунду столько же, а МБ в секунду в 2 раза больше). Я не ошибаюсь?


Размер страницы в dbspace в Linux (как и в Windows) можно менять начиная с 10 версии информикса. А если используется LVM то в нем все равно чтение будет идти блоками (сразу по несколько страниц) а не страницами.
...
Рейтинг: 0 / 0
09.09.2009, 13:59
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186279
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
Andron
Размер страницы в dbspace в Linux (как и в Windows) можно менять начиная с 10 версии информикса. А если используется LVM то в нем все равно чтение будет идти блоками (сразу по несколько страниц) а не страницами.
с чего вдруг? надо 2кб, lvm прочитает 2кб
...
Рейтинг: 0 / 0
09.09.2009, 14:01
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186285
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andron
Участник
Мне наш админ AIX сказал что блоками :)
...
Рейтинг: 0 / 0
09.09.2009, 14:03
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186332
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_shats
Участник
Журавлев ДенисПроведите тест на файлике 100мб (чтобы влез в кеш контроллера) и блоках 2кб. -- узнаете максимум пролезающий сквозь контроллер, шину pcie и iometer.

Это можно и так посмотреть - тут
...
Рейтинг: 0 / 0
09.09.2009, 14:15
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186338
Павел. С
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел. С
Гость
ЯВнимание, вопрос: почему диск из 12ти зеркал оказался быстрее, чем диск из одного зеркала?!?!?

Вот тут я круто описАлся... Вопрос звучит так:

почему диск из 12ти зеркал оказался медленнее , чем диск из одного зеркала?!?!?
...
Рейтинг: 0 / 0
09.09.2009, 14:16
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186379
Павел. С
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел. С
Гость
Журавлев Денис
больше дисков -> больше иопсов. Пока не упремся в ограничения контроллера или нагружающей системы.

Я топик как раз создал, т.к. это правило у меня не выполняется.

На первом сервере мало дисков - много иопсов
На втором сервере много дисков - мало иопсов. Причем здесь диске шустрее.
...
Рейтинг: 0 / 0
09.09.2009, 14:32
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186387
Павел. С
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел. С
Гость
a_shats
Outstanding I/Os сколько ?
Или Вы 1 поток операций чтения 2К блоками мерили ? :)
Ну, Вы поняли

Потоков iometer'а 8. На всех бенчмарках.
Outstanding I/Os 1. Пробовал менять. На значениях 1-100 нет вообще никакой разницы. На значениях от 500 и выше - скорость (IO/s) падает.
...
Рейтинг: 0 / 0
09.09.2009, 14:34
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186399
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
AndronМне наш админ AIX сказал что блоками :)там Read ahead есть, но отключаемый
...
Рейтинг: 0 / 0
09.09.2009, 14:37
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186416
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
Павел. СЖуравлев Денис
больше дисков -> больше иопсов. Пока не упремся в ограничения контроллера или нагружающей системы.

Я топик как раз создал, т.к. это правило у меня не выполняется.

На первом сервере мало дисков - много иопсов
На втором сервере много дисков - мало иопсов. Причем здесь диске шустрее.для начала попробуйте в линуксе на маленьком размере 50мб, сколько иопсов будет.
...
Рейтинг: 0 / 0
09.09.2009, 14:43
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186428
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andron
Участник
Журавлев Денис,

А если скажем используется какой нибудь RAID, то чтение идет опять же блоками или страницами приложения?
...
Рейтинг: 0 / 0
09.09.2009, 14:47
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186442
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
AndronЖуравлев Денис,

А если скажем используется какой нибудь RAID, то чтение идет опять же блоками или страницами приложения?зависит от контроллера и типа рейда. Я уже сказал что оптимизируют их в строну сотен килобайт, т.е. какая разница что он может или не может считать 2 кб, если он 128 кб читает за тоже время.
...
Рейтинг: 0 / 0
09.09.2009, 14:50
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186445
Павел. С
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел. С
Гость
Журавлев ДенисПроведите тест на файлике 100мб (чтобы влез в кеш контроллера) и блоках 2кб. -- узнаете максимум пролезающий сквозь контроллер, шину pcie и iometer.

Провел. Все то же самое (8 потоков, рандомное чтение по 2КБ), только файл 40 МБ.

Код: plaintext
1.
Первый сервер (Win2003, 2 диска) - 57 000 IO/s
Второй сервер (Linux, 24 диска)  - 1 650  IO/s
Причем sar -d на втором сервер дает вот что:
Код: plaintext
1.
2.
02:50:26 PM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
02:50:28 PM dev105-96   2293.97   9175.88      0.00      4.00      1.11      0.49      0.44    100.55
...
Рейтинг: 0 / 0
09.09.2009, 14:51
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186467
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
1650 очень мало, что-то не так, или с линуком или с мерялкой

попробуйте для начала перейти на raw
http://oraclepitstop.wordpress.com/2008/02/15/raw-devices-on-rhel-5-or-oel-5/
...
Рейтинг: 0 / 0
09.09.2009, 14:57
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186547
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
onstat-
Участник
AndronМне наш админ AIX сказал что блоками :)


Попробуйте сравнить
чтение из /dev/lv_name ( блочное)
и из /dev/ r lv_name ( символьное)

разница даст повод задуматься и Вам и админу.


2 Павел. С

Под линухом Вы какое устройство тестирует блочное или символьное ?
...
Рейтинг: 0 / 0
09.09.2009, 15:19
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186573
Павел. С
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел. С
Гость
onstat-

2 Павел. С

Под линухом Вы какое устройство тестирует блочное или символьное ?

Блочное.
...
Рейтинг: 0 / 0
09.09.2009, 15:26
| Ответить | Цитировать | Написать  
Плохая производительность дисковой подсистемы на сервере под Informix.
    #36186589
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
onstat-
Участник
Журавлев Денис

попробуйте для начала перейти на raw
http://oraclepitstop.wordpress.com/2008/02/15/raw-devices-on-rhel-5-or-oel-5/


Вот еще один интересный способ через udev.
...
Рейтинг: 0 / 0
09.09.2009, 15:31
| Ответить | Цитировать | Написать  
25 сообщений из 90, страница 1 из 4
  1  все
Форумы / Informix [игнор отключен] [закрыт для гостей] / Плохая производительность дисковой подсистемы на сервере под Informix.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=44&msg=36186399&tid=1607730]:
 0ms
get settings:
 11ms
get forum list:
 16ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 58ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 66ms
get tp. blocked users:
 1ms
others: 326ms
total:  497ms
созд. / загр.: 497ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]