Плохая производительность дисковой подсистемы на сервере под Informix. / Informix

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Informix [игнор отключен] [закрыт для гостей] / Плохая производительность дисковой подсистемы на сервере под Informix.

15 сообщений из 90, страница 4 из 4

все

Плохая производительность дисковой подсистемы на сервере под Informix.

#36195023

Павел. С

Гость

onstat-
Давайте попросим Павел. С
средствами ОС равномерно размазать тестируемый файл на 12хRAID 1.
И повторить тест ( особенно на запись) и сравним.

Сделал тест iozone.
Тот же контроллер и те же 24 физ. диска к нему. Собраны 12 RAID 1 по 2 физ. диска в каждом против 1го RAID10 из 24 дисков в предыдущем тесте.

ОС видит 12 томов. На каждом томе создана FS ext3. IOzone работает в 48 потоков (проитив 50 в предыдущем тесте) по 4 потока на каждый том. На каждом томе, соответственно, по 4 файла размером в 300 MB. Суммарный объем данных почти 15 Gb, что много больше объема кеша контроллера. IOzone также работает с O_DIRECT. Не знаю, как еще лучше "размазать" данные.

по sar -d видно, что все 12 дисков ОС нагружены одинаково во время теста.

Результат
1xRAID 10 (12xRAID 1):

Код: plaintext

1.
2.
3.
4.
5.
6.

Children see throughput for 50 initial writers  =   19164.90 (19712.11) ops/sec     +2.9%

Children see throughput for 50 rewriters        =   21841.12 (22410.58) ops/sec     +2.5%

Children see throughput for 50 random readers   =    9402.66 (9483.41)  ops/sec     +0.9%

Children see throughput for 50 random writers   =    7945.90 (7788.19)  ops/sec     -2.0%

Отличия совсем несущественные.
Получается, что и ОС и контроллер достаточно умны, чтобы при надлежащей нагрузке оптимально использовать все доступные диски?

...

Рейтинг:

0 / 0

14.09.2009, 18:38

| Ответить | Цитировать | Написать

Плохая производительность дисковой подсистемы на сервере под Informix.

#36195118

onstat-

Участник

Сообщения: 8 199

Рейтинг: 0 / 0

Павел. Сonstat-
Давайте попросим Павел. С
средствами ОС равномерно размазать тестируемый файл на 12хRAID 1.
И повторить тест ( особенно на запись) и сравним.

Сделал тест iozone.
Тот же контроллер и те же 24 физ. диска к нему. Собраны 12 RAID 1 по 2 физ. диска в каждом против 1го RAID10 из 24 дисков в предыдущем тесте.

ОС видит 12 томов. На каждом томе создана FS ext3. IOzone работает в 48 потоков (проитив 50 в предыдущем тесте) по 4 потока на каждый том. На каждом томе, соответственно, по 4 файла размером в 300 MB. Суммарный объем данных почти 15 Gb, что много больше объема кеша контроллера. IOzone также работает с O_DIRECT. Не знаю, как еще лучше "размазать" данные.

по sar -d видно, что все 12 дисков ОС нагружены одинаково во время теста.

Результат
1xRAID 10 (12xRAID 1):

Код: plaintext

1.
2.
3.
4.
5.
6.

Children see throughput for 50 initial writers  =   19164.90 (19712.11) ops/sec     +2.9%

Children see throughput for 50 rewriters        =   21841.12 (22410.58) ops/sec     +2.5%

Children see throughput for 50 random readers   =    9402.66 (9483.41)  ops/sec     +0.9%

Children see throughput for 50 random writers   =    7945.90 (7788.19)  ops/sec     -2.0%

Отличия совсем несущественные.
Получается, что и ОС и контроллер достаточно умны, чтобы при надлежащей нагрузке оптимально использовать все доступные диски?

Попробуйте не по 4 , а по 10, 15, 20 на каждый том ?
кто быстрее заткнется 12ХRAID или 1ХRAID10 на суммарном количестве потоков ?

Не знаю как там у izone c асинхронным вводом выводом.

Прошу учесть что

Журавлев Денискол-во потоков в асинхронном режиме не принципиально. Т.е. мы контроллеру кидаем команды читай, читай, читай, читай, читай, пиши, читай, читай, читай, контроллер асинхронно отвечает готово пользуйся, готово пользуйся,готово пользуйся,готово пользуйся,

Informix умеет пользоваться вводом выводом напрямую в режиме асинхронного ВВ.
А умеет ли izone ?
Каждые его процесс может ждать завершение предыдущей команды
прежде чем послать следующую , я просто не в курсе.
Некогда сейчас по инету искать.

...

Рейтинг:

0 / 0

14.09.2009, 19:42

| Ответить | Цитировать | Написать

Плохая производительность дисковой подсистемы на сервере под Informix.

#36195127

Павел. С

Гость

onstat-Попробуйте не по 4 , а по 10, 15, 20 на каждый том ?

Завтра утром выложу результаты.

...

Рейтинг:

0 / 0

14.09.2009, 19:50

| Ответить | Цитировать | Написать

Плохая производительность дисковой подсистемы на сервере под Informix.

#36195883

Павел. С

Гость

onstat-Попробуйте не по 4 , а по 10, 15, 20 на каждый том ?

Вот результаты для 12xRAID1 и 1xRAID10. Всё тот же контроллер. Все те же 24 физ. диска.
Для RAID 1 создано по 20 файлов на каждом из 12ти томов ОС размером в 300 МB.
Для RAID 10 создано 240 файлов на единственном томе ОС размером в 300 МB.
Тест в 240 потоков. Общий объем файлов 70 GB.

1xRAID 10 (12xRAID 1):

Код: plaintext

1.
2.
3.
4.
5.
6.

Children see throughput for 50 initial writers  =   19045.00 (19227.69) ops/sec 100% (101%)

Children see throughput for 50 rewriters        =   22090.91 (21838.07) ops/sec 100% (99%)

Children see throughput for 50 random readers   =   10891.76 (13194.98) ops/sec 100% (121%)

Children see throughput for 50 random writers   =    7277.56 (7432.71)  ops/sec 100% (102%)

Видно, что на случайном чтении 12xRAID 1 выигрывает у 10ки.

Вот теперь задумался, на чем поднимать БД?
С одной стороны, у 12 RAID1 скорость на последнем тесте больше чем у RAID10.
С другой стороны, такую нагрузку как в бенчмарке (240 потоков, причем весь необходимый IO распределен равномерно между ними) Informix не создаст для моей системы. Да и работать с 10кой проще.
Как считаете?
речь идет о разбивке дисков для данных, индексов и физ. журнала. Логический журнал и временные пр-ва планирую вынести вообще на отдельный контроллер и диски.

Еще есть вариант сделать массив из 24х дисков в RAID10 и побить его на 12 томов. Тогда ОС будет видеть 12 дисков, но каждый из них физически будет размазан по 24 физ. дискам. Будет время - попробую тест сделать.

...

Рейтинг:

0 / 0

15.09.2009, 10:40

| Ответить | Цитировать | Написать

Плохая производительность дисковой подсистемы на сервере под Informix.

#36196336

Павел. С

Гость

Children see throughput for 50
из предыдущего надо читать как
Children see throughput for 240

...

Рейтинг:

0 / 0

15.09.2009, 12:33

| Ответить | Цитировать | Написать

Плохая производительность дисковой подсистемы на сервере под Informix.

#36196381

Daugava

Участник

Откуда: Riga-Kiev-Gurzuf

Сообщения: 718

Рейтинг: 0 / 0

Я в прошлом горячий сторонник разбиения и выжимания соков из железа. Сейчас считаю, что это все от лукавого. Не стоит овчинка выделки, сейчас возможности железа позволяют уделить больше внимания удобству и простоте администрирования, чем производительности.
При прошлом разбиении мне удалось создать систему, у которой хватило запаса мощности при возросших более, чем на порядок нагрузках, а сейчас благодаря кризису я имею на порядок более мощное железо, на фоне прекратившегося роста нагрузок.

...

Рейтинг:

0 / 0

15.09.2009, 12:43

| Ответить | Цитировать | Написать

Плохая производительность дисковой подсистемы на сервере под Informix.

#36197068

Павел. С

Гость

Сделал еще 1 тест. Нагрузка та же, 240 потоков, общий объем данных 70 GB.
ОС видит 12 томов. Это на уровне контроллера разбитый RAID10 из 24х физ дисков.

Вот результаты:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.

Children see throughput for 240 initial writers =   19272.91 ops/sec

Children see throughput for 240 rewriters       =   21759.77 ops/sec

Children see throughput for 240 random readers  =    8394.73 ops/sec

Children see throughput for 240 random writers  =    3680.71 ops/sec

Стало еще интересней. Кто-нибудь найдет логическое объяснение результата?

...

Рейтинг:

0 / 0

15.09.2009, 15:52

| Ответить | Цитировать | Написать

Плохая производительность дисковой подсистемы на сервере под Informix.

#36197142

Павел. С

Гость

DaugavaЯ в прошлом горячий сторонник разбиения и выжимания соков из железа. Сейчас считаю, что это все от лукавого. Не стоит овчинка выделки, сейчас возможности железа позволяют уделить больше внимания удобству и простоте администрирования, чем производительности.
При прошлом разбиении мне удалось создать систему, у которой хватило запаса мощности при возросших более, чем на порядок нагрузках, а сейчас благодаря кризису я имею на порядок более мощное железо, на фоне прекратившегося роста нагрузок.
Согласен.
Но все-таки хочется, чтобы железо не стало узким местом в системе. От того как я сейчас разобью диски удобство администрирования не изменится.
Вот яркий пример. Выше результаты для бенчмарка
12ти RAID1 по 2 физ. диска
и
12 томов из RAID10 собранного из 24х физ. дисков.
ОС видит всегда 12 томов. Объем одинаковый. Значит сложность администрирования от разбивки не зависит.
А производительность отличается в 2 раза (правда не на реальной работе, а в бенчмарке):

Код: plaintext

12 томов, каждый том - отдельный RAID 1 из 2х физ.дисков (random r/w ops/sec) 13194 / 7432
12 томов, каждый том - кусок от RAID10 из 24х дисков     (random r/w ops/sec)  8394 / 3680

Итого вопросов только прибавилось.
Как теперь разбивать диски и распределять по ним данные - не понимаю.

Может сделать 12 RAID1 и большие таблицы разбить (partitioning)на части и раскидать по разным дискам?

Вобщем надо топик подытоживать, и закрывать, т.к. уже сильно отошел от темы.

...

Рейтинг:

0 / 0

15.09.2009, 16:11

| Ответить | Цитировать | Написать

Плохая производительность дисковой подсистемы на сервере под Informix.

#36197607

vasilis

Участник

Откуда: Украина, Киев

Сообщения: 2 212

Рейтинг: 0 / 0

...

Рейтинг:

0 / 0

15.09.2009, 18:44

| Ответить | Цитировать | Написать

Плохая производительность дисковой подсистемы на сервере под Informix.

#36197758

onstat-

Участник

Сообщения: 8 199

Рейтинг: 0 / 0

Павел. ССделал еще 1 тест. Нагрузка та же, 240 потоков, общий объем данных 70 GB.
ОС видит 12 томов. Это на уровне контроллера разбитый RAID10 из 24х физ дисков.

А как резали тома LVM-ом или контроллером ?

Подозреваю что LVM-ом.

Если LVM-ом попробуйте порезать контроллером , если он дает такую возможность .

При нарезке контроллером я нигде не замечал просадки производительности в 2 раза.

У меня даже растет производительность правда на FC и там 2 контроллера.
На PCI SCSI ( не FC ) , я не пробовал.

...

Рейтинг:

0 / 0

15.09.2009, 20:11

| Ответить | Цитировать | Написать

Плохая производительность дисковой подсистемы на сервере под Informix.

#36197774

onstat-

Участник

Сообщения: 8 199

Рейтинг: 0 / 0

Вечер , похоже устал, не заметил , что резалось контроллером, вопрос снимается.

...

Рейтинг:

0 / 0

15.09.2009, 20:18

| Ответить | Цитировать | Написать

Плохая производительность дисковой подсистемы на сервере под Informix.

#36197955

Павел. С

Гость

vasilis
Полностью согласен.
Тем не менее, хочется ведь где то проявить свои знания и мастерство и получить удовольствие, даже если результат и будет не выше 2% :)
А знания получить хочется )

...

Рейтинг:

0 / 0

15.09.2009, 23:42

| Ответить | Цитировать | Написать

Плохая производительность дисковой подсистемы на сервере под Informix.

#36198678

onstat-

Участник

Сообщения: 8 199

Рейтинг: 0 / 0

Павел. Сvasilis
Полностью согласен.
Тем не менее, хочется ведь где то проявить свои знания и мастерство и получить удовольствие, даже если результат и будет не выше 2% :)
А знания получить хочется )

Контроллер контроллеру рознь, в любом случае нужно тестировать.
По этому топику я понял, что полностью полагаться на предыдущий опыт работы с другими контроллерами не стоит.

...

Рейтинг:

0 / 0

16.09.2009, 11:56

| Ответить | Цитировать | Написать

Плохая производительность дисковой подсистемы на сервере под Informix.

#36204566

a_shats

Участник

Откуда: Москва

Сообщения: 807

Рейтинг: 0 / 0

onstat-,

Я уж изнамекался на этот счет :)

Павел. С
Резюме: готовы рулить нагрузками вручную, считаете, что лучше решите задачу, чем инженеры -разработчики контроллеров - флаг в руки :) Не готовы - используйте готовые решения, и решайте проблемы производительности числом винтов, а не ручной оптимизацией расположения файлов БД.

...

Рейтинг:

0 / 0

18.09.2009, 15:55

| Ответить | Цитировать | Написать

Плохая производительность дисковой подсистемы на сервере под Informix.

#36212718

cpr

Гость

мое имхо такое:
Париться надо начинать если в конкретной системе есть конкретная проблема и консилиум установил что узкое место дисковая подсистема - никак не раньше.
Для синтетических тестов можно немало времени потерять на подъем производительности на 20%, а на конкретной БД попасть глубокую задницу на каком то специфичном запросе.

...

Рейтинг:

0 / 0

23.09.2009, 14:56

| Ответить | Цитировать | Написать

15 сообщений из 90, страница 4 из 4

все

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=44&msg=36197607&tid=1607730]:	0ms
get settings:	9ms
get forum list:	14ms
check forum access:	4ms
check topic access:	4ms
track hit:	69ms
get topic data:	11ms
get forum data:	3ms
get page messages:	50ms
get tp. blocked users:	1ms
others:	14ms

total:	179ms