Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Нагрузочный тест дисковой системы / 25 сообщений из 48, страница 1 из 2
26.11.2009, 12:50
    #36333273
receiver
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
Я администратор Oracle. Имею подозрения, что низкая производительность базы данных связана с низкой производительностью на запись дисковой стойки.
Время выполнения копирования 4Гб файла на этой стойке больше, чем на другой, подобной.
2,5 минуты против 1,5. Но наверняка есть какие-то тестовые программы, которые дают четкий ответ о производительности дисков.

Где взять?!
...
Рейтинг: 0 / 0
26.11.2009, 13:51
    #36333552
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
receiver,

iometer, iozone, bonnie++

покажите sar -d 2 10
и select * from AUX_STATS$;
...
Рейтинг: 0 / 0
26.11.2009, 13:53
    #36333555
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
receiver
Время выполнения копирования 4Гб файла на этой стойке больше, чем на другой, подобной.
оракле кстати файлы не копирует. Ему random read нужен.
...
Рейтинг: 0 / 0
26.11.2009, 14:10
    #36333627
Adekamer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
hdparm -t
...
Рейтинг: 0 / 0
26.11.2009, 14:20
    #36333678
Dkfl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
...
Рейтинг: 0 / 0
26.11.2009, 14:50
    #36333797
expimp
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
Денис, запрос вот

SQL> select * from AUX_STATS$;

SNAME PNAME PVAL1 PVAL2
------------------------------ ------------------------------ ---------- -----------------
SYSSTATS_INFO STATUS COMPLETED
SYSSTATS_INFO DSTART 12-25-2007 18:57
SYSSTATS_INFO DSTOP 12-25-2007 18:57
SYSSTATS_INFO FLAGS 1
SYSSTATS_MAIN CPUSPEEDNW 779.906
SYSSTATS_MAIN IOSEEKTIM 5.491
SYSSTATS_MAIN IOTFRSPEED 3019.889
SYSSTATS_MAIN SREADTIM
SYSSTATS_MAIN MREADTIM
SYSSTATS_MAIN CPUSPEED
SYSSTATS_MAIN MBRC
SYSSTATS_MAIN MAXTHR
SYSSTATS_MAIN SLAVETHR


А с программами iometer, iozone, hdparam, bonie+ и т.д. где искать? Пути к ним не установлены.
Даже в sar я не вижу исполняемых файлов

bash-3.00$ ls -l /var/adm/sa/
total 30
-rw-r--r-- 1 root root 14184 Jul 11 2007 sa11
-rw-r--r-- 1 root root 101 Jul 11 2007 sar11

Дистрибутивов нет, да и устанавливать я не умею.


> оракле кстати файлы не копирует. Ему random read нужен.
Не совсем понимаю. Я вижу в событиях ожидания среднее время записи > 1000 ms.
Кажется, это больше, чем много.
Ищу, почему.
...
Рейтинг: 0 / 0
26.11.2009, 16:22
    #36334039
kvasandrew
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
iostat -xznM
...
Рейтинг: 0 / 0
26.11.2009, 18:30
    #36334339
expimp
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
Оператор insert into test.test (select * from test.coep_test where rownum < 200000);
отрабатывал полторы минуты и за это время iostat -xnzM 5 30 записал такие значения (см. файл)

Кто-нибудь скажет, что здесь "много"?
...
Рейтинг: 0 / 0
26.11.2009, 18:56
    #36334377
a_shats
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
receiver,

Сколько винтов в этой "дисковой стойке", как сконфигурены массивы ?
...
Рейтинг: 0 / 0
26.11.2009, 19:17
    #36334402
expimp
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
Вот такую строчку мне прислал ихний администратор

автор
Для остальных систем используется одна полка
Sun StorEdge 3510 FC Array Rack Ready, 12 * 146GB 10Krpm, 5 raid


От себя скажу, что система тестовая, совершенно не нагруженная в обычном режиме.

Но копирование данных одного завода в другой (в Oracle) занимает 6 суток против 10 часов
на других серверах. Причем у некоторых серверов данные на стойках, у других на внутренних дисках. И все равно время выполнения < 12 часов.
А эти висят и висят.

Я сделал тестовую табличку. Вставляю туда 20000 записей. Время ~ 2 минуты
На других серверах ~ 5 секунд.
...
Рейтинг: 0 / 0
27.11.2009, 11:17
    #36335195
a_shats
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
expimp,

Массив старенький (это DotHill SANnet II, модельке лет 5-6 уже, если не больше), особой производительностью на нагрузках типа последовательный доступ большими блоками он и впрямь не отличается.
Но у Вас-то задача - не копирование файлов, насколько я понимаю.
Погоняйте типовые для Вашей базы запросы (не один и тот же много раз подряд), и покажите iostat.
...
Рейтинг: 0 / 0
27.11.2009, 11:32
    #36335242
Нагрузочный тест дисковой системы
Вот это:receiverЯ администратор Oracle. крайне слабо вяжется со всем остальнымreceiverИмею подозрения, что низкая производительность базы данных связана с низкой производительностью на запись дисковой стойки.
Время выполнения копирования 4Гб файла на этой стойке больше, чем на другой, подобной.
2,5 минуты против 1,5. Но наверняка есть какие-то тестовые программы, которые дают четкий ответ о производительности дисков.

Где взять?!

Т.е. фраза звучит примерно как:

"Я водитель дальнобойщик, но имею подозрения, что в грузовике руль нужно крутить руками.
Пробую крутить - крутится очень туго, что я делаю не так?
Кстати, и не подскажите, где тут педаль газа, или как там ее зовут"

---

Все это очень печально, конечно. Кушать то "администратору" поди тоже хочется, это понятно.
...
Рейтинг: 0 / 0
27.11.2009, 15:24
    #36336004
expimp
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
Зачем так много писать? Прорабатываете книжку "Метод слепой десятипальцевой печати"?

Вопрос то простой был - какой программой можно получить удобочитаемые данные о производительности дисковой системы. И сравнить эти данные с парой других массивов.
...
Рейтинг: 0 / 0
27.11.2009, 16:18
    #36336154
a_shats
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
expimp,

Собрать данные - iostat
Протестировать производительность - iometer, iozone : но нужно правильно указать паттерн нагрузки.
...
Рейтинг: 0 / 0
27.11.2009, 16:48
    #36336224
Siemargl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
Салограмотные "оптимизаторы" - залог высокой оплаты консалтерам при последующем восстановлении данных
...
Рейтинг: 0 / 0
27.11.2009, 20:17
    #36336579
onstat-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
expimp

Но копирование данных одного завода в другой (в Oracle) занимает 6 суток против 10 часов
на других серверах. Причем у некоторых серверов данные на стойках, у других на внутренних дисках. И все равно время выполнения < 12 часов.
А эти висят и висят.




1. Вы про Oracle ASM не забыли нам сказать, или его там нет ?
2. В раиде все диски целые ?
3. Всегда так было или после каких то действий поплохело ? Каких ?
...
Рейтинг: 0 / 0
27.11.2009, 20:53
    #36336600
onstat-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
expimpОператор insert into test.test (select * from test.coep_test where rownum < 200000);
отрабатывал полторы минуты и за это время iostat -xnzM 5 30 записал такие значения (см. файл)

Кто-нибудь скажет, что здесь "много"?


Тут всего мало , кроме disk is busy :)

ИМХО похоже что проблема на хосте, а не на сторадже.
При проблемах на сторадже ожидания wsvc_t asvc_t должны быть больше.
...
Рейтинг: 0 / 0
27.11.2009, 21:14
    #36336607
Relic Hunter
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
receiver,

Текс...
можно посмотреть на обеих системах?

1. unix - /etc/vfstab - на предмет forcedirectio
2. oracle - filesystemio_options, db_file_multiblock_read_count

Thanx!!!
...
Рейтинг: 0 / 0
27.11.2009, 21:51
    #36336629
onstat-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
Relic Hunterreceiver,

Текс...
можно посмотреть на обеих системах?

1. unix - /etc/vfstab - на предмет forcedirectio
2. oracle - filesystemio_options, db_file_multiblock_read_count

Thanx!!!

+1

И еще ИМХО .
В статистике одноблочные рандомные записи, если блок базы 8 к.
Процессор дискового контроллера просто зашиватется на пересчете контрольных сумм страйпов, особенно если они длинные.
Изменяется только 8к, а пересчитать контрольную сумму нужно для всего длинного страйпа.
Подозреваю, что системы которые сравниваются могут иметь очень разный
размер страйпа в раидах, при слабом контроллере и маленьком кеше.

в поддержку предыдущей версии , что проблема на хосте:
Но насколько я понимаю время потраченное на
пересчет страйпов должно увеличить значения wsvc_t asvc_t.
Еще настораживает маленький wait ( длина очереди на ввод вывод) .
...
Рейтинг: 0 / 0
28.11.2009, 12:11
    #36336899
Нагрузочный тест дисковой системы
expimpЗачем так много писать? Прорабатываете книжку "Метод слепой десятипальцевой печати"?

Вопрос то простой был - какой программой можно получить удобочитаемые данные о производительности дисковой системы. И сравнить эти данные с парой других массивов.

Ну здравствуй, еще один "одминестратор".

Может быть ты нам расскажешь, каким это образом с помощью утилит тестирования синтетической пропускной
способности ты диагностируешь причину, почему это две одинаковые (подобные?) железки
дают разные такие себе результаты?

Еще раз, для тех, кому с первого раза туго доходит - факт проблемы уже якобы установлен,
вопрос - в чем причина?

Еще раз. Третий. В чем ПРИЧИНА низкой производительности?
...
Рейтинг: 0 / 0
28.11.2009, 14:20
    #36336947
nik_x
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
Взгляд со стороны,

> Еще раз. Третий. В чем ПРИЧИНА низкой производительности?

В чем? ПРИЧИНА. ... Нащальника:)
...
Рейтинг: 0 / 0
30.11.2009, 12:23
    #36338602
expimp
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
Нашел топик, один к одному с нашими проблемами.
Говорят, проблема была в отключеном кэше на стойке.
Еще раз задал вопрос нашим заказчикам, включен ли кэш у них.
Жду ответа.
...
Рейтинг: 0 / 0
30.11.2009, 12:43
    #36338663
expimp
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
Ответили, "Write-back cash на сторидже включен."

Кто подскажет, это все, чем можно управлять кэшем, или еще что-то может быть выключено?
...
Рейтинг: 0 / 0
30.11.2009, 13:28
    #36338806
onstat-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
expimpОтветили, "Write-back cash на сторидже включен."

Кто подскажет, это все, чем можно управлять кэшем, или еще что-то может быть выключено ?


IMHO глобально выключено кеширование на чтении RTFM
...
Рейтинг: 0 / 0
30.11.2009, 14:47
    #36339066
Мутаген
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нагрузочный тест дисковой системы
Покажите нам вывод команды egrep -v '^(\*|$)' /etc/system с сервера.

directio там включён. В соседнем топике был показан statspack, там в pfile было видно что filesystemio_options был выставлен как надо: в setall.
...
Рейтинг: 0 / 0
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Нагрузочный тест дисковой системы / 25 сообщений из 48, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]