powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Informix [игнор отключен] [закрыт для гостей] / Настройки Informix'a под дисковый массив
25 сообщений из 30, страница 1 из 2
Настройки Informix'a под дисковый массив
    #32631202
NB
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NB
Гость
Добрый день, Informix гуру.

Есть ли среди вас кто-нибудь, кто настраивал Informix специально под
дисковый массив?

HPUX 11.11, IDS 9.21.HC4, дисковый массив Hitachi 9960

Проблема в том, что когда на соседнем сервере раскручивается большой
архив, в Informix'e checkpoint'ы сильно увеличиваются и прикладное ПО
начинает тормозить (что недопустимо).

Текущий onconfig приложу, если надо...
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32632703
shurale
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
NB...
Проблема в том, что когда на соседнем сервере раскручивается большой
архив, в Informix'e checkpoint'ы сильно увеличиваются и прикладное ПО
начинает тормозить (что недопустимо).


То есть узкое место - запись информации на диск? Вы проверяли производительность средствами операционной системы (iostat? Или в HPUX она иначе называется?) и утилит, прилагавшихся к дисковому массиву?

AFAIR, как раз для таких ситуаций. а точнее их предотвращения, в Infoxmix 9.x сделан fuzzy checkpoint. Он у вас включён?

Ещё для сокращения времени, потребного на контрольную точку, можно уменьшить параметры LRU_MAX_DIRTY и LRU_MIN_DIRTY (больше информации пишется через очереди LRU, что можно посмотреть командой onstat -F) и интервал между контрольными точками (сокращается объём информации, сбрасываемой на диск)
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32632982
NB
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NB
Гость
LRU_MAX(MIN)_DIRTY уменьшать некуда.
CKPTINTVL 3 минуты - стоит ли делать меньше?

onconfig:

CKPTINTVL 180

LRU_MAX_DIRTY 1
LRU_MIN_DIRTY 0


online2000.log:
...
17:27:56 Checkpoint loguniq 220860, logpos 0xbd250

17:31:07 Fuzzy Checkpoint Completed: duration was 8 seconds, 1189 buffers not flushed.
17:31:07 Checkpoint loguniq 220860, logpos 0x6fc724

17:34:13 Fuzzy Checkpoint Completed: duration was 5 seconds, 1201 buffers not flushed.
17:34:13 Checkpoint loguniq 220861, logpos 0x5307d4

17:37:24 Fuzzy Checkpoint Completed: duration was 10 seconds, 1180 buffers not flushed.
17:37:24 Checkpoint loguniq 220862, logpos 0x40178c

17:40:32 Fuzzy Checkpoint Completed: duration was 6 seconds, 1437 buffers not flushed.
17:40:32 Checkpoint loguniq 220863, logpos 0x2a7728

17:43:41 Fuzzy Checkpoint Completed: duration was 7 seconds, 1175 buffers not flushed.
17:43:41 Checkpoint loguniq 220864, logpos 0x16b6cc
...
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32633091
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
NBДобрый день, Informix гуру.

Есть ли среди вас кто-нибудь, кто настраивал Informix специально под
дисковый массив?

HPUX 11.11, IDS 9.21.HC4, дисковый массив Hitachi 9960

Проблема в том, что когда на соседнем сервере раскручивается большой
архив, в Informix'e checkpoint'ы сильно увеличиваются и прикладное ПО
начинает тормозить (что недопустимо).

Текущий onconfig приложу, если надо...
Я сомневаюсь что в информиксе есть что покрутить, в твоем случае.
Опиши дисковую систему я не работал с Hitachi 9960 и мне не понятно, одни и теже диски используются несколькими хостами?
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32634146
Vybegallo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Where is the bottleneck ? is it CPU or disk ? I'd like to see iostat, vmstat outputs
onstat -g ioq ( check for queue length)
onstat -F (what write type is prevailing: Fg Writes, LRU Writes or Chunk Writes
onstat -R (% of dirty LRUs)
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32634529
NB
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NB
Гость
Журавлев Денис
... одни и теже диски используются несколькими хостами?

Да, насколько я знаю, используются одни и те же диски. На этом массиве
работают несколько систем под Oracle, две под Informix'om и куча другого.
Интересно, что никто не заметил никаких проблем, кроме моего ПО.
Вывод был сделан - Informix настроен не оптимально. Вот думаю, чего бы
оптимизировать...
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32634594
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
NBВывод был сделан - Informix настроен не оптимально.
Он был настроен оптимально для нормальных условий. Если ты настроишь его для оптимальной работы в анормальных условиях, он станет работать неоптимально в нормальных услових. Т.е. ты добьешься коротких чекпоинтов, но средняя производительность упадят.

PS: Я в своих системах диски под пространства субд отдаю эксклюзивно. Это очень нелегко, но думаю оно того стоит.
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32634689
NB
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NB
Гость
VybegalloWhere is the bottleneck ? is it CPU or disk ? I'd like to see iostat, vmstat outputs
onstat -g ioq ( check for queue length)
onstat -F (what write type is prevailing: Fg Writes, LRU Writes or Chunk Writes
onstat -R (% of dirty LRUs)
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32634732
NB
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NB
Гость
Журавлев Денис

PS: Я в своих системах диски под пространства субд отдаю эксклюзивно. Это очень нелегко, но думаю оно того стоит.

Эксклюзивно не получается :(( Массив крутой, но один на всех. Оперировать можно только логическими понятиями о дисках. Физически данные по дискам он распределяет сам.

А на счет оптимальной работы в анормальных условиях ты, пожалуй, прав.
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32634832
Фотография Daugava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
onconfig бы не помешал, кроме того сколько процессоров в сервере? Может они просто не справляются с количеством очередей и очистителей? Чанков вроде не много, я бы уменшил CLEANERS-ов до количества чанков.

Кроме того, в древние седые времена были проблемы с некоторыми magic числами LRUS (64,96, туда же молва приписывала и 32,128), с тех пор максимальный LRUS обычно ставят 127.
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32634866
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
NB[quot Журавлев Денис]

PS: Я в своих системах диски под пространства субд отдаю эксклюзивно. Это очень нелегко, но думаю оно того стоит.

Эксклюзивно не получается :(( Массив крутой, но один на всех. Оперировать можно только логическими понятиями о дисках. Физически данные по дискам он распределяет сам.
NB
Ну это не правда. В массив толкаешь новые диски, говоришь это новый раид (0+1 или 5 кому что нравится), получаешь новое логическое устройство и используешь его эксклюзивно.

[quot NB]
А на счет оптимальной работы в анормальных условиях ты, пожалуй, прав. Конечно прав. В крутую гору на 5-й передаче не заехать.
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32634973
NB
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NB
Гость
Daugavaonconfig бы не помешал, кроме того сколько процессоров в сервере? Может они просто не справляются с количеством очередей и очистителей? Чанков вроде не много, я бы уменшил CLEANERS-ов до количества чанков.

Кроме того, в древние седые времена были проблемы с некоторыми magic числами LRUS (64,96, туда же молва приписывала и 32,128), с тех пор максимальный LRUS обычно ставят 127.

onconfig прилагаю.

Процессора 4. Чанков сейчас 24, LRUS & CLEANERS по 128. Стоит поставить 127 ?!

NUMAIOVPS 20. Этого достаточно?

Зачем люди используют KAIO? Есть ли выигрыш в скорости?
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32635053
Фотография Daugava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
KAIO выигрыш дает и еще какой. Хотел его предложить сразу, но у меня нет опыта общения с устройствами типа Hitachi.
Для включения KAIO нужны "сырые устройства" (raw chunks). Если HP-UX сможет использовать Hitachi в таком виде, то выигрыш именно на чекпоинте может быть очень весом (попадались рассказы про уменьшение времени чекпоинта на порядки!).

По поводу onconfig-a, стоит установить RESIDENT 1 (если за память сервер ни с кем не дерется).

Можно уменьшить количество CLEANERS-ов до количество чанков, скорее всего большая их часть все равно простаивает.

LRUS - 127, врядли что-то изменит, но так как бы принято :-).

NUMAIOVPS 20 думаю достаточно, может даже и слишком. Я давно сижу на KAIO
и не хочу вводить в заблуждение на эту тему.
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32635451
vybegallo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Bottleneck is disk IO - see maxlen in onstat -g ioq. Try to split phisical disks between archive and informix using Hitachi tools. And yes, KAIO is (sometimes) much better then AIO.

P.S. onstat output has to be taken at the time you see the problem.
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32638746
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрый день, Informix гуру.

Есть ли среди вас кто-нибудь, кто настраивал Informix специально под
дисковый массив?


Добрый.

По моему нужно делать совсем наоборот - дисковый массив настраивать под базу данных.



HPUX 11.11, IDS 9.21.HC4, дисковый массив Hitachi 9960

Проблема в том, что когда на соседнем сервере раскручивается большой
архив, в Informix'e checkpoint'ы сильно увеличиваются и прикладное ПО
начинает тормозить (что недопустимо).

Текущий onconfig приложу, если надо...


Конкретно с Hitachi 9960 работать не приходилось, но отзывы слышал
и не плохие.

Теперь по существу настройки:
У массива есть определенные характеристики скорости обмена
за период времени. Как правило это значение максимально при
максимальном значении блока(stripe) хранения или как он там называется в массиве. И какой у Вас размер блока ? 128К или больше?
Во всяком случае так рекомендуют вендоры (казлы).
(Устал уже им доказывать, что это вредно для
многопользовательской базы данных или чистого OLTP приложения)

При индексном поиске informix читает с диска блоками равными размеру страницы (4к в вашем случае) за одну дисковую операцию.
То есть если размер блока массива 128 К, а по индексу вы вычитываете 4К.
То 124К на каждой дисковой операции вы вычитываете наперед(ahead) в кеш массива. Прикиньте какова вероятность попадания следующей страницы по
индеку в эти 124К?
Через некоторое время наступит момент когда эта страница, найденная по индексу, или еще хуже часть индекса, будет вытеснена из кеша контроллера
вместе с так и не исползованными 124К. И контролеру ее придется перечитывать ее с диска опять. И чем больше у вас размер блока тем быстрее наступит этот момент и тем ниже эффективность использования кеша контроллера.
Учтите, что запись в массив производится тоже блоками, то есть
меняя одну страницу(4к) контроллер переписывает 128К на диске,
а если это RAID5 то для этих 128К нужно пересчитать и переписать контрольные значения.

Резюме:
1. При создании томов массива нужно смотреть на приложение
и оценивать как обьем данных так и количество дисковых операций
необходимых для их извлечения. Исходя из этого выделять размер блока для базы. Размер блока для тома должен соответсвовать порции данных
считываемой приложением за одну операцию ввода вывода.

2. Каждое приложение должно иметь свой том на дисковом массиве
а может и не один. Респект Денису Журавлеву.
Например: под индексы с малым блоком, под блобы с большим. У меня, в частности, есть таблицы, фрагментированные по 20 томам.


3.Для полных сканирований таблиц можно иметь большие блоки.

4. На практике(как правило) производительность (объем/кол.операций) для нескольких малых томов выше, чем для одного большого, засчет
распаралеливания очередей ввода/ввывода и многопоточности RISK
процессора на контролере.


С уважением, onstat-

p.s. Приветствуются дополнения и конструктивная критика.
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32638929
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
onstat-1. При создании томов массива нужно смотреть на приложение
и оценивать как обьем данных так и количество дисковых операций
необходимых для их извлечения. Исходя из этого выделять размер блока для базы. Размер блока для тома должен соответсвовать порции данных
считываемой приложением за одну операцию ввода вывода.

IMHO: Тут главное не перестараться, и не поставить слишком маленький. Страйп то у раида настраиваемый, но тут уже обсуждали что диск тоже оперирует блоками которые читает в свой кэш. Т.е. заставлять диск считать 100 байт бесмысленно, он все равно в свой кэш закинет ~кб(?).

-----------------------------------------------------------
Хочу есть. myinformix
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32638932
Фотография Daugava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
onstat -
В целом правильно написано. Но на счет
"При индексном поиске informix читает с диска блоками равными размеру страницы (4к в вашем случае) за одну дисковую операцию."
можно возразить. Даже при настроенном по умолчанию RA (Read Ahead), это далеко не так. Впрочем, перед этим говорилось про OLTP, в котором RA не играет большой роли.
Впрочем, у меня система близкая к чистому OLTP, и при этом страницы, прочтенные наперед, составляют примерно 80% от общего объема дискового чтения.
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32638946
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кстати у товарища проблема с записью во время чекпоинта, и надо разбираться что он пишет и куда, при фаззи чекпоинте - это наверняка индексные страницы.

-----------------------------------------------------------
Хочу есть. myinformix
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32638962
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Журавлев Денис

IMHO: Тут главное не перестараться, и не поставить слишком маленький. Страйп то у раида настраиваемый, но тут уже обсуждали что диск тоже оперирует блоками которые читает в свой кэш. Т.е. заставлять диск считать 100 байт бесмысленно, он все равно в свой кэш закинет ~кб(?).


Понятное дело ко всему нужно подходить взвешенно.
А перестараться тяжело, информикс читает кратно размеру
страницы то есть 2к или 4 к
за дисковую операцию. И никогда меньше.

С уважением onstat-
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32638987
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Daugavaonstat -
можно возразить. Даже при настроенном по умолчанию RA (Read Ahead), это далеко не так. Впрочем, перед этим говорилось про OLTP, в котором RA не играет большой роли.
Впрочем, у меня система близкая к чистому OLTP, и при этом страницы, прочтенные наперед, составляют примерно 80% от общего объема дискового чтения.

При индекстом поиске параметр влияет на упреждающее чтение
только индексного дерева.


RA_PAGES specifies the number of disk pages to attempt to read ahead
during sequential scans of data or index records. Read-ahead can greatly
speed up database processing by compensating for the slowness of I/O
processing relative to the speed of CPU processing.


При полном сканировании согласен, но это не наш случай.

С уважением, onstat-
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32639009
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Журавлев ДенисКстати у товарища проблема с записью во время чекпоинта, и надо разбираться что он пишет и куда, при фаззи чекпоинте - это наверняка индексные страницы.

-----------------------------------------------------------
Хочу есть. myinformix

Думаю onstat -P поможет товарищу.
Если бы база лежала на только своих томах, былобы проще.
Ищем самых грязных, по партнуму вычисляем объект,
выносим на самый ненагруженный том.
OFF: Сколько денег на покупке нового обрудования съэкономить можно?

с уважением, onstat-

P.S. I'm hungry too.
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32639019
Фотография Daugava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Человек же не говорил, что у него OLTP ;-) Хотя по недовольству юзеров 10 секундными чекпоинтами это можно было предположить.

Как оказалось, я брякнул не подумав, в данные onstat-p у меня попало несколько регламентных ночных операций. Сейчас проверил еще раз, за 20 минут нормального дневного OLTP, ни одного RA_ чтения не было.

Кроме того, я видимо не правильно истолковал фразу "idx-RA is the count of read-aheads that traverse index leaves."
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32639071
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BUFFERS 393216 # Maximum number of shared buffers
LRU_MAX_DIRTY 1 # LRU percent dirty begin cleaning limit
LRU_MIN_DIRTY 0

Получается что его система 10 секунд пишет 8 мб на массив (интересно у него есть кэш? а отложенная запись включена?), но это случается только когда массив занят, я бы просто поставил CKPTINTVL 9999 и не парился, ну и постарался перейти на KAIO и raw.

-----------------------------------------------------------
Хочу есть. myinformix
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32639232
Nikolay Kulikov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Эх жаль что сюда не влезает больше 70kb. Я бы хорошую презентацию по оптимизации информикс закинул. Кому надо пишите Nikolay_Kulikov@ru.ibm.com
...
Рейтинг: 0 / 0
Настройки Informix'a под дисковый массив
    #32640772
NB
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NB
Гость
Спасибо большое всем за советы!

onstat-
Думаю onstat -P поможет товарищу.
Если бы база лежала на только своих томах, былобы проще.
Ищем самых грязных, по партнуму вычисляем объект,
выносим на самый ненагруженный том.


onstat -P помог выявить самые используемые таблицы. Что значит "выносим на самый ненагруженный том"? Значит ли это, что их стоит разнести в отдельные dbspases?

У нас сейчас по четырем разным dbspace'ам разнесены самая огромная таблица, ее индексы, остальные таблицы и остальные индексы. Raw devices под все чанки, а также прикладное ПО и все логи (довольно большие файлы, которые оно пишет) находятся на одной Volume Groupe, отведенной нашей системе.

Если я правильно понимаю, что том это Volume Groupe, наверное нам стоит разнести наши dbspace'ы по разным VG? Unix Admin, который заведует массивом, говорит, что в этом нет смысла...
...
Рейтинг: 0 / 0
25 сообщений из 30, страница 1 из 2
Форумы / Informix [игнор отключен] [закрыт для гостей] / Настройки Informix'a под дисковый массив
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]