Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
Добрый день, Informix гуру. Есть ли среди вас кто-нибудь, кто настраивал Informix специально под дисковый массив? HPUX 11.11, IDS 9.21.HC4, дисковый массив Hitachi 9960 Проблема в том, что когда на соседнем сервере раскручивается большой архив, в Informix'e checkpoint'ы сильно увеличиваются и прикладное ПО начинает тормозить (что недопустимо). Текущий onconfig приложу, если надо... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.08.2004, 12:32 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
NB... Проблема в том, что когда на соседнем сервере раскручивается большой архив, в Informix'e checkpoint'ы сильно увеличиваются и прикладное ПО начинает тормозить (что недопустимо). То есть узкое место - запись информации на диск? Вы проверяли производительность средствами операционной системы (iostat? Или в HPUX она иначе называется?) и утилит, прилагавшихся к дисковому массиву? AFAIR, как раз для таких ситуаций. а точнее их предотвращения, в Infoxmix 9.x сделан fuzzy checkpoint. Он у вас включён? Ещё для сокращения времени, потребного на контрольную точку, можно уменьшить параметры LRU_MAX_DIRTY и LRU_MIN_DIRTY (больше информации пишется через очереди LRU, что можно посмотреть командой onstat -F) и интервал между контрольными точками (сокращается объём информации, сбрасываемой на диск) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.08.2004, 11:16 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
LRU_MAX(MIN)_DIRTY уменьшать некуда. CKPTINTVL 3 минуты - стоит ли делать меньше? onconfig: CKPTINTVL 180 LRU_MAX_DIRTY 1 LRU_MIN_DIRTY 0 online2000.log: ... 17:27:56 Checkpoint loguniq 220860, logpos 0xbd250 17:31:07 Fuzzy Checkpoint Completed: duration was 8 seconds, 1189 buffers not flushed. 17:31:07 Checkpoint loguniq 220860, logpos 0x6fc724 17:34:13 Fuzzy Checkpoint Completed: duration was 5 seconds, 1201 buffers not flushed. 17:34:13 Checkpoint loguniq 220861, logpos 0x5307d4 17:37:24 Fuzzy Checkpoint Completed: duration was 10 seconds, 1180 buffers not flushed. 17:37:24 Checkpoint loguniq 220862, logpos 0x40178c 17:40:32 Fuzzy Checkpoint Completed: duration was 6 seconds, 1437 buffers not flushed. 17:40:32 Checkpoint loguniq 220863, logpos 0x2a7728 17:43:41 Fuzzy Checkpoint Completed: duration was 7 seconds, 1175 buffers not flushed. 17:43:41 Checkpoint loguniq 220864, logpos 0x16b6cc ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.08.2004, 12:31 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
NBДобрый день, Informix гуру. Есть ли среди вас кто-нибудь, кто настраивал Informix специально под дисковый массив? HPUX 11.11, IDS 9.21.HC4, дисковый массив Hitachi 9960 Проблема в том, что когда на соседнем сервере раскручивается большой архив, в Informix'e checkpoint'ы сильно увеличиваются и прикладное ПО начинает тормозить (что недопустимо). Текущий onconfig приложу, если надо... Я сомневаюсь что в информиксе есть что покрутить, в твоем случае. Опиши дисковую систему я не работал с Hitachi 9960 и мне не понятно, одни и теже диски используются несколькими хостами? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.08.2004, 12:56 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
Where is the bottleneck ? is it CPU or disk ? I'd like to see iostat, vmstat outputs onstat -g ioq ( check for queue length) onstat -F (what write type is prevailing: Fg Writes, LRU Writes or Chunk Writes onstat -R (% of dirty LRUs) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.08.2004, 23:19 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
Журавлев Денис ... одни и теже диски используются несколькими хостами? Да, насколько я знаю, используются одни и те же диски. На этом массиве работают несколько систем под Oracle, две под Informix'om и куча другого. Интересно, что никто не заметил никаких проблем, кроме моего ПО. Вывод был сделан - Informix настроен не оптимально. Вот думаю, чего бы оптимизировать... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2004, 10:58 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
NBВывод был сделан - Informix настроен не оптимально. Он был настроен оптимально для нормальных условий. Если ты настроишь его для оптимальной работы в анормальных условиях, он станет работать неоптимально в нормальных услових. Т.е. ты добьешься коротких чекпоинтов, но средняя производительность упадят. PS: Я в своих системах диски под пространства субд отдаю эксклюзивно. Это очень нелегко, но думаю оно того стоит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2004, 11:16 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
VybegalloWhere is the bottleneck ? is it CPU or disk ? I'd like to see iostat, vmstat outputs onstat -g ioq ( check for queue length) onstat -F (what write type is prevailing: Fg Writes, LRU Writes or Chunk Writes onstat -R (% of dirty LRUs) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2004, 11:49 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
Журавлев Денис PS: Я в своих системах диски под пространства субд отдаю эксклюзивно. Это очень нелегко, но думаю оно того стоит. Эксклюзивно не получается :(( Массив крутой, но один на всех. Оперировать можно только логическими понятиями о дисках. Физически данные по дискам он распределяет сам. А на счет оптимальной работы в анормальных условиях ты, пожалуй, прав. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2004, 12:04 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
onconfig бы не помешал, кроме того сколько процессоров в сервере? Может они просто не справляются с количеством очередей и очистителей? Чанков вроде не много, я бы уменшил CLEANERS-ов до количества чанков. Кроме того, в древние седые времена были проблемы с некоторыми magic числами LRUS (64,96, туда же молва приписывала и 32,128), с тех пор максимальный LRUS обычно ставят 127. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2004, 12:43 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
NB[quot Журавлев Денис] PS: Я в своих системах диски под пространства субд отдаю эксклюзивно. Это очень нелегко, но думаю оно того стоит. Эксклюзивно не получается :(( Массив крутой, но один на всех. Оперировать можно только логическими понятиями о дисках. Физически данные по дискам он распределяет сам. NB Ну это не правда. В массив толкаешь новые диски, говоришь это новый раид (0+1 или 5 кому что нравится), получаешь новое логическое устройство и используешь его эксклюзивно. [quot NB] А на счет оптимальной работы в анормальных условиях ты, пожалуй, прав. Конечно прав. В крутую гору на 5-й передаче не заехать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2004, 12:54 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
Daugavaonconfig бы не помешал, кроме того сколько процессоров в сервере? Может они просто не справляются с количеством очередей и очистителей? Чанков вроде не много, я бы уменшил CLEANERS-ов до количества чанков. Кроме того, в древние седые времена были проблемы с некоторыми magic числами LRUS (64,96, туда же молва приписывала и 32,128), с тех пор максимальный LRUS обычно ставят 127. onconfig прилагаю. Процессора 4. Чанков сейчас 24, LRUS & CLEANERS по 128. Стоит поставить 127 ?! NUMAIOVPS 20. Этого достаточно? Зачем люди используют KAIO? Есть ли выигрыш в скорости? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2004, 13:24 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
KAIO выигрыш дает и еще какой. Хотел его предложить сразу, но у меня нет опыта общения с устройствами типа Hitachi. Для включения KAIO нужны "сырые устройства" (raw chunks). Если HP-UX сможет использовать Hitachi в таком виде, то выигрыш именно на чекпоинте может быть очень весом (попадались рассказы про уменьшение времени чекпоинта на порядки!). По поводу onconfig-a, стоит установить RESIDENT 1 (если за память сервер ни с кем не дерется). Можно уменьшить количество CLEANERS-ов до количество чанков, скорее всего большая их часть все равно простаивает. LRUS - 127, врядли что-то изменит, но так как бы принято :-). NUMAIOVPS 20 думаю достаточно, может даже и слишком. Я давно сижу на KAIO и не хочу вводить в заблуждение на эту тему. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2004, 13:51 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
Bottleneck is disk IO - see maxlen in onstat -g ioq. Try to split phisical disks between archive and informix using Hitachi tools. And yes, KAIO is (sometimes) much better then AIO. P.S. onstat output has to be taken at the time you see the problem. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2004, 16:48 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
Добрый день, Informix гуру. Есть ли среди вас кто-нибудь, кто настраивал Informix специально под дисковый массив? Добрый. По моему нужно делать совсем наоборот - дисковый массив настраивать под базу данных. HPUX 11.11, IDS 9.21.HC4, дисковый массив Hitachi 9960 Проблема в том, что когда на соседнем сервере раскручивается большой архив, в Informix'e checkpoint'ы сильно увеличиваются и прикладное ПО начинает тормозить (что недопустимо). Текущий onconfig приложу, если надо... Конкретно с Hitachi 9960 работать не приходилось, но отзывы слышал и не плохие. Теперь по существу настройки: У массива есть определенные характеристики скорости обмена за период времени. Как правило это значение максимально при максимальном значении блока(stripe) хранения или как он там называется в массиве. И какой у Вас размер блока ? 128К или больше? Во всяком случае так рекомендуют вендоры (казлы). (Устал уже им доказывать, что это вредно для многопользовательской базы данных или чистого OLTP приложения) При индексном поиске informix читает с диска блоками равными размеру страницы (4к в вашем случае) за одну дисковую операцию. То есть если размер блока массива 128 К, а по индексу вы вычитываете 4К. То 124К на каждой дисковой операции вы вычитываете наперед(ahead) в кеш массива. Прикиньте какова вероятность попадания следующей страницы по индеку в эти 124К? Через некоторое время наступит момент когда эта страница, найденная по индексу, или еще хуже часть индекса, будет вытеснена из кеша контроллера вместе с так и не исползованными 124К. И контролеру ее придется перечитывать ее с диска опять. И чем больше у вас размер блока тем быстрее наступит этот момент и тем ниже эффективность использования кеша контроллера. Учтите, что запись в массив производится тоже блоками, то есть меняя одну страницу(4к) контроллер переписывает 128К на диске, а если это RAID5 то для этих 128К нужно пересчитать и переписать контрольные значения. Резюме: 1. При создании томов массива нужно смотреть на приложение и оценивать как обьем данных так и количество дисковых операций необходимых для их извлечения. Исходя из этого выделять размер блока для базы. Размер блока для тома должен соответсвовать порции данных считываемой приложением за одну операцию ввода вывода. 2. Каждое приложение должно иметь свой том на дисковом массиве а может и не один. Респект Денису Журавлеву. Например: под индексы с малым блоком, под блобы с большим. У меня, в частности, есть таблицы, фрагментированные по 20 томам. 3.Для полных сканирований таблиц можно иметь большие блоки. 4. На практике(как правило) производительность (объем/кол.операций) для нескольких малых томов выше, чем для одного большого, засчет распаралеливания очередей ввода/ввывода и многопоточности RISK процессора на контролере. С уважением, onstat- p.s. Приветствуются дополнения и конструктивная критика. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 14:25 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
onstat-1. При создании томов массива нужно смотреть на приложение и оценивать как обьем данных так и количество дисковых операций необходимых для их извлечения. Исходя из этого выделять размер блока для базы. Размер блока для тома должен соответсвовать порции данных считываемой приложением за одну операцию ввода вывода. IMHO: Тут главное не перестараться, и не поставить слишком маленький. Страйп то у раида настраиваемый, но тут уже обсуждали что диск тоже оперирует блоками которые читает в свой кэш. Т.е. заставлять диск считать 100 байт бесмысленно, он все равно в свой кэш закинет ~кб(?). ----------------------------------------------------------- Хочу есть. myinformix ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 15:41 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
onstat - В целом правильно написано. Но на счет "При индексном поиске informix читает с диска блоками равными размеру страницы (4к в вашем случае) за одну дисковую операцию." можно возразить. Даже при настроенном по умолчанию RA (Read Ahead), это далеко не так. Впрочем, перед этим говорилось про OLTP, в котором RA не играет большой роли. Впрочем, у меня система близкая к чистому OLTP, и при этом страницы, прочтенные наперед, составляют примерно 80% от общего объема дискового чтения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 15:42 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
Кстати у товарища проблема с записью во время чекпоинта, и надо разбираться что он пишет и куда, при фаззи чекпоинте - это наверняка индексные страницы. ----------------------------------------------------------- Хочу есть. myinformix ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 15:48 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
Журавлев Денис IMHO: Тут главное не перестараться, и не поставить слишком маленький. Страйп то у раида настраиваемый, но тут уже обсуждали что диск тоже оперирует блоками которые читает в свой кэш. Т.е. заставлять диск считать 100 байт бесмысленно, он все равно в свой кэш закинет ~кб(?). Понятное дело ко всему нужно подходить взвешенно. А перестараться тяжело, информикс читает кратно размеру страницы то есть 2к или 4 к за дисковую операцию. И никогда меньше. С уважением onstat- ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 15:56 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
Daugavaonstat - можно возразить. Даже при настроенном по умолчанию RA (Read Ahead), это далеко не так. Впрочем, перед этим говорилось про OLTP, в котором RA не играет большой роли. Впрочем, у меня система близкая к чистому OLTP, и при этом страницы, прочтенные наперед, составляют примерно 80% от общего объема дискового чтения. При индекстом поиске параметр влияет на упреждающее чтение только индексного дерева. RA_PAGES specifies the number of disk pages to attempt to read ahead during sequential scans of data or index records. Read-ahead can greatly speed up database processing by compensating for the slowness of I/O processing relative to the speed of CPU processing. При полном сканировании согласен, но это не наш случай. С уважением, onstat- ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 16:10 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
Журавлев ДенисКстати у товарища проблема с записью во время чекпоинта, и надо разбираться что он пишет и куда, при фаззи чекпоинте - это наверняка индексные страницы. ----------------------------------------------------------- Хочу есть. myinformix Думаю onstat -P поможет товарищу. Если бы база лежала на только своих томах, былобы проще. Ищем самых грязных, по партнуму вычисляем объект, выносим на самый ненагруженный том. OFF: Сколько денег на покупке нового обрудования съэкономить можно? с уважением, onstat- P.S. I'm hungry too. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 16:22 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
Человек же не говорил, что у него OLTP ;-) Хотя по недовольству юзеров 10 секундными чекпоинтами это можно было предположить. Как оказалось, я брякнул не подумав, в данные onstat-p у меня попало несколько регламентных ночных операций. Сейчас проверил еще раз, за 20 минут нормального дневного OLTP, ни одного RA_ чтения не было. Кроме того, я видимо не правильно истолковал фразу "idx-RA is the count of read-aheads that traverse index leaves." ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 16:26 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
BUFFERS 393216 # Maximum number of shared buffers LRU_MAX_DIRTY 1 # LRU percent dirty begin cleaning limit LRU_MIN_DIRTY 0 Получается что его система 10 секунд пишет 8 мб на массив (интересно у него есть кэш? а отложенная запись включена?), но это случается только когда массив занят, я бы просто поставил CKPTINTVL 9999 и не парился, ну и постарался перейти на KAIO и raw. ----------------------------------------------------------- Хочу есть. myinformix ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 16:55 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
Эх жаль что сюда не влезает больше 70kb. Я бы хорошую презентацию по оптимизации информикс закинул. Кому надо пишите Nikolay_Kulikov@ru.ibm.com ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 18:16 |
|
||
|
Настройки Informix'a под дисковый массив
|
|||
|---|---|---|---|
|
#18+
Спасибо большое всем за советы! onstat- Думаю onstat -P поможет товарищу. Если бы база лежала на только своих томах, былобы проще. Ищем самых грязных, по партнуму вычисляем объект, выносим на самый ненагруженный том. onstat -P помог выявить самые используемые таблицы. Что значит "выносим на самый ненагруженный том"? Значит ли это, что их стоит разнести в отдельные dbspases? У нас сейчас по четырем разным dbspace'ам разнесены самая огромная таблица, ее индексы, остальные таблицы и остальные индексы. Raw devices под все чанки, а также прикладное ПО и все логи (довольно большие файлы, которые оно пишет) находятся на одной Volume Groupe, отведенной нашей системе. Если я правильно понимаю, что том это Volume Groupe, наверное нам стоит разнести наши dbspace'ы по разным VG? Unix Admin, который заведует массивом, говорит, что в этом нет смысла... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 13:05 |
|
||
|
|

start [/forum/topic.php?fid=44&msg=32631202&tid=1609209]: |
0ms |
get settings: |
10ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
51ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
74ms |
get tp. blocked users: |
1ms |
| others: | 15ms |
| total: | 185ms |

| 0 / 0 |
