|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Как-то 600 дисков и 60Гб базы не вяжутся. Более того, не 60, а где-то 58 или даже вообще 52 :) Видимо на этих же FC весилится и ликует не один десяток серверов. Может проблемы с производительностью от них ползут? Вообще читаю и радуюсь, что не взял HP. IBM все таки значительно гибче в плане настройки. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 13:14 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
DaugavaКак-то 600 дисков и 60Гб базы не вяжутся. Более того, не 60, а где-то 58 или даже вообще 52 :) Видимо на этих же FC весилится и ликует не один десяток серверов. Может проблемы с производительностью от них ползут? Вообще читаю и радуюсь, что не взял HP. IBM все таки значительно гибче в плане настройки.про 600 дисков это максимум, но минимум у них где-то в районе 20 дисков. И у ибм и у хапе и хитачи есть абсолютно разные массивы с разным назначением. Ева это энтерпрайз с избыточностью во всех элементах, с огромным числом корзин, дисков хабами между корзинами и контроллерами, с зеркалированием между евами, а есть например msa1000 дешевле в примерно 10раз, но с другими возможностями. Но вообще ева конечно не подходит для rdbms, непонятный размер страйпа, непонятный размер минимального считвыемого/записываемого куска. Файлопомойки на них приятно устраивать. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 13:44 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Журавлев Денис AndronДисковый кэш еще и другие процессы требуют, а тут память которая только темпу информикса, мне кажется стоит попробовать.Так это гадание все, может темп у них вообще не используется. Я сейчас 80 страниц напишу чего еще можно попробовать. У них %rcached 95.81 и commit 163 за целый день, вообще какой-то бред. 163 транзакции за день это еще оч много! - у нас программеры не пользуются этим!.... :(( Daugava 6 /dev/rdsk/slice3 1964461 1239053 725408 29.4 7 /dev/rdsk/slice3 1907332 1179001 728331 28.5 Чемпионы по записи - tmp дспейсы, которые находятся на одном диске. Разнести обязательно, более того имеет смысл добавить еще. Ну и в память запихнуть, должно помочь. По чтению есть другие чемпионы, тут видимо можно поиграться с фрагментацией таблиц, дабы распределить нагрузку по дискам. Кстати, а как у данной версии с KAIO ? Тоже може кое-что выжать. там без разницы что на одном слайсе. слайсы на HP MSA1000 - она сама размазывает данные по физическим дискам. скоро все данные перенесу на HP EVA4000. как думаете сильно производительность добавит? Насчет ram-диска в данном случае может и правда поможет.. попробую в ближайшее время. что с KAIO не знаю.. буду искать. автору евы все 600дисков порезаны на маленькие кусочки, эти слайсы лежат на большом количестве дисков. Более того меньше чем на 12 дисков в двух разных корзинах не положить, и вообще управлять этим невозможно. да, она сама все раскидывает. но дисками управлять можно - можно явно указать на каких дисках строить дисковую группу, а там уже и логический диск создается, вот его распределением по группе дисков управлять нельзя. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 14:19 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
DaugavaКак-то 600 дисков и 60Гб базы не вяжутся. Более того, не 60, а где-то 58 или даже вообще 52 :) Видимо на этих же FC весилится и ликует не один десяток серверов. Может проблемы с производительностью от них ползут? Вообще читаю и радуюсь, что не взял HP. IBM все таки значительно гибче в плане настройки. Совершенно верно - и на MSA1000 и на EVA4000 у нас не один сервер сидит.. смотрели загрузке FC-Switch по портам, она по все портам выше 1-10% не поднимается. только если физические диски загружены.. на MSA1000 SCSI-диски, на EVA4000 FC-диски. надеемся что с переходом на них производительность тоже возрастет. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 14:23 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteВыкладываю статистику... Мне кажется - по данной статистике - что система используется, в основном, для отчётов, что эти отчёты интенсивно используют временные таблицы, и что системе не хватает памяти. Памяти Информиксу не хватает, потому что некоторые большие таблицы часто последовательно сканируются и, вследствие этого, целиком лежат в памяти (особенно выделяются таблицы 0х600050, 0х6000fc, 0х600165, 0х60020b, 0х60044d, 0х60054d). Как следствие, сколько бы Вы памяти Информиксу не скормили, её всё равно не хватит, пока эти таблицы не будут адекватно проиндексированы (либо отчётам действительно нужны все данные из этих таблиц, и тогда стоит сменить систему или ожидания пользователей :-)) По поводу временных таблиц: если они большие, то их тоже стоит индексировать и, после этого, обновлять на них статистику. Ещё я бы увеличил размер буфера физического журнала (PHYSBUFF), пока его использование не приблизится к 75% (см. отношение pages/io к bufsize в выходе onstat -l). Возможно, на некоторых отчётах поможет повысить производительность увеличение числа виртуальных процессоров AIO (NUMAIOVPS, кажется). Если возможно, используйте KAIO. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 14:56 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Алексан GByteВыкладываю статистику... Мне кажется - по данной статистике - что система используется, в основном, для отчётов, что эти отчёты интенсивно используют временные таблицы, и что системе не хватает памяти. Памяти Информиксу не хватает, потому что некоторые большие таблицы часто последовательно сканируются и, вследствие этого, целиком лежат в памяти (особенно выделяются таблицы 0х600050, 0х6000fc, 0х600165, 0х60020b, 0х60044d, 0х60054d). Как следствие, сколько бы Вы памяти Информиксу не скормили, её всё равно не хватит, пока эти таблицы не будут адекватно проиндексированы (либо отчётам действительно нужны все данные из этих таблиц, и тогда стоит сменить систему или ожидания пользователей :-)) По поводу временных таблиц: если они большие, то их тоже стоит индексировать и, после этого, обновлять на них статистику. Ещё я бы увеличил размер буфера физического журнала (PHYSBUFF), пока его использование не приблизится к 75% (см. отношение pages/io к bufsize в выходе onstat -l). Возможно, на некоторых отчётах поможет повысить производительность увеличение числа виртуальных процессоров AIO (NUMAIOVPS, кажется). Если возможно, используйте KAIO. Данная статистика снята как раз в отчетный период, когда системы загружена на 1000% как раз отчетами. А в течение месяца в БД заносятся данные. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 15:27 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
А если всё-таки OnManager'ом поймать парочку любителей больших nreads, onstat -g sql xyz, и пойманный запросик с соответствующими структурками разобрать по полочкам? :) П.С.: Я не навязчивый - это у меня мысль навязчивая :) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 15:42 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
АнатоЛойА если всё-таки OnManager'ом поймать парочку любителей больших nreads, onstat -g sql xyz, и пойманный запросик с соответствующими структурками разобрать по полочкам? :) П.С.: Я не навязчивый - это у меня мысль навязчивая :) Да я с удовольствием! :) только вот не разумею.. если не трудно, в кратце по пунктам по подробнее подскажи ;) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 18:14 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Можно почитать эту статью для получения представления об общих подходах "Оптимизация баз данных" http://www.profyclub.org/articles/299/3241 Сейчас мы поговорим о том, что такое оптимизация, кем она и когда выполняется, каковы основные принципы и как построить эффективно саму оптимизацию, сам проект, как решить эту задачу... Там, в конце статьи, и SQL.RU упоминается :) Собираются даже базу знаний на эту тему соорудить... может чего то и получиться. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2008, 19:27 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByte АнатоЛойА если всё-таки OnManager'ом поймать парочку любителей больших nreads, onstat -g sql xyz, и пойманный запросик с соответствующими структурками разобрать по полочкам? :) П.С.: Я не навязчивый - это у меня мысль навязчивая :) Да я с удовольствием! :) только вот не разумею.. если не трудно, в кратце по пунктам по подробнее подскажи ;) 1. Выясняете sid - ид сессии, которое много читалО (в порядке удобства использования: или с помощью OnManager на клиенте, или с помощью запроса из DBA-Tools, или с помощью onstat -u на сервере) 2. Исходя из предположения, что ОнО ж ещё будет опять много читать на сервере, запускаете Код: plaintext
4. Смотрите в получившемся файле sql_xxx.log поиском "Current SQL Statement" - одинаковые подряд идущие и есть долго работающее SQL выражение - это выражение и должны рассматриваться на предмет корректности текущей производительности ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2008, 20:41 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
АнатоЛой3. Через некоторое время, обнаружив что эта сессия опять успела испортить себе карму ( nreads возросли ), читать как АнатоЛой3. Через некоторое время, обнаружив что эта сессия опять успела испортить себе карму ( nreads существенно возросли - на десятки тысяч чтений ), ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2008, 20:43 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Спасибо! Завтра наклепаю скриптик для мониторинга. Буду потом анализировать. как раз отчетный период пошел.. Тема не закрывается - буду еще у Вас спрашивать! Еще раз Спасибо! ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2008, 17:15 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Ранее в этой ветке "прозвучало" что у 32-бит Информикса максимум оперативной памяти может быть использовано не более 2.9 Гб. Погуглил основательно, но нигде ссылку на официальную доку с такой цифрой найти не могу, а начальство требует или цифру или зацепить к СУБД 16Гб ОЗУ... Кто знает где можно найти эту цифру, подскажите, плиз :) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 14:42 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByte... Кто знает где можно найти эту цифру, подскажите, плиз :)в каталоге информикса есть папочка relnotes там файлик machine_notes.txt http://en.wikipedia.org/wiki/Physical_Address_Extension http://en.wikipedia.org/wiki/Address_Windowing_Extensions А луну с неба никто у Вас не просил, нет? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 15:04 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Луну пока не просили))) в моих двух Informix 7.3 нет нипапки ни файла... буду искать дальше.. кто знает где еще посмотреть - подскажите, буду признателен! ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 16:12 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByte кто знает где еще посмотреть - подскажите, буду признателен! Machine notes смотреть здесь - тынц! ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 16:16 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Огромадное СПАСИБО! Правда искал много, но часто крупные брэнды как-то по особому у себя инфу располагают :) или я уже сильно туплю... ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 16:20 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteОгромадное СПАСИБО! Правда искал много, но часто крупные брэнды как-то по особому у себя инфу располагают :) или я уже сильно туплю...гыгы, а там и не написано об этом нифига. В общем нет никаких доказательств что ids7.31UCx не может скушать 16 гиг. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 17:26 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Да-да XD ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 17:33 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Смотрел release notes. У нас стоит IDS 7.31.UD5. Для него release notes вообще близко нет.. ну посмотрел другие. Обратил внимание на отличие - в доке написано SHMBASE=0x82000000L, у нас в onconfig SHMBASE= 0xa000000 Никто не может сказать с уверенностью >50% какой правильнее? :) Еще вопрос: После наращивания ОЗУ с 4Гб до 8Гб в выводе onstat -p значение usercpu стало значительно меньше syscpu. О чем это может говорить? # onstat -p Informix Dynamic Server Version 7.31.UD5 -- On-Line -- Up 19:48:40 -- 2912520 Kbytes Profile dskreads pagreads bufreads %cached dskwrits pagwrits bufwrits %cached 58014385 1281674292 807968525 92.82 8772258 29951507 141986698 93.82 isamtot open start read write rewrite delete commit rollbk 1872860077 4472786 58727336 1619273289 63708983 175298 58690 30 0 gp_read gp_write gp_rewrt gp_del gp_alloc gp_free gp_curs 0 0 0 0 0 0 0 ovlock ovuserthread ovbuff usercpu syscpu numckpts flushes 0 0 0 20853.99 74546.13 175 472 bufwaits lokwaits lockreqs deadlks dltouts ckpwaits compress seqscans 2579090 0 488044113 0 0 239 165404 1471310 ixda-RA idx-RA da-RA RA-pgsused lchwaits 6419334 262503 1212790 7879072 8804162 ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 17:58 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteСмотрел release notes. У нас стоит IDS 7.31.UD5. Для него release notes вообще близко нет.. ну посмотрел другие. Обратил внимание на отличие - в доке написано SHMBASE=0x82000000L, у нас в onconfig SHMBASE= 0xa000000 Никто не может сказать с уверенностью >50% какой правильнее? :) Это один из основных параметров, тюнинг которого позволит увеличить обьем используемой памяти процессом. Я когдато давно еще на SCO Unix пробовал высчитывать, геморойное это дело. Правильное из них любое рекомендованное IBM , только максимальный обьем памяти, которую можно отдать серверу при разных параметрах будет разный. 2-й Ход по увеличению используемой памяти это перемещать адреса загрузки разделяемых библиотек. При правильном подходе для конкретного сочетания ( верисия OS, libc, версия информикс), все это будет работать стабильно, но при изменении чего либо из вышеперечисленного нужно будет и параметры менять. GByte Еще вопрос: После наращивания ОЗУ с 4Гб до 8Гб в выводе onstat -p значение usercpu стало значительно меньше syscpu. О чем это может говорить? # onstat -p Informix Dynamic Server Version 7.31.UD5 -- On-Line -- Up 19:48:40 -- 2912520 Kbytes Profile dskreads pagreads bufreads %cached dskwrits pagwrits bufwrits %cached 58014385 1281674292 807968525 92.82 8772258 29951507 141986698 93.82 isamtot open start read write rewrite delete commit rollbk 1872860077 4472786 58727336 1619273289 63708983 175298 58690 30 0 gp_read gp_write gp_rewrt gp_del gp_alloc gp_free gp_curs 0 0 0 0 0 0 0 ovlock ovuserthread ovbuff usercpu syscpu numckpts flushes 0 0 0 20853.99 74546.13 175 472 bufwaits lokwaits lockreqs deadlks dltouts ckpwaits compress seqscans 2579090 0 488044113 0 0 239 165404 1471310 ixda-RA idx-RA da-RA RA-pgsused lchwaits 6419334 262503 1212790 7879072 8804162 Это может говорить о том что в системе используется двойная буферизация. Вы файлы используете или raw? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2008, 12:20 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Используем RAW. Но как может отразится двойная буферизация на usercpu и syscpu? Причем когда мы увеличили ОЗУ сервера с 4Гб до 8Гб и утилита sar стала говорить о сильно возросшем времени на системные события? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2008, 12:24 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteИспользуем RAW. Но как может отразится двойная буферизация на usercpu и syscpu? Причем когда мы увеличили ОЗУ сервера с 4Гб до 8Гб и утилита sar стала говорить о сильно возросшем времени на системные события? покажите ls -al ваших девайсов & onstat -d Все что Вы сказали говорит о том, что кеш файловой системы недостаточнен, процент попадания по кешу при его увеличении приктически не изменился, зато накладные расходы на его обслуживание очень возросли. Покажите sar -Bb там должны быть нули если в системе нет нагрузки на кеш, если Вы правльно используете raw, то операции ВВ идут мимо кеша ФС. Подозреваю IMHO , что весь возросший syscpu сидит в колонке fault/s из sar -B, Если ничего другого(кроме увеличения памяти) в системе не изменялось. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2008, 12:51 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
вывод sar -b, onstat -d, ls -la /dev/rdsk. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2008, 14:02 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteвывод sar -b, onstat -d, ls -la /dev/rdsk. Для полной ясности хорошо бы увидеть все в комплексе sar -ubgpd 1 30 Какие еще приложения кроме БД активно работают с файлами на сервере? Рекомендую почитать Virtual memory (VM) parameters для Unixware , думаю тюнинг этих параметров для Вашей системы позволить уменьшить syscpu. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2008, 15:33 |
|
|
start [/forum/topic.php?fid=44&msg=35552376&tid=1607979]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
639ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
58ms |
get tp. blocked users: |
1ms |
others: | 329ms |
total: | 1072ms |
0 / 0 |