powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Informix [игнор отключен] [закрыт для гостей] / Производтельность Информикс 7.3
25 сообщений из 70, страница 2 из 3
Производтельность Информикс 7.3
    #35551956
Фотография Daugava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Как-то 600 дисков и 60Гб базы не вяжутся. Более того, не 60, а где-то 58 или даже вообще 52 :) Видимо на этих же FC весилится и ликует не один десяток серверов. Может проблемы с производительностью от них ползут?
Вообще читаю и радуюсь, что не взял HP. IBM все таки значительно гибче в плане настройки.
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35552043
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DaugavaКак-то 600 дисков и 60Гб базы не вяжутся. Более того, не 60, а где-то 58 или даже вообще 52 :) Видимо на этих же FC весилится и ликует не один десяток серверов. Может проблемы с производительностью от них ползут?
Вообще читаю и радуюсь, что не взял HP. IBM все таки значительно гибче в плане настройки.про 600 дисков это максимум, но минимум у них где-то в районе 20 дисков. И у ибм и у хапе и хитачи есть абсолютно разные массивы с разным назначением. Ева это энтерпрайз с избыточностью во всех элементах, с огромным числом корзин, дисков хабами между корзинами и контроллерами, с зеркалированием между евами, а есть например msa1000 дешевле в примерно 10раз, но с другими возможностями.

Но вообще ева конечно не подходит для rdbms, непонятный размер страйпа, непонятный размер минимального считвыемого/записываемого куска. Файлопомойки на них приятно устраивать.
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35552140
GByte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Журавлев Денис AndronДисковый кэш еще и другие процессы требуют, а тут память которая только темпу информикса, мне кажется стоит попробовать.Так это гадание все, может темп у них вообще не используется. Я сейчас 80 страниц напишу чего еще можно попробовать. У них %rcached 95.81 и commit 163 за целый день, вообще какой-то бред.

163 транзакции за день это еще оч много! - у нас программеры не пользуются этим!.... :((

Daugava 6 /dev/rdsk/slice3 1964461 1239053 725408 29.4
7 /dev/rdsk/slice3 1907332 1179001 728331 28.5
Чемпионы по записи - tmp дспейсы, которые находятся на одном диске. Разнести обязательно, более того имеет смысл добавить еще. Ну и в память запихнуть, должно помочь. По чтению есть другие чемпионы, тут видимо можно поиграться с фрагментацией таблиц, дабы распределить нагрузку по дискам.

Кстати, а как у данной версии с KAIO ? Тоже може кое-что выжать.

там без разницы что на одном слайсе. слайсы на HP MSA1000 - она сама размазывает данные по физическим дискам. скоро все данные перенесу на HP EVA4000. как думаете сильно производительность добавит?

Насчет ram-диска в данном случае может и правда поможет.. попробую в ближайшее время.

что с KAIO не знаю.. буду искать.

автору евы все 600дисков порезаны на маленькие кусочки, эти слайсы лежат на большом количестве дисков. Более того меньше чем на 12 дисков в двух разных корзинах не положить, и вообще управлять этим невозможно.

да, она сама все раскидывает. но дисками управлять можно - можно явно указать на каких дисках строить дисковую группу, а там уже и логический диск создается, вот его распределением по группе дисков управлять нельзя.
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35552149
GByte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DaugavaКак-то 600 дисков и 60Гб базы не вяжутся. Более того, не 60, а где-то 58 или даже вообще 52 :) Видимо на этих же FC весилится и ликует не один десяток серверов. Может проблемы с производительностью от них ползут?
Вообще читаю и радуюсь, что не взял HP. IBM все таки значительно гибче в плане настройки.

Совершенно верно - и на MSA1000 и на EVA4000 у нас не один сервер сидит..

смотрели загрузке FC-Switch по портам, она по все портам выше 1-10% не поднимается. только если физические диски загружены..

на MSA1000 SCSI-диски, на EVA4000 FC-диски. надеемся что с переходом на них производительность тоже возрастет.
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35552235
Алексан
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GByteВыкладываю статистику...
Мне кажется - по данной статистике - что система используется, в основном, для отчётов, что эти отчёты интенсивно используют временные таблицы, и что системе не хватает памяти. Памяти Информиксу не хватает, потому что некоторые большие таблицы часто последовательно сканируются и, вследствие этого, целиком лежат в памяти (особенно выделяются таблицы 0х600050, 0х6000fc, 0х600165, 0х60020b, 0х60044d, 0х60054d). Как следствие, сколько бы Вы памяти Информиксу не скормили, её всё равно не хватит, пока эти таблицы не будут адекватно проиндексированы (либо отчётам действительно нужны все данные из этих таблиц, и тогда стоит сменить систему или ожидания пользователей :-))
По поводу временных таблиц: если они большие, то их тоже стоит индексировать и, после этого, обновлять на них статистику.

Ещё я бы увеличил размер буфера физического журнала (PHYSBUFF), пока его использование не приблизится к 75% (см. отношение pages/io к bufsize в выходе onstat -l). Возможно, на некоторых отчётах поможет повысить производительность увеличение числа виртуальных процессоров AIO (NUMAIOVPS, кажется). Если возможно, используйте KAIO.
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35552339
GByte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексан GByteВыкладываю статистику...
Мне кажется - по данной статистике - что система используется, в основном, для отчётов, что эти отчёты интенсивно используют временные таблицы, и что системе не хватает памяти. Памяти Информиксу не хватает, потому что некоторые большие таблицы часто последовательно сканируются и, вследствие этого, целиком лежат в памяти (особенно выделяются таблицы 0х600050, 0х6000fc, 0х600165, 0х60020b, 0х60044d, 0х60054d). Как следствие, сколько бы Вы памяти Информиксу не скормили, её всё равно не хватит, пока эти таблицы не будут адекватно проиндексированы (либо отчётам действительно нужны все данные из этих таблиц, и тогда стоит сменить систему или ожидания пользователей :-))
По поводу временных таблиц: если они большие, то их тоже стоит индексировать и, после этого, обновлять на них статистику.

Ещё я бы увеличил размер буфера физического журнала (PHYSBUFF), пока его использование не приблизится к 75% (см. отношение pages/io к bufsize в выходе onstat -l). Возможно, на некоторых отчётах поможет повысить производительность увеличение числа виртуальных процессоров AIO (NUMAIOVPS, кажется). Если возможно, используйте KAIO.

Данная статистика снята как раз в отчетный период, когда системы загружена на 1000% как раз отчетами.
А в течение месяца в БД заносятся данные.
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35552376
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А если всё-таки OnManager'ом поймать парочку любителей больших nreads, onstat -g sql xyz,
и пойманный запросик с соответствующими структурками разобрать по полочкам? :)

П.С.: Я не навязчивый - это у меня мысль навязчивая :)
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35552861
GByte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АнатоЛойА если всё-таки OnManager'ом поймать парочку любителей больших nreads, onstat -g sql xyz,
и пойманный запросик с соответствующими структурками разобрать по полочкам? :)

П.С.: Я не навязчивый - это у меня мысль навязчивая :)

Да я с удовольствием! :)
только вот не разумею..

если не трудно, в кратце по пунктам по подробнее подскажи ;)
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35562972
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Можно почитать эту статью для получения представления об общих подходах
"Оптимизация баз данных" http://www.profyclub.org/articles/299/3241
Сейчас мы поговорим о том, что такое оптимизация, кем она и когда выполняется, каковы основные принципы и как построить эффективно саму оптимизацию, сам проект, как решить эту задачу...

Там, в конце статьи, и SQL.RU упоминается :)
Собираются даже базу знаний на эту тему соорудить... может чего то и получиться.
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35563031
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GByte АнатоЛойА если всё-таки OnManager'ом поймать парочку любителей больших nreads, onstat -g sql xyz,
и пойманный запросик с соответствующими структурками разобрать по полочкам? :)

П.С.: Я не навязчивый - это у меня мысль навязчивая :)

Да я с удовольствием! :)
только вот не разумею..

если не трудно, в кратце по пунктам по подробнее подскажи ;)

1. Выясняете sid - ид сессии, которое много читалО (в порядке удобства использования: или с помощью OnManager на клиенте, или с помощью запроса из DBA-Tools, или с помощью onstat -u на сервере)
2. Исходя из предположения, что ОнО ж ещё будет опять много читать на сервере, запускаете
Код: plaintext
onstat -g sql <sid> -r  3  > sql_<sid>.log
3. Через некоторое время, обнаружив что эта сессия опять успела испортить себе карму (nreads возросли), обрывайте запущенный в п.2. onstat -g sql
4. Смотрите в получившемся файле sql_xxx.log поиском "Current SQL Statement" - одинаковые подряд идущие и есть долго работающее SQL выражение - это выражение и должны рассматриваться на предмет корректности текущей производительности
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35563034
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АнатоЛой3. Через некоторое время, обнаружив что эта сессия опять успела испортить себе карму ( nreads возросли ),
читать как
АнатоЛой3. Через некоторое время, обнаружив что эта сессия опять успела испортить себе карму ( nreads существенно возросли - на десятки тысяч чтений ),
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35573029
GByte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо!

Завтра наклепаю скриптик для мониторинга.

Буду потом анализировать. как раз отчетный период пошел..

Тема не закрывается - буду еще у Вас спрашивать!

Еще раз Спасибо!
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35574997
GByte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ранее в этой ветке "прозвучало" что у 32-бит Информикса максимум оперативной памяти может быть использовано не более 2.9 Гб.

Погуглил основательно, но нигде ссылку на официальную доку с такой цифрой найти не могу, а начальство требует или цифру или зацепить к СУБД 16Гб ОЗУ...

Кто знает где можно найти эту цифру, подскажите, плиз :)
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35575082
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GByte...
Кто знает где можно найти эту цифру, подскажите, плиз :)в каталоге информикса есть папочка relnotes там файлик machine_notes.txt

http://en.wikipedia.org/wiki/Physical_Address_Extension
http://en.wikipedia.org/wiki/Address_Windowing_Extensions

А луну с неба никто у Вас не просил, нет?
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35575355
GByte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Луну пока не просили)))

в моих двух Informix 7.3 нет нипапки ни файла...

буду искать дальше..

кто знает где еще посмотреть - подскажите, буду признателен!
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35575371
Фотография sysmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GByte
кто знает где еще посмотреть - подскажите, буду признателен!
Machine notes смотреть здесь - тынц!
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35575389
GByte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Огромадное СПАСИБО!

Правда искал много, но часто крупные брэнды как-то по особому у себя инфу располагают :)
или я уже сильно туплю...
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35575565
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GByteОгромадное СПАСИБО!

Правда искал много, но часто крупные брэнды как-то по особому у себя инфу располагают :)
или я уже сильно туплю...гыгы, а там и не написано об этом нифига.

В общем нет никаких доказательств что ids7.31UCx не может скушать 16 гиг.
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35575585
GByte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да-да XD
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35575635
GByte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Смотрел release notes.

У нас стоит IDS 7.31.UD5.
Для него release notes вообще близко нет.. ну посмотрел другие. Обратил внимание на отличие - в доке написано SHMBASE=0x82000000L, у нас в onconfig SHMBASE= 0xa000000

Никто не может сказать с уверенностью >50% какой правильнее? :)

Еще вопрос: После наращивания ОЗУ с 4Гб до 8Гб в выводе onstat -p значение usercpu стало значительно меньше syscpu.

О чем это может говорить?

# onstat -p

Informix Dynamic Server Version 7.31.UD5 -- On-Line -- Up 19:48:40 -- 2912520 Kbytes

Profile
dskreads pagreads bufreads %cached dskwrits pagwrits bufwrits %cached
58014385 1281674292 807968525 92.82 8772258 29951507 141986698 93.82

isamtot open start read write rewrite delete commit rollbk
1872860077 4472786 58727336 1619273289 63708983 175298 58690 30 0

gp_read gp_write gp_rewrt gp_del gp_alloc gp_free gp_curs
0 0 0 0 0 0 0

ovlock ovuserthread ovbuff usercpu syscpu numckpts flushes
0 0 0 20853.99 74546.13 175 472

bufwaits lokwaits lockreqs deadlks dltouts ckpwaits compress seqscans
2579090 0 488044113 0 0 239 165404 1471310

ixda-RA idx-RA da-RA RA-pgsused lchwaits
6419334 262503 1212790 7879072 8804162
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35577781
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GByteСмотрел release notes.

У нас стоит IDS 7.31.UD5.
Для него release notes вообще близко нет.. ну посмотрел другие. Обратил внимание на отличие - в доке написано SHMBASE=0x82000000L, у нас в onconfig SHMBASE= 0xa000000

Никто не может сказать с уверенностью >50% какой правильнее? :)


Это один из основных параметров, тюнинг которого позволит
увеличить обьем используемой памяти процессом.
Я когдато давно еще на SCO Unix пробовал высчитывать, геморойное это дело.
Правильное из них любое рекомендованное IBM ,
только максимальный обьем памяти, которую можно отдать серверу
при разных параметрах будет разный.
2-й Ход по увеличению используемой памяти это перемещать адреса загрузки разделяемых библиотек.

При правильном подходе для конкретного сочетания ( верисия OS, libc, версия информикс), все это будет работать стабильно, но при изменении чего либо из вышеперечисленного нужно будет и параметры менять.


GByte
Еще вопрос: После наращивания ОЗУ с 4Гб до 8Гб в выводе onstat -p значение usercpu стало значительно меньше syscpu.

О чем это может говорить?

# onstat -p

Informix Dynamic Server Version 7.31.UD5 -- On-Line -- Up 19:48:40 -- 2912520 Kbytes

Profile
dskreads pagreads bufreads %cached dskwrits pagwrits bufwrits %cached
58014385 1281674292 807968525 92.82 8772258 29951507 141986698 93.82

isamtot open start read write rewrite delete commit rollbk
1872860077 4472786 58727336 1619273289 63708983 175298 58690 30 0

gp_read gp_write gp_rewrt gp_del gp_alloc gp_free gp_curs
0 0 0 0 0 0 0

ovlock ovuserthread ovbuff usercpu syscpu numckpts flushes
0 0 0 20853.99 74546.13 175 472

bufwaits lokwaits lockreqs deadlks dltouts ckpwaits compress seqscans
2579090 0 488044113 0 0 239 165404 1471310

ixda-RA idx-RA da-RA RA-pgsused lchwaits
6419334 262503 1212790 7879072 8804162


Это может говорить о том что в системе используется двойная буферизация.
Вы файлы используете или raw?
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35577811
GByte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Используем RAW.

Но как может отразится двойная буферизация на usercpu и syscpu?

Причем когда мы увеличили ОЗУ сервера с 4Гб до 8Гб и утилита sar стала говорить о сильно возросшем времени на системные события?
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35577884
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GByteИспользуем RAW.

Но как может отразится двойная буферизация на usercpu и syscpu?

Причем когда мы увеличили ОЗУ сервера с 4Гб до 8Гб и утилита sar стала говорить о сильно возросшем времени на системные события?


покажите ls -al ваших девайсов & onstat -d

Все что Вы сказали говорит о том, что кеш файловой системы недостаточнен, процент попадания
по кешу при его увеличении приктически не изменился, зато накладные расходы на его обслуживание очень возросли.

Покажите sar -Bb там должны быть нули если в системе нет нагрузки на кеш,
если Вы правльно используете raw, то операции ВВ идут мимо кеша ФС.

Подозреваю IMHO , что весь возросший syscpu сидит в колонке fault/s из sar -B,
Если ничего другого(кроме увеличения памяти) в системе не изменялось.
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35578082
GByte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вывод sar -b, onstat -d, ls -la /dev/rdsk.
...
Рейтинг: 0 / 0
Производтельность Информикс 7.3
    #35578390
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GByteвывод sar -b, onstat -d, ls -la /dev/rdsk.


Для полной ясности хорошо бы увидеть все в комплексе
sar -ubgpd 1 30

Какие еще приложения кроме БД активно работают с файлами на сервере?

Рекомендую почитать
Virtual memory (VM) parameters для Unixware , думаю тюнинг этих параметров для Вашей системы позволить
уменьшить syscpu.
...
Рейтинг: 0 / 0
25 сообщений из 70, страница 2 из 3
Форумы / Informix [игнор отключен] [закрыт для гостей] / Производтельность Информикс 7.3
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]