|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Здравствуйте! Ситация такова: Сервер НР580DL, 4xXeon 3gHz, 8Gb Ram, SCSI и FC диски. ОС Unixware 7.1.3 Informix 7.3 Обновить ни ОС, ни СУБД не могу - ERP которая крутится на этом крепко завязана на версии библиотек. Объем Базы 60Гб Пользователей одновременно подключено от 400 до 850 - в зависимости от числа месяца (отченый период пик). Есть болдьшие проблемы с производительностью приложенией на СУБД - в отчетный период система показывает максимальную загрузку по дисковой подсистеме, пользователи вынуждены очень долго (до нескольких часов) ждать выполнения запросов. Есть огромные проблемы с качеством кода у наших программеров, но заставить их не могу, и меня заставляют выжимать из сервера последнее. увеличили ОЗУ на сервера с 4Гб до 8Гб. Информикс не запускается со значением BUFFERS более 1000000. Базовое значение параметра виртульной памяти для информикса установлен в значение чуть превышающее 700000. SHMADD равен 32Кб. Увеличил объем упреждающиго чтения RA_THRESOLD=8, RA_PAGES=64. (Хранилище СУБД расположено на диске подключенному по SAN, 2Гб). onconfig и вывод onstat -а будут на днях, сейчас я далеко от сервера. Форум изучал долго, но самостоятельно я серверу делаю только хуже - опыта с информиксом 0.. Задача в настоящий момент стоит: 1. - заставить Информикс использовать ОЗУ по максимому 2. - увеличить производительность системы. Понимаю что без настроек и статистики что-то сказать трудно, все это будет чуть позже. А сейчас прошу Вас посоветовать что в данном случае вообще можно предпринять? надеюсь на Вашу поддержку! ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2008, 17:06 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Informix 32-битный или 64-битный. Когда поcледний раз выполнялся UPDATE STATISTICS? ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2008, 17:26 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
ПинеуЕсть огромные проблемы с качеством кода у наших программеров, но заставить их не могу, и меня заставляют выжимать из сервера последнее.будь вы хоть самым лучшим на планете информикс дба >10% вам не выжать, а программист добавив кавычки в запрос легко и непринужденно может выжать 10000%. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2008, 17:53 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
sysmasterInformix 32-битный или 64-битный. Когда поcледний раз выполнялся UPDATE STATISTICS? UPDATE STATISTICS выполняется еженощно. А вот как узнать насчет 32 или 64 бит незнаю... не подскажете? ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2008, 19:23 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Журавлев Денис ПинеуЕсть огромные проблемы с качеством кода у наших программеров, но заставить их не могу, и меня заставляют выжимать из сервера последнее.будь вы хоть самым лучшим на планете информикс дба >10% вам не выжать, а программист добавив кавычки в запрос легко и непринужденно может выжать 10000%. Я енто понимаю.. по тому и говорю, что заставить начальство "дать задание" программерам не могу - тут уже политика... ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2008, 19:25 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteЯ енто понимаю.. по тому и говорю, что заставить начальство "дать задание" программерам не могу - тут уже политика... OFFTOP: В Украине на слово "политика" часто реагируют нервно и не менее часто - отрицательно :) :(. ONTOP:) И тем не менее, если дело только в политике, давайте рассмотрим такой вариант: 1. Вы находите (возможно, конечно, не без помощи общественности) хотя бы пару проблемных мест. 2. Аргументированно показываете начальству, что "в этих конкретных местах вот эти запросы сейчас выглядят так-то и работают так-то". 3. "Если их написать вот так, то, смотрите, они и работают в 10 раз быстрее и, соответственно, другим мешают в 10 раз меньше. 4. После чего всё-таки настаиваете на мысли, которую привёл Денис про 10% и 10000%. П.С.: 1. Поскольку у Вас Unix, то в первой строке onstat должно фигурировать "IDS 7.3x yzn". Если на месте "y" у вас стоит "F" - то Informix 64-битный, как собственно и написано в ЧаВО . 2. Если он окажется 32-битным - на ощутимое повышение использование памяти не надейтесь. Здесь поиском можете найти соответствующие топики, которые Вас не обнадёжат. Разве что после того, как приведёте упомянутую Вами информацию, эта память можно будет распределить более эффективно... ... |
|||
:
Нравится:
Не нравится:
|
|||
19.09.2008, 00:15 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Поскольку у вас 32bit информикс то использовать 8 Gb памяти не удастся, только если переходить на 64bit, но это еще должна поддерживать и сама ОС. Далее, если у вас нет проблем с дисками, то наиболее очевидный путь - обнаружить наиболее загруженные по I/O чанки (onstat -g iof) и сделать балансировку нагрузки на дисках (т.е. переложить чанки). Либо если все хозяйство равномерно разложено по дискам, настраивать сами диски, чтобы выжать из них побольше. А есть ли на сервере другие приложения кроме информикса, может они тоже создают ощутимую нагрузку? SHMADD = 32Кб, вы не ошиблись? Использование следующих советов потребует чтения документации и знания информикса. Мониторить использование таблиц (onstat -g ppf, предварительно должен быть включен параметр TBLSPACE_STATS 1). В этом случае наличие у немаленьких таблиц seqscan значительно большее 0 должно обращать на себя внимание, значит запросы сканируют такие таблицы, исправлять запросы, возможно создавать правильные индексы. Также посмотреть значение lkwts - ожидание другими сессиями блокировок, можеть быть некоторые таблицы должны иметь уровень блокирования на запись а не страницу (особенно осторожно применять для больших таблиц!) Фрагментировать наиболее загруженные таблицы если возможно. Жаль что у вас не 10 информикс - все очень большие таблицы можно было бы отправить в отдельный буферный пул, чтобы не было конкуренции с остальными таблами за буфера. Вообще мониторинг информикса в таких случаях может дать немало. Есть ли у вас система мониторинга? Только имея некие накопленные статистические данные можно на их основании настроить на макс. производительность сервер и приложения. Вообще всего не перечислишь, читайте документацию. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.09.2008, 09:58 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Andron Вообще мониторинг информикса в таких случаях может дать немало. Есть ли у вас система мониторинга? Только имея некие накопленные статистические данные можно на их основании настроить на макс. производительность сервер и приложения. Кстати, DBSonar - 30 дневная evaluation - должно хватить на разгребание :) ... |
|||
:
Нравится:
Не нравится:
|
|||
19.09.2008, 10:16 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteЯ енто понимаю.. по тому и говорю, что заставить начальство "дать задание" программерам не могу - тут уже политика...В ноге гангрена, резать нельзя, найдите волшебника, он взмахнет волшебной палочкой, и вуаля "снова побежал по дорожке". ... |
|||
:
Нравится:
Не нравится:
|
|||
19.09.2008, 10:36 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
AndronПоскольку у вас 32bit информикс то использовать 8 Gb памяти не удастся, только если переходить на 64bit, но это еще должна поддерживать и сама ОС. Далее, если у вас нет проблем с дисками, то наиболее очевидный путь - обнаружить наиболее загруженные по I/O чанки (onstat -g iof) и сделать балансировку нагрузки на дисках (т.е. переложить чанки). Либо если все хозяйство равномерно разложено по дискам, настраивать сами диски, чтобы выжать из них побольше. А есть ли на сервере другие приложения кроме информикса, может они тоже создают ощутимую нагрузку? SHMADD = 32Кб, вы не ошиблись? Использование следующих советов потребует чтения документации и знания информикса. Мониторить использование таблиц (onstat -g ppf, предварительно должен быть включен параметр TBLSPACE_STATS 1). В этом случае наличие у немаленьких таблиц seqscan значительно большее 0 должно обращать на себя внимание, значит запросы сканируют такие таблицы, исправлять запросы, возможно создавать правильные индексы. Также посмотреть значение lkwts - ожидание другими сессиями блокировок, можеть быть некоторые таблицы должны иметь уровень блокирования на запись а не страницу (особенно осторожно применять для больших таблиц!) Фрагментировать наиболее загруженные таблицы если возможно. Жаль что у вас не 10 информикс - все очень большие таблицы можно было бы отправить в отдельный буферный пул, чтобы не было конкуренции с остальными таблами за буфера. Вообще мониторинг информикса в таких случаях может дать немало. Есть ли у вас система мониторинга? Только имея некие накопленные статистические данные можно на их основании настроить на макс. производительность сервер и приложения. Вообще всего не перечислишь, читайте документацию. 1. 32бит информикс на данной конфигурации сервера имеет все шансы использовать столько озу сколько сможет взять. мне как раз нужна помощь в настройке его на максимум доступной ему озу, пусть не 8Гб, а 4Гб но это по любому увеличит производительность, тем более ОС теперь тоже имеет больше озу. 2. Вся бд лежит на диске презентованном по SAN с HP EVA4000. - она сама распределяет инфу равномерно по дискам, диски в ней тоже FiberChannel. 3. Информикс крутится для ERP-системы. эта ERP реализована на юниксовых сессиях - клиенты по телнету коннектятся и работают. загрузку ощутимую она не создает. 4. SHMADD = 32Кб, вы не ошиблись? - onconfig прикладуываю здесь. в ходе работы информикс говорит что добавляет по 32Кб памяти. 5. статистику сейчас веду - скрипт ежедневно в файл записывает вывод onstat -a. как вернусь из командировки выложу его. 6. Доку читаю, но часто и советы нужны - для уверенного движения вперед ;) так что буду еще спрашивать :) еще раз повторю, что в приложении onstat ... |
|||
:
Нравится:
Не нравится:
|
|||
19.09.2008, 11:00 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByte 1. 32бит информикс на данной конфигурации сервера имеет все шансы использовать столько озу сколько сможет взять. мне как раз нужна помощь в настройке его на максимум доступной ему озу, пусть не 8Гб, а 4Гб но это по любому увеличит производительность, тем более ОС теперь тоже имеет больше озу.максимум 2,75 гига. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.09.2008, 11:05 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Покажите, как минимум: - onstat -g seg - onstat -l - onstat -p - onstat -g ioa - onstat -g ppf - onstat -T ... |
|||
:
Нравится:
Не нравится:
|
|||
19.09.2008, 16:44 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Журавлев Денис..., а программист добавив кавычки в запрос легко и непринужденно может выжать 10000%. Это как? Если можно, приведите пример. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.09.2008, 20:48 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
bk0010 Журавлев Денис..., а программист добавив кавычки в запрос легко и непринужденно может выжать 10000%. Это как? Если можно, приведите пример.Реальный случай из моей жизни. 2000год, сервер rs6000g30, база salary, есть таблица worker_tbl, в ней поле tab_num char(5), в таблице 30 тысяч записей, поле индексировано. Все запросы написаны так select * from worker_tbl where tab_num = 12345 запрос работает 50 секунд. Я естественно исправил запрос select * from worker_tbl where tab_num = '12345', работает 0 секунд. Последние 8 лет я занимаюсь фигней, каждый день ко мне приходит программист "Вадик", и говорит "Я написал отчет "ленточка подсчета документов", он работает 30 мин, а в тз написано 40 сек. Так вот я делаю те самые 40 сек. Раз в неделю приходит другой "Вадик" и говорит у нас есть отчет "баланс по внебалансовым счетам" (дебильно звучит не правда-ли?), он работает быстро секунд 40, и запускает его один человек раза три в день, но к сожалению отчет блокирует остальные тысячу пользователей (на 40 сек), надо сделать чтоб не блокировал, приходится делать. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.09.2008, 22:36 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Выкладываю статистику. Значения были сняты в отчетный период, как раз когда система очень загружена. В файле почти весь onstat -a. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.09.2008, 15:50 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Почему "почти весь"? Конфиденциальная? Кстати, за какой период работы снята стаистика? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.09.2008, 16:28 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Вроде конфиденциального там ничего, только объем большой получался... период - 1 рабочий день. У нас еженощно сервер перегружается по расписанию. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.09.2008, 07:27 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Журавлев Денис bk0010 Журавлев Денис..., а программист добавив кавычки в запрос легко и непринужденно может выжать 10000%. Это как? Если можно, приведите пример.Реальный случай из моей жизни. 2000год, сервер rs6000g30, база salary, есть таблица worker_tbl, в ней поле tab_num char(5), в таблице 30 тысяч записей, поле индексировано. Все запросы написаны так select * from worker_tbl where tab_num = 12345 запрос работает 50 секунд. Я естественно исправил запрос select * from worker_tbl where tab_num = '12345', работает 0 секунд. Последние 8 лет я занимаюсь фигней, каждый день ко мне приходит программист "Вадик", и говорит "Я написал отчет "ленточка подсчета документов", он работает 30 мин, а в тз написано 40 сек. Так вот я делаю те самые 40 сек. Раз в неделю приходит другой "Вадик" и говорит у нас есть отчет "баланс по внебалансовым счетам" (дебильно звучит не правда-ли?), он работает быстро секунд 40, и запускает его один человек раза три в день, но к сожалению отчет блокирует остальные тысячу пользователей (на 40 сек), надо сделать чтоб не блокировал, приходится делать. ах, как это знакомо ! :-) Тут у нас индусы, понимаш, сдают на почетные звания Sun certified Java архитекторов, а в код заглянуть без слез нельзя. Паттерн на паттерне сидит и паттерном погоняет, а про RecordSet слыхом не слышали, BulkInsert в глаза не видели. Тридцать тысяч записей в таблицу заливают индивидуальными insert statement-ами и, пля, жалуются что медленно работает. Multithread-ами ускоряют процесс. О кешировании запросов не слыхали. Архитекторы, мать их махатму. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.09.2008, 22:00 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Меня тут гениальная мысль посетила - если информикс 32bit а памяти на машине навалом, то можно создать темповый dbspace в ОЗУ. Или создать темповую ФС и сказать про нее информиксу с помощью DBTEMP. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 11:08 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
AndronМеня тут гениальная мысль посетила - если информикс 32bit а памяти на машине навалом, то можно создать темповый dbspace в ОЗУ. Или создать темповую ФС и сказать про нее информиксу с помощью DBTEMP.Я думаю это вообще не поможет, тем паче что дисковый массив имеет 2гига кеша. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 11:22 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
дисковый массив подключен по оптике на скорости 2ГБит/сек ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 11:48 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Дисковый кэш еще и другие процессы требуют, а тут память которая только темпу информикса, мне кажется стоит попробовать. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 11:58 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
AndronДисковый кэш еще и другие процессы требуют, а тут память которая только темпу информикса, мне кажется стоит попробовать.Так это гадание все, может темп у них вообще не используется. Я сейчас 80 страниц напишу чего еще можно попробовать. У них %rcached 95.81 и commit 163 за целый день, вообще какой-то бред. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 12:19 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
6 /dev/rdsk/slice3 1964461 1239053 725408 29.4 7 /dev/rdsk/slice3 1907332 1179001 728331 28.5 Чемпионы по записи - tmp дспейсы, которые находятся на одном диске. Разнести обязательно, более того имеет смысл добавить еще. Ну и в память запихнуть, должно помочь. По чтению есть другие чемпионы, тут видимо можно поиграться с фрагментацией таблиц, дабы распределить нагрузку по дискам. Кстати, а как у данной версии с KAIO ? Тоже може кое-что выжать. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 12:40 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Daugava Чемпионы по записи - tmp дспейсы, которые находятся на одном диске. Разнести обязательно, более того имеет .у евы все 600дисков порезаны на маленькие кусочки, эти слайсы лежат на большом количестве дисков. Более того меньше чем на 12 дисков в двух разных корзинах не положить, и вообще управлять этим невозможно. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 12:45 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Как-то 600 дисков и 60Гб базы не вяжутся. Более того, не 60, а где-то 58 или даже вообще 52 :) Видимо на этих же FC весилится и ликует не один десяток серверов. Может проблемы с производительностью от них ползут? Вообще читаю и радуюсь, что не взял HP. IBM все таки значительно гибче в плане настройки. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 13:14 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
DaugavaКак-то 600 дисков и 60Гб базы не вяжутся. Более того, не 60, а где-то 58 или даже вообще 52 :) Видимо на этих же FC весилится и ликует не один десяток серверов. Может проблемы с производительностью от них ползут? Вообще читаю и радуюсь, что не взял HP. IBM все таки значительно гибче в плане настройки.про 600 дисков это максимум, но минимум у них где-то в районе 20 дисков. И у ибм и у хапе и хитачи есть абсолютно разные массивы с разным назначением. Ева это энтерпрайз с избыточностью во всех элементах, с огромным числом корзин, дисков хабами между корзинами и контроллерами, с зеркалированием между евами, а есть например msa1000 дешевле в примерно 10раз, но с другими возможностями. Но вообще ева конечно не подходит для rdbms, непонятный размер страйпа, непонятный размер минимального считвыемого/записываемого куска. Файлопомойки на них приятно устраивать. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 13:44 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Журавлев Денис AndronДисковый кэш еще и другие процессы требуют, а тут память которая только темпу информикса, мне кажется стоит попробовать.Так это гадание все, может темп у них вообще не используется. Я сейчас 80 страниц напишу чего еще можно попробовать. У них %rcached 95.81 и commit 163 за целый день, вообще какой-то бред. 163 транзакции за день это еще оч много! - у нас программеры не пользуются этим!.... :(( Daugava 6 /dev/rdsk/slice3 1964461 1239053 725408 29.4 7 /dev/rdsk/slice3 1907332 1179001 728331 28.5 Чемпионы по записи - tmp дспейсы, которые находятся на одном диске. Разнести обязательно, более того имеет смысл добавить еще. Ну и в память запихнуть, должно помочь. По чтению есть другие чемпионы, тут видимо можно поиграться с фрагментацией таблиц, дабы распределить нагрузку по дискам. Кстати, а как у данной версии с KAIO ? Тоже може кое-что выжать. там без разницы что на одном слайсе. слайсы на HP MSA1000 - она сама размазывает данные по физическим дискам. скоро все данные перенесу на HP EVA4000. как думаете сильно производительность добавит? Насчет ram-диска в данном случае может и правда поможет.. попробую в ближайшее время. что с KAIO не знаю.. буду искать. автору евы все 600дисков порезаны на маленькие кусочки, эти слайсы лежат на большом количестве дисков. Более того меньше чем на 12 дисков в двух разных корзинах не положить, и вообще управлять этим невозможно. да, она сама все раскидывает. но дисками управлять можно - можно явно указать на каких дисках строить дисковую группу, а там уже и логический диск создается, вот его распределением по группе дисков управлять нельзя. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 14:19 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
DaugavaКак-то 600 дисков и 60Гб базы не вяжутся. Более того, не 60, а где-то 58 или даже вообще 52 :) Видимо на этих же FC весилится и ликует не один десяток серверов. Может проблемы с производительностью от них ползут? Вообще читаю и радуюсь, что не взял HP. IBM все таки значительно гибче в плане настройки. Совершенно верно - и на MSA1000 и на EVA4000 у нас не один сервер сидит.. смотрели загрузке FC-Switch по портам, она по все портам выше 1-10% не поднимается. только если физические диски загружены.. на MSA1000 SCSI-диски, на EVA4000 FC-диски. надеемся что с переходом на них производительность тоже возрастет. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 14:23 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteВыкладываю статистику... Мне кажется - по данной статистике - что система используется, в основном, для отчётов, что эти отчёты интенсивно используют временные таблицы, и что системе не хватает памяти. Памяти Информиксу не хватает, потому что некоторые большие таблицы часто последовательно сканируются и, вследствие этого, целиком лежат в памяти (особенно выделяются таблицы 0х600050, 0х6000fc, 0х600165, 0х60020b, 0х60044d, 0х60054d). Как следствие, сколько бы Вы памяти Информиксу не скормили, её всё равно не хватит, пока эти таблицы не будут адекватно проиндексированы (либо отчётам действительно нужны все данные из этих таблиц, и тогда стоит сменить систему или ожидания пользователей :-)) По поводу временных таблиц: если они большие, то их тоже стоит индексировать и, после этого, обновлять на них статистику. Ещё я бы увеличил размер буфера физического журнала (PHYSBUFF), пока его использование не приблизится к 75% (см. отношение pages/io к bufsize в выходе onstat -l). Возможно, на некоторых отчётах поможет повысить производительность увеличение числа виртуальных процессоров AIO (NUMAIOVPS, кажется). Если возможно, используйте KAIO. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 14:56 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Алексан GByteВыкладываю статистику... Мне кажется - по данной статистике - что система используется, в основном, для отчётов, что эти отчёты интенсивно используют временные таблицы, и что системе не хватает памяти. Памяти Информиксу не хватает, потому что некоторые большие таблицы часто последовательно сканируются и, вследствие этого, целиком лежат в памяти (особенно выделяются таблицы 0х600050, 0х6000fc, 0х600165, 0х60020b, 0х60044d, 0х60054d). Как следствие, сколько бы Вы памяти Информиксу не скормили, её всё равно не хватит, пока эти таблицы не будут адекватно проиндексированы (либо отчётам действительно нужны все данные из этих таблиц, и тогда стоит сменить систему или ожидания пользователей :-)) По поводу временных таблиц: если они большие, то их тоже стоит индексировать и, после этого, обновлять на них статистику. Ещё я бы увеличил размер буфера физического журнала (PHYSBUFF), пока его использование не приблизится к 75% (см. отношение pages/io к bufsize в выходе onstat -l). Возможно, на некоторых отчётах поможет повысить производительность увеличение числа виртуальных процессоров AIO (NUMAIOVPS, кажется). Если возможно, используйте KAIO. Данная статистика снята как раз в отчетный период, когда системы загружена на 1000% как раз отчетами. А в течение месяца в БД заносятся данные. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 15:27 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
А если всё-таки OnManager'ом поймать парочку любителей больших nreads, onstat -g sql xyz, и пойманный запросик с соответствующими структурками разобрать по полочкам? :) П.С.: Я не навязчивый - это у меня мысль навязчивая :) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 15:42 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
АнатоЛойА если всё-таки OnManager'ом поймать парочку любителей больших nreads, onstat -g sql xyz, и пойманный запросик с соответствующими структурками разобрать по полочкам? :) П.С.: Я не навязчивый - это у меня мысль навязчивая :) Да я с удовольствием! :) только вот не разумею.. если не трудно, в кратце по пунктам по подробнее подскажи ;) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2008, 18:14 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Можно почитать эту статью для получения представления об общих подходах "Оптимизация баз данных" http://www.profyclub.org/articles/299/3241 Сейчас мы поговорим о том, что такое оптимизация, кем она и когда выполняется, каковы основные принципы и как построить эффективно саму оптимизацию, сам проект, как решить эту задачу... Там, в конце статьи, и SQL.RU упоминается :) Собираются даже базу знаний на эту тему соорудить... может чего то и получиться. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2008, 19:27 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByte АнатоЛойА если всё-таки OnManager'ом поймать парочку любителей больших nreads, onstat -g sql xyz, и пойманный запросик с соответствующими структурками разобрать по полочкам? :) П.С.: Я не навязчивый - это у меня мысль навязчивая :) Да я с удовольствием! :) только вот не разумею.. если не трудно, в кратце по пунктам по подробнее подскажи ;) 1. Выясняете sid - ид сессии, которое много читалО (в порядке удобства использования: или с помощью OnManager на клиенте, или с помощью запроса из DBA-Tools, или с помощью onstat -u на сервере) 2. Исходя из предположения, что ОнО ж ещё будет опять много читать на сервере, запускаете Код: plaintext
4. Смотрите в получившемся файле sql_xxx.log поиском "Current SQL Statement" - одинаковые подряд идущие и есть долго работающее SQL выражение - это выражение и должны рассматриваться на предмет корректности текущей производительности ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2008, 20:41 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
АнатоЛой3. Через некоторое время, обнаружив что эта сессия опять успела испортить себе карму ( nreads возросли ), читать как АнатоЛой3. Через некоторое время, обнаружив что эта сессия опять успела испортить себе карму ( nreads существенно возросли - на десятки тысяч чтений ), ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2008, 20:43 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Спасибо! Завтра наклепаю скриптик для мониторинга. Буду потом анализировать. как раз отчетный период пошел.. Тема не закрывается - буду еще у Вас спрашивать! Еще раз Спасибо! ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2008, 17:15 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Ранее в этой ветке "прозвучало" что у 32-бит Информикса максимум оперативной памяти может быть использовано не более 2.9 Гб. Погуглил основательно, но нигде ссылку на официальную доку с такой цифрой найти не могу, а начальство требует или цифру или зацепить к СУБД 16Гб ОЗУ... Кто знает где можно найти эту цифру, подскажите, плиз :) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 14:42 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByte... Кто знает где можно найти эту цифру, подскажите, плиз :)в каталоге информикса есть папочка relnotes там файлик machine_notes.txt http://en.wikipedia.org/wiki/Physical_Address_Extension http://en.wikipedia.org/wiki/Address_Windowing_Extensions А луну с неба никто у Вас не просил, нет? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 15:04 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Луну пока не просили))) в моих двух Informix 7.3 нет нипапки ни файла... буду искать дальше.. кто знает где еще посмотреть - подскажите, буду признателен! ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 16:12 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByte кто знает где еще посмотреть - подскажите, буду признателен! Machine notes смотреть здесь - тынц! ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 16:16 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Огромадное СПАСИБО! Правда искал много, но часто крупные брэнды как-то по особому у себя инфу располагают :) или я уже сильно туплю... ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 16:20 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteОгромадное СПАСИБО! Правда искал много, но часто крупные брэнды как-то по особому у себя инфу располагают :) или я уже сильно туплю...гыгы, а там и не написано об этом нифига. В общем нет никаких доказательств что ids7.31UCx не может скушать 16 гиг. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 17:26 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Да-да XD ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 17:33 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Смотрел release notes. У нас стоит IDS 7.31.UD5. Для него release notes вообще близко нет.. ну посмотрел другие. Обратил внимание на отличие - в доке написано SHMBASE=0x82000000L, у нас в onconfig SHMBASE= 0xa000000 Никто не может сказать с уверенностью >50% какой правильнее? :) Еще вопрос: После наращивания ОЗУ с 4Гб до 8Гб в выводе onstat -p значение usercpu стало значительно меньше syscpu. О чем это может говорить? # onstat -p Informix Dynamic Server Version 7.31.UD5 -- On-Line -- Up 19:48:40 -- 2912520 Kbytes Profile dskreads pagreads bufreads %cached dskwrits pagwrits bufwrits %cached 58014385 1281674292 807968525 92.82 8772258 29951507 141986698 93.82 isamtot open start read write rewrite delete commit rollbk 1872860077 4472786 58727336 1619273289 63708983 175298 58690 30 0 gp_read gp_write gp_rewrt gp_del gp_alloc gp_free gp_curs 0 0 0 0 0 0 0 ovlock ovuserthread ovbuff usercpu syscpu numckpts flushes 0 0 0 20853.99 74546.13 175 472 bufwaits lokwaits lockreqs deadlks dltouts ckpwaits compress seqscans 2579090 0 488044113 0 0 239 165404 1471310 ixda-RA idx-RA da-RA RA-pgsused lchwaits 6419334 262503 1212790 7879072 8804162 ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2008, 17:58 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteСмотрел release notes. У нас стоит IDS 7.31.UD5. Для него release notes вообще близко нет.. ну посмотрел другие. Обратил внимание на отличие - в доке написано SHMBASE=0x82000000L, у нас в onconfig SHMBASE= 0xa000000 Никто не может сказать с уверенностью >50% какой правильнее? :) Это один из основных параметров, тюнинг которого позволит увеличить обьем используемой памяти процессом. Я когдато давно еще на SCO Unix пробовал высчитывать, геморойное это дело. Правильное из них любое рекомендованное IBM , только максимальный обьем памяти, которую можно отдать серверу при разных параметрах будет разный. 2-й Ход по увеличению используемой памяти это перемещать адреса загрузки разделяемых библиотек. При правильном подходе для конкретного сочетания ( верисия OS, libc, версия информикс), все это будет работать стабильно, но при изменении чего либо из вышеперечисленного нужно будет и параметры менять. GByte Еще вопрос: После наращивания ОЗУ с 4Гб до 8Гб в выводе onstat -p значение usercpu стало значительно меньше syscpu. О чем это может говорить? # onstat -p Informix Dynamic Server Version 7.31.UD5 -- On-Line -- Up 19:48:40 -- 2912520 Kbytes Profile dskreads pagreads bufreads %cached dskwrits pagwrits bufwrits %cached 58014385 1281674292 807968525 92.82 8772258 29951507 141986698 93.82 isamtot open start read write rewrite delete commit rollbk 1872860077 4472786 58727336 1619273289 63708983 175298 58690 30 0 gp_read gp_write gp_rewrt gp_del gp_alloc gp_free gp_curs 0 0 0 0 0 0 0 ovlock ovuserthread ovbuff usercpu syscpu numckpts flushes 0 0 0 20853.99 74546.13 175 472 bufwaits lokwaits lockreqs deadlks dltouts ckpwaits compress seqscans 2579090 0 488044113 0 0 239 165404 1471310 ixda-RA idx-RA da-RA RA-pgsused lchwaits 6419334 262503 1212790 7879072 8804162 Это может говорить о том что в системе используется двойная буферизация. Вы файлы используете или raw? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2008, 12:20 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Используем RAW. Но как может отразится двойная буферизация на usercpu и syscpu? Причем когда мы увеличили ОЗУ сервера с 4Гб до 8Гб и утилита sar стала говорить о сильно возросшем времени на системные события? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2008, 12:24 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteИспользуем RAW. Но как может отразится двойная буферизация на usercpu и syscpu? Причем когда мы увеличили ОЗУ сервера с 4Гб до 8Гб и утилита sar стала говорить о сильно возросшем времени на системные события? покажите ls -al ваших девайсов & onstat -d Все что Вы сказали говорит о том, что кеш файловой системы недостаточнен, процент попадания по кешу при его увеличении приктически не изменился, зато накладные расходы на его обслуживание очень возросли. Покажите sar -Bb там должны быть нули если в системе нет нагрузки на кеш, если Вы правльно используете raw, то операции ВВ идут мимо кеша ФС. Подозреваю IMHO , что весь возросший syscpu сидит в колонке fault/s из sar -B, Если ничего другого(кроме увеличения памяти) в системе не изменялось. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2008, 12:51 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
вывод sar -b, onstat -d, ls -la /dev/rdsk. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2008, 14:02 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteвывод sar -b, onstat -d, ls -la /dev/rdsk. Для полной ясности хорошо бы увидеть все в комплексе sar -ubgpd 1 30 Какие еще приложения кроме БД активно работают с файлами на сервере? Рекомендую почитать Virtual memory (VM) parameters для Unixware , думаю тюнинг этих параметров для Вашей системы позволить уменьшить syscpu. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2008, 15:33 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
автор Для полной ясности хорошо бы увидеть все в комплексе sar -ubgpd 1 30 Какие еще приложения кроме БД активно работают с файлами на сервере? Приложений больше никаких нет. Это сервер под Informix и ERP-систему MAX, которая как раз Информикс и использует в качестве хранилища. sar -ubgpd 1 30 в приложении. выполнен был уже после окончания рабочего дня. завтра в 9 по москве повторю и выложу. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2008, 16:41 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
актуальный sar -ubgpd 1 30 ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2008, 08:44 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteактуальный sar -ubgpd 1 30 А что лежит на разделе c3b0t0d2s25 ? в статистике по sar -d он есть , а во вчерашнем ls нет. Вот проблемные места которые я вижу на данный момент. sar -p atch/s The number of page faults per second that are satisfied by reclaiming a page currently in memory (attaches per second). Instances of this include reclaiming a page from the free list or using an instance of the page that is already mapped in some other process address space. vflt/s The number of address translation page faults per second. These are known as validity faults and occur when a valid page is not present in memory. slock/s This field reports the number of faults per second caused by software lock (or softlock) requests requiring physical I/O. An example of the occurrence of a softlock request is the transfer of data from a disk to memory. To ensure that the page that is to receive the data is not claimed and used by another process, it is locked by the system software. Крутить надо параметры мамяти в ОС как я и говорил раньше.. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2008, 10:35 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
автор А что лежит на разделе c3b0t0d2s25 ? в статистике по sar -d он есть , а во вчерашнем ls нет. Даже не знаю... сейчас искал-искал... Такого устройства правда нет.. Уже и на знаю где искать... ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2008, 12:11 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByte автор А что лежит на разделе c3b0t0d2s25 ? в статистике по sar -d он есть , а во вчерашнем ls нет. Даже не знаю... сейчас искал-искал... Такого устройства правда нет.. Уже и на знаю где искать... Интересно, оно блочное или символьное? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2008, 12:46 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
c3b0t0d2s25 25 это 19hex Код: plaintext 1. 2. 3. 4. 5.
... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2008, 12:59 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Журавлев Денисc3b0t0d2s25 25 это 19hex Код: plaintext 1. 2. 3. 4. 5.
25 это 19h да. только ведь c3b0t0d2s25 в выводе sar -d тоже в шестнадцатиричном формате записан... ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2008, 13:26 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByte25 это 19h да. только ведь c3b0t0d2s25 в выводе sar -d тоже в шестнадцатиричном формате записан...я все понял. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2008, 13:58 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Журавлев Денисc3b0t0d2s25 25 это 19hex Код: plaintext 1. 2. 3. 4. 5.
Всетаки был прав - в выводе sar -d ниодного hex-значение почему-то... ... |
|||
:
Нравится:
Не нравится:
|
|||
08.10.2008, 09:47 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
На странице http://publib.boulder.ibm.com/epubs/html/25120790.html обратил внимание на "INFORMIX-OnLine Shared Memory Parameters (in Bytes)" и "Kernel Parameters recommended for Informix ONLINE". Особенно бросилось в глаза SHMMAX: 409600000 Означает ли это что сервер всетаки в состоянии использовать около 4Гб ОЗУ? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.10.2008, 10:40 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteОсобенно бросилось в глаза SHMMAX: 409600000 Ну, если вы еще один нолик не потеряли при копировании :) то тогда речь идет все го лишь о 400Мб GByteОзначает ли это что сервер всетаки в состоянии использовать около 4Гб ОЗУ? 32-х розрядный - нет ... |
|||
:
Нравится:
Не нравится:
|
|||
08.10.2008, 12:30 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
shmmax maximum allowable shared memory segment size ... |
|||
:
Нравится:
Не нравится:
|
|||
08.10.2008, 12:41 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByte, а вы какую именно update statistics делаете? Желательно делать update statistics high для каждой таблицы с resolution например 0.1 Если же вы едаете просто "update statistics", то статистика с высоким разрешением может очень сильно помочь. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.10.2008, 18:09 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
глядя onstatp -p очень подозрительно, что syscpu > usercpu в норме, когда syscpu<<usercpu. в моей практике так чаще всего бывало, когда были проблемы с дисковой подсистемой. У вас есть FC интерфейсы. Посмотрите коэффициент загрузки интерфейса и среднее время выполнения запроса ввода-вывода. Еслиб у вас был солярис, то я бы и команду подсказал, а так... увы. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.10.2008, 18:18 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
Да база у нас лежит в SAN - по FC. Загрузку интерфейса мы смотрели на оптическом коммутаторе, она низкая. Изучаю настройки памяти в Unixware. Честно говоря я в ахуе от вообще наличия оных :) Думаю что проблема в данном случае еще и там... ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2008, 14:44 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteДа база у нас лежит в SAN - по FC. Загрузку интерфейса мы смотрели на оптическом коммутаторе, она низкая. Изучаю настройки памяти в Unixware. Честно говоря я в ахуе от вообще наличия оных :) Думаю что проблема в данном случае еще и там... Смотреть утилизацию интерфейса FC недостаточно. Надо смотреть еще среднее время выполнения запроса ввода-вывода. Это на коммутаторе врядли посмотришь. Смотреть надо в ОС. Подозрение вызывает то что syscpu очень велико. Такое например возможно когда informix запросил данные с диска, а операция чтения (которая в ядре) выполняется долго. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2008, 11:03 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
cpr Подозрение вызывает то что syscpu очень велико. Такое например возможно когда informix запросил данные с диска, а операция чтения (которая в ядре) выполняется долго. Не сколько долго сколько накладно для процессора. Риторический вопрос/ответ к автору топика почему ВВ в raw накладен для процессора, если ВВ в raw должен производиться через DMA и не грузить процессор вообще ( он может добавить wio, но не syscpu). Ответ: Потому, что это не raw ( не настоящий raw). Вы приблизитесь к ответу когда найдете ответ на уже заданный один раз вопрос: автор А что лежит на разделе c3b0t0d2s25 ? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2008, 12:45 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
авторА что лежит на разделе c3b0t0d2s25 ? В этом чанке одна большая таблица и множество кусков других небольших таблиц. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2008, 13:15 |
|
Производтельность Информикс 7.3
|
|||
---|---|---|---|
#18+
GByteавторА что лежит на разделе c3b0t0d2s25 ? В этом чанке одна большая таблица и множество кусков других небольших таблиц. Покажете его ls -al & onstat -d для него со всеми ссылками(если они есть). Мне почему-то кажется что к БД он подключен не как raw. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2008, 13:29 |
|
|
start [/forum/topic.php?all=1&fid=44&tid=1607979]: |
0ms |
get settings: |
10ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
65ms |
get topic data: |
13ms |
get forum data: |
2ms |
get page messages: |
82ms |
get tp. blocked users: |
2ms |
others: | 11ms |
total: | 204ms |
0 / 0 |