Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Informix [игнор отключен] [закрыт для гостей] / Вопрос по оптимизации. / 22 сообщений из 22, страница 1 из 1
26.04.2010, 16:07
    #36598786
KyRo
KyRo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
Добрый день.

Последнее время в логе информикса стали появляться сообщения вида

Код: plaintext
Buffer pool size is too small for read ahead operation

При этом сервер перестает отвечать на пару секунд и потом опять все нормально .

У меня стоит IDS 11.10 UC2
параметры буферов

Код: plaintext
1.
2.
3.
BUFFERPOOL      default,buffers= 1000 ,lrus= 8 ,lru_min_dirty= 50 . 000000 ,lru_max_dirty= 60 . 000000 
BUFFERPOOL      size=128K,buffers= 50000 ,lrus= 8 ,lru_min_dirty= 50 . 000000 ,lru_max_dirty= 60 . 000000 
BUFFERPOOL      size=2K,buffers= 1000 ,lrus= 8 ,lru_min_dirty= 50 . 000000 ,lru_max_dirty= 60 . 000000

Подскажите как про оптимизировать Инофрмикс и чего ему вообще не хватает ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.04.2010, 16:11
    #36598798
В.К.
В.К.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
KyRo,

А значения параметров RA_PAGES и RA_THRESHOLD не подскажете? Ну и результат выполнения

onstat -p

может кому-нибудь потом пригодиться.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.04.2010, 16:35
    #36598869
KyRo
KyRo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
Значение параметров RA в конфиге не проставлены

Код: plaintext
1.
2.
3.
# Read Ahead Variables
RA_PAGES                        # Number of pages to attempt to read ahead
RA_THRESHOLD                    # Number of pages left before next group

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
[root@onldb2 ~]# onstat -p

IBM Informix Dynamic Server Version  11 . 10 .UC2     -- On-Line -- Up 49420 days 17:43:24 -- 779424 Kbytes

Profile
dskreads   pagreads   bufreads   %cached dskwrits   pagwrits   bufwrits   %cached
 239124814    314284665    1442221057   83 . 42     21064904     39000625     49685274     57 . 74 

isamtot    open       start      read       write      rewrite    delete     commit     rollbk
 412955063    4076171      15288731     201978324    1993894      5836892      2988849      7775837      0 

gp_read    gp_write   gp_rewrt   gp_del     gp_alloc   gp_free    gp_curs
 0            0            0            0            0            0            0 

ovlock     ovuserthread ovbuff     usercpu  syscpu   numckpts   flushes
 0            0              12891        8980 . 33    5771 . 95    899          920 

bufwaits   lokwaits   lockreqs   deadlks    dltouts    ckpwaits   compress   seqscans
 13897486     101676       931150707    1            0            149          170033       202488 

ixda-RA    idx-RA     da-RA      RA-pgsused lchwaits
 3518906      14233        167997178    171258721    512476
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.04.2010, 16:47
    #36598907
GVF112GVF
GVF112GVF
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
KyRo,

Обратите внимание:

ovlock ovuserthread ovbuff usercpu syscpu numckpts flushes
0 0 12891 8980.33 5771.95 899 920

bufwaits lokwaits lockreqs deadlks dltouts ckpwaits compress seqscans
13897486 101676 931150707 1 0 149 170033 202488

Думаю, что Вамнужно пересмотреть значение параметров - buffers,lrus,lru_min_dirt,lru_max_dirty

Для начала,
попробуйте увеличить значение - buffers.
Желательно установить число lrus таким образом, чтобы отношение buffers/lrus = 1200.

Далее, можно оптимизировать значение параметров - lru_min_dirt,lru_max_dirty.

С уважением,
Вадим.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.04.2010, 16:53
    #36598930
GVF112GVF
GVF112GVF
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
KyRo,

Попробуйте оптимизировать длительность прохождение контрольной точки !!!

bufwaits lokwaits lockreqs deadlks dltouts ckpwaits compress seqscans
13897486 101676 931150707 1 0 149 170033 202488

1. Увеличит значение lrus
2. уменьшить пороги - min_dirt,lru_max_dirty
3. и т.д.

С уважением,
Вадим.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.04.2010, 18:07
    #36599118
vasilis
vasilis
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
KyRoпараметры буферов
BUFFERPOOL default,buffers=1000,lrus=8,lru_min_dirty=50.000000,lru_max_dirty=60.000000
BUFFERPOOL size=128K,buffers=50000,lrus=8,lru_min_dirty=50.000000,lru_max_dirty=60.000000
BUFFERPOOL size=2K,buffers=1000,lrus=8,lru_min_dirty=50.000000,lru_max_dirty=60.000000
Подскажите как про оптимизировать Инофрмикс и чего ему вообще не хватает ?
У вас не все стыкуется - 50тыс буферов по 128К уже в сумме более 6 Гб, а в другом сообщениии вы показываете, что сервер занял менее 800Мб. Зачем вообще такие огромные буферные страницы ? Кто их установил и когда ? У вас есть такие страницы на диске ?
И почему так мало 2Кб страниц ? мне кажется, что у вас работает только этот маленький пул на 1000 страниц...
Такое впечатление, что кто-то правил onconfig не совсем понимая смысла параметров
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.04.2010, 21:15
    #36599408
victor16
victor16
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
Размер страницы (значение size параметра BUFFERPOOL) не может быть больше 16К.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.04.2010, 09:32
    #36599916
Andron
Andron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
KyRo
...

У меня стоит IDS 11.10 UC2
параметры буферов

Код: plaintext
1.
2.
3.
BUFFERPOOL      default,buffers= 1000 ,lrus= 8 ,lru_min_dirty= 50 . 000000 ,lru_max_dirty= 60 . 000000 
BUFFERPOOL      size=128K,buffers= 50000 ,lrus= 8 ,lru_min_dirty= 50 . 000000 ,lru_max_dirty= 60 . 000000 
BUFFERPOOL      size=2K,buffers= 1000 ,lrus= 8 ,lru_min_dirty= 50 . 000000 ,lru_max_dirty= 60 . 000000

Подскажите как про оптимизировать Инофрмикс и чего ему вообще не хватает ?

Покажите вывод команды onstat -b ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.04.2010, 10:13
    #36599997
zaiets
zaiets
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
BUFFERPOOL size=128K,buffers=50000,lrus=8,lru_min_dirty=50.000000,lru_max_dirty=60.000000
сервером ігнорується

отже, проблема або для дефолтного з 2к - відверто замалий розмір
BUFFERPOOL size=2K,buffers=1000,lrus=8,lru_min_dirty=50.000000,lru_max_dirty=60.000000
або для невказаного у онконфігу буферному пулі для простору з іншим розміром сторінки.

А весь об'єм дає віртуальний сегмент.

А параметри RA_... насправді не 0


Господин zaiets, просьба придерживаться правил конференции. Уважайте наших не украинских коллег. Daugava
ПравилаОграничения
Официальный язык форума - русский. Однако допускаются сообщения, написанные транслитом и на английском языке. Использование других языков возможно при цитировании либо в других исключительных случаях.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.04.2010, 11:05
    #36600120
KyRo
KyRo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
авторУ вас не все стыкуется - 50тыс буферов по 128К уже в сумме более 6 Гб, а в другом сообщениии вы показываете, что сервер занял менее 800Мб. Зачем вообще такие огромные буферные страницы ? Кто их установил и когда ? У вас есть такие страницы на диске ?
И почему так мало 2Кб страниц ? мне кажется, что у вас работает только этот маленький пул на 1000 страниц...
Такое впечатление, что кто-то правил onconfig не совсем понимая смысла параметров

Вы правы , данные параметры были перенесены с старой версии информикса на новую версию и новое оборудование без каких то умозаключений и на скорую руку и пока все работало не кто не задумывался.
Теперь как проблема вроде как намечается , я взялся это все исправить , что правда у меня есть огромные пробелы в знаниях по оптимизации Informix . По этому если Вы знаете где можно увидеть какую то русско язычную документацию по данному вопросу , я был бы очень благодарен.
автор
Покажите вывод команды onstat -b ?


Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
Buffers
address  userthread flgs pagenum          memaddr  nslots pgflgs xflgs owner    waitlist

Buffer pool page size:  2048 
67545f98  0            0      6 : 10118511        676f3000  1        809      80     67b17d10  0 
 67548308   0            823    15 : 806800         6771b800  1        809      10      0          0 
67548a08  0            823    15 : 806812          67723800   1        809      10      0          0 
6754e498  0            823    15 : 806807         6778b000  1        809      10      0          0 
67550d48  0            802    6 : 10113063        677b9800  55       810      10      0          0 
67550db8  0            823    14 : 9148823        677ba000  43       890      10      0          0 
67550f08  0            823    15 : 806819         677bb800  1        809      10      0          0 
67551d78  0           c23   5 : 1152192         677cc000  3        2801     10      0          0 
 67558608   0            0      5 : 1340182          67843800   1        809      80     67b30ae4  0 
6755b1c8  0            802    15 : 312268          67875800   1        801      10      0          0 
6755cc08  0            802    15 : 312270          67893800   1        809      80     67b17188  0 
  548  modified,  1000  total,  1024  hash buckets,  2048  buffer size

авторабо для невказаного у онконфігу буферному пулі для простору з іншим розміром сторінки.

А что Вы имеете ввиду под не указанным в onconfig ? Я думал что все должно быть прописано в конфиге .
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.04.2010, 11:30
    #36600194
Andron
Andron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
В данный момент, судя по выводу onstat -b, ваша база имеет буферный пул 2048 буферов или всего 2 Мб, что очень мало! Увеличьте размер буферного пула с размером страницы 2к. Выделите для информикса процентов 30 минимум под буферный пул от размера физической памяти на сервере.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.04.2010, 17:10
    #36601234
vasilis
vasilis
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
Andronимеет буферный пул 2048 буферов...
душа требует точности, поэтому немного поправлю :) - всего 1000 буферов.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.04.2010, 17:16
    #36601250
vasilis
vasilis
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
KyRoТеперь как проблема вроде как намечается , я взялся это все исправить , что правда у меня есть огромные пробелы в знаниях по оптимизации Informix . По этому если Вы знаете где можно увидеть какую то русско язычную документацию по данному вопросу , я был бы очень благодарен.

Вам пока нужна не оптимизация, а стандартная настройка и конфигурирование сервера, с пониманием всех основных параметров. Для этого вполне достаточно осилить Руководство администратора, на которое неоднократно ссылались здесь на форуме и которое было на русском языке для разных версий. См. http://www.sql.ru/faq/faq_topic.aspx?fid=981 - вначале есть ссылки на документацию и , возможно, особенно вам будет полезен перевод книги (см. в конце статьи).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.04.2010, 20:53
    #36601647
Andron
Andron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
vasilisAndronимеет буферный пул 2048 буферов...
душа требует точности, поэтому немного поправлю :) - всего 1000 буферов.

да, немного ошибся, 1000 буферов по 2 Кб, или 2048 Кбайт :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.04.2010, 11:31
    #36602459
KyRo
KyRo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
Спасибо всем. Буду читать доки.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.06.2010, 09:29
    #36679797
KyRo
KyRo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
и так в процессе оптимизации установил новые следующие параметры

Код: plaintext
1.
2.
3.
4.
5.
6.
TBLSPACE_STATS   0 
CLEANERS         12  
DS_NONPDQ_QUERY_MEM  1024  
DS_MAX_QUERIES   10                 # Maximum number of decision support queries
DS_TOTAL_MEMORY  50000 
BUFFERPOOL      size=2K,buffers= 200000 ,lrus= 128 ,lru_min_dirty= 10 . 000000 ,lru_max_dirty= 30 . 000000

И все вроде хорошо , но настораживает тот факт что после установки параметров , у меня на сервере нет не одного чекпоинта в течении 2.5 часов.
Нормально ли это и чем это может быть чревато в случае чего ?

Сразу скажу что на сервере установлен параметр

Код: plaintext
1.
AUTO_CKPTS       1 
CKPTINTVL        300
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.06.2010, 10:42
    #36679921
Andron
Andron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
Версия сервера у вас по прежнему 11.10 ? Чекпоинты могут не идти если на сервере нет изменений данных, у меня на тестовых такое бывает.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.06.2010, 10:45
    #36679929
klepa
klepa
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
KyRo
И все вроде хорошо , но настораживает тот факт что после установки параметров , у меня на сервере нет не одного чекпоинта в течении 2.5 часов.
Нормально ли это и чем это может быть чревато в случае чего ?

Сразу скажу что на сервере установлен параметр

Код: plaintext
1.
AUTO_CKPTS       1 
CKPTINTVL        300


Наверное нет условий для ее возникновения.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.06.2010, 11:14
    #36680010
KyRo
KyRo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
Да действительно на сервере не было нагрузки . Как пошла нагрузка , они стали сразу по 20 -30 секунд.
Пришлось уменьшить количество буферов и lrus до 100000 и 90 . И заодно отключил автоматическое формирование контрольной точки и поставил фиксированную , раз в 5 мин.

Подскажите, как вообще лучше , что бы чекпоинт был автоматический (AUTO_CKPTS =1) или фиксированный (AUTO_CKPTS =0)?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.06.2010, 11:24
    #36680050
Andron
Andron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
IBM говорит что автоматические неблокирующие чекпоинты лучше, чем обычные автоматические, но логика подсказывает что в каждом конкретном случае можно и посмотреть. Например для неблокирующих может нехватать места в физ.журнале, тогда сервер переключится в режим обычных. При этом для неблокирующих IO в физ.журнал выше, но опять же надо мониторить насколько выше он будет по сравнению с обычными, и вообще будет ли это сильно сказываться на нагрузке дисков или нет.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.06.2010, 11:58
    #36680171
Журавлев Денис
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
AndronПри этом для неблокирующих IO в физ.журнал вышеЯ думаю не выше. Просто если место есть в физлоге продолжается запись в него в момент сброса буферов в чекпоинте, вместо того чтобы заблокировать пишущие сессии. Неблокирующие чекпоинты, на самом деле блокируют, просто этапов на которых блокируется стало меньше.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.06.2010, 12:18
    #36680265
KyRo
KyRo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по оптимизации.
В общем как я понял , если будут блокировки транзакций то стоит возобновить, если и так все хорошо то можно и оставить.
Буду мониторить.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Informix [игнор отключен] [закрыт для гостей] / Вопрос по оптимизации. / 22 сообщений из 22, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 484ms
Закрыть
start [/forum/topic.php?fid=44&tablet=1&tid=1607558]:
 0ms
get settings:
 11ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 50ms
get topic data:
 14ms
get forum data:
 3ms
get page messages:
 59ms
get tp. blocked users:
 2ms
others: 323ms
total:  484ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]