ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Informix [игнор отключен] [закрыт для гостей] / длинный чекпойнт-2
25 сообщений из 28, страница 1 из 2
  1  все
длинный чекпойнт-2
    #32369661
msa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msa
Гость
добрался наконец со своим конфигом до инета :)
я сократил малость лишнее и коментарии убрал..
в начале кратко о системе и БД: RS/6000, 2 процессора, 4 гига RAM, дисковая подсистема - RAID зеркалированием, диски группами по 4 штуки (то что под БД), нарезаны по 2 гига, поскольку эта версия не понимает девайсы большего размера. dbspac-ов 4 под данные, 4 под темпы. БД созданы в root dbs, а таблицы - в dbspac-ах для данных. Данные размазываются BY ROUND ROBIN по этим пространствам. Приложения в основном занимаются вставкой строк, минимум UPDAT-ов, и несложные запросы на чтение данных. Массовое чтение вечером при генерации печатных форм, вроде старался чтоб делали запросы по индексам (кстати, может быть индексов слишком много ? :).
Вот конфиг, урезанный слегка...

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
113.
114.
115.
116.
117.
118.
119.
120.
121.
122.
123.
124.
125.
126.
127.
128.
129.
130.
131.
132.
133.
134.
135.
136.
137.
138.
139.
140.
141.
142.
143.
144.
145.
146.
147.
148.
149.
150.
151.
152.
153.
154.
155.
156.
157.
158.
159.
160.
161.
162.
163.
164.
165.
166.
167.
168.
169.
170.
171.
172.
173.
174.
175.
176.
177.
178.
179.
180.
181.
182.
183.
184.
185.
186.
187.
188.
189.
190.
191.
192.
193.
194.
195.
196.
197.
198.
199.
200.
201.
202.
203.
204.
205.
206.
207.
208.
209.
210.
211.
212.
213.
214.
215.
216.
217.
218.
219.
220.
221.
222.
223.
224.
225.
226.
227.
228.
229.
230.
231.
232.
233.
234.
235.
236.
237.
238.
239.
240.
241.
242.
243.
244.
245.
246.
247.
248.
249.
250.
251.
252.
253.
254.
255.
256.
257.
258.
259.
260.
261.
262.
263.
264.
265.
266.
267.
268.
269.
270.
271.
272.
273.
274.
275.
276.
277.
278.
279.
280.
ROOTNAME        rootdbs
ROOTPATH        /dev/dbssa11
ROOTOFFSET       0 
ROOTSIZE         100000 

MIRROR           0 
MIRRORPATH
MIRROROFFSET     0 

PHYSDBS         logs1_dbs
PHYSFILE         12000 

LOGFILES         100 
LOGSIZE          1000 

TBLSPACE_STATS   1 

TAPEDEV         /dev/null
LTAPEDEV        /dev/null

SERVERNUM        0 
NETTYPE         soctcp, 1 , 150 ,
NETTYPE         ipcshm, 1 , 150 ,CPU
DEADLOCK_TIMEOUT  6000 
RESIDENT         0 

MULTIPROCESSOR   1 
NUMCPUVPS        2 
SINGLE_CPU_VP    0 

NOAGE            1 
AFF_SPROC        0 
AFF_NPROCS       0 

LOCKS            80000 
BUFFERS          50000 
NUMAIOVPS        2 
PHYSBUFF         1024 
LOGBUFF          512 
LOGSMAX          200 
CLEANERS         16 
SHMBASE         0x30000000
SHMVIRTSIZE      262144 
SHMADD           65536 
SHMTOTAL         0 
CKPTINTVL        120 
LRUS             4 
#LRUS             16 
#LRU_MAX_DIRTY    60 
#LRU_MIN_DIRTY    45 
LRU_MIN_DIRTY    20 
LRU_MAX_DIRTY    30 
LTXHWM           50 
LTXEHWM          60 
#TXTIMEOUT       0x258
TXTIMEOUT       0x15180
STACKSIZE        32 

RA_PAGES         12 
RA_THRESHOLD     5 

DBSPACETEMP     temp1_dbs,temp2_dbs,temp3_dbs,temp4_dbs
FILLFACTOR       70 

USEOSTIME        1 

MAX_PDQPRIORITY  100 
DS_MAX_QUERIES   64 
DS_TOTAL_MEMORY  65536 
DS_MAX_SCANS     256 

OPTCOMPIND       2 

LBU_PRESERVE     0 
OPCACHEMAX       0 

HETERO_COMMIT    0                
OPT_GOAL        - 1               

DIRECTIVES       1                

#########################
далее статистики на  13 : 00 
> onstat -p

Informix Dynamic Server Version  7 . 31 .UC3     -- On-Line -- Up 146 days 05:42:38 -- 475296 Kbytes
 

Profile
dskreads pagreads bufreads %cached dskwrits pagwrits bufwrits %cached
 830796     891643     30257308   97 . 25     204486     305675     1219795    83 . 24   

isamtot  open     start    read     write    rewrite  delete   commit   rollbk
 25380035   1211009    981845     16666368   133592     54229      365        56853      0 

gp_read  gp_write gp_rewrt gp_del   gp_alloc gp_free  gp_curs 
 0          0          0          0          0          0          0        

ovlock   ovuserthread ovbuff   usercpu  syscpu   numckpts flushes 
 0          0              0          2273 . 85    122 . 11     112        224      

bufwaits lokwaits lockreqs deadlks  dltouts  ckpwaits compress seqscans
 97272      4          20959589   0          0          87         12947      1614     

ixda-RA  idx-RA   da-RA    RA-pgsused lchwaits
 13382      438        705752     702468       34       
#####################
> onstat -F
Fg Writes     LRU Writes    Chunk Writes 
 0               0               125599        

address  flusher  state    data    
4004e500  0         I         0         = 0X0       
4004e9ec  1         I         0         = 0X0       
4004eed8  2         I         0         = 0X0       
4004f3c4  3         I         0         = 0X0       
4004f8b0  4         I         0         = 0X0       
4004fd9c  5         I         0         = 0X0       
 40050288   6         I         0         = 0X0       
 40050774   7         I         0         = 0X0       
40050c60  8         I         0         = 0X0       
4005114c  9         I         0         = 0X0       
 40051638   10        I         0         = 0X0       
40051b24  11        I         0         = 0X0       
 40052010   12        I         0         = 0X0       
400524fc  13        I         0         = 0X0       
400529e8  14        I         0         = 0X0       
40052ed4  15        I         0         = 0X0       
      states: Exit Idle Chunk Lru

##################### 3 
>onstat -R

Informix Dynamic Server Version  7 . 31 .UC3     -- On-Line -- Up 146 days 05:42:38 -- 475296 Kbytes
 

 4  buffer LRU queue pairs                     priority levels
# f/m  pair total  % of    length     LOW   MED_LOW  MED_HIGH   HIGH
  0  f      12468      95 . 5 %     11909          1       8151       3632        125 
  1  m                4 . 5 %       559          0        559          0          0 
  2  f      12469      95 . 2 %     11875          0       8389       3401         85 
  3  m                4 . 8 %       594          0        594          0          0 
  4  f      12470      95 . 7 %     11933          1       8414       3456         62 
  5  m                4 . 3 %       537          0        537          0          0 
  6  F      12466      95 . 6 %     11913          1       8126       3700         86 
  7  m                4 . 4 %       553          0        553          0          0 
 2243  dirty,  49873  queued,  50000  total,  65536  hash buckets,  4096  buffer size
start clean at  30 % (of pair total) dirty, or  3750  buffs dirty, stop at  20 %
 0  priority downgrades,  0  priority upgrades

########################
>onstat -D

Informix Dynamic Server Version  7 . 31 .UC3     -- On-Line -- Up 146 days 05:42:38 -- 475296 Kbytes
 

Dbspaces
address  number   flags    fchunk   nchunks  flags    owner    name
4004c13c  1          1          1          4         N        informix rootdbs
4004df50  2          1          5          2         N        informix logs1_dbs
40080abc  3          1          7          2         N        informix logs2_dbs
40080b78  4          2001       9          1         N T      informix temp1_dbs
40080c34  5          2001       10         1         N T      informix temp2_dbs
40080cf0  6          2001       11         1         N T      informix temp3_dbs
40080dac  7          1          12         4         N        informix index_dbs
40080e68  8          1          16         4         N        informix data0_dbs
40080f24  9          1          20         2         N        informix data1_dbs
40080fe0  10         1          23         2         N        informix data2_dbs
4008109c  11         1          26         2         N        informix data3_dbs
 40081158   12         1          29         2         N        informix data4_dbs
 40081214   13         2001       32         1         N T      informix temp4_dbs
400812d0  14         1          21         4         N        informix arch1_dbs
4008138c  15         1          24         4         N        informix arch2_dbs
 40081448   16         1          27         4         N        informix arch3_dbs
 40081504   17         1          30         4         N        informix arch4_dbs
  17  active,  2047  maximum

Chunks
address  chk/dbs offset   page Rd  page Wr  pathname
4004c1f8  1     1     0          197        188       /dev/dbssa11
4004c9d4  2     1     0          321        10        /dev/dbssa21
4004cab0  3     1     0          0          0         /dev/dbssa31
4004cb8c  4     1     0          0          0         /dev/dbssa41
4004cc68  5     2     25000      0          83866     /dev/dbssa11
4004cd44  6     2     25000      0          0         /dev/dbssa21
4004ce20  7     3     25000      0          88330     /dev/dbssa31
4004cefc  8     3     25000      0          750       /dev/dbssa41
4004cfd8  9     4     50000      1842       4805      /dev/dbssa11
4004d0b4  10    5     50000      1885       4839      /dev/dbssa21
4004d190  11    6     50000      1816       4777      /dev/dbssa31
4004d26c  12    7     100000     12340      22924     /dev/dbssa11
4004d348  13    7     100000     20682      36662     /dev/dbssa21
4004d424  14    7     100000     2245       7610      /dev/dbssa31
4004d500  15    7     100000     142        0         /dev/dbssa41
4004d5dc  16    8     0          25714      771       /dev/dbssa12
4004d6b8  17    8     0          0          0         /dev/dbssa22
4004d794  18    8     0          0          0         /dev/dbssa32
4004d870  19    8     0          0          0         /dev/dbssa42
4004d94c  20    9     100000     206895     11229     /dev/dbssa12
4004da28  21    14    0          0          0         /dev/dbssa13
4004db04  22    14    0          0          0         /dev/dbssa14
4004dbe0  23    10    100000     204462     11518     /dev/dbssa22
4004dcbc  24    15    0          0          0         /dev/dbssa23
4004dd98  25    15    0          0          0         /dev/dbssa24
4004de74  26    11    100000     205148     11251     /dev/dbssa32
 40075628   27    16    0          0          0         /dev/dbssa33
 40075704   28    16    0          0          0         /dev/dbssa34
400757e0  29    12    100000     206154     11377     /dev/dbssa42
400758bc  30    17    0          0          0         /dev/dbssa43
 40075998   31    17    0          0          0         /dev/dbssa44
40075a74  32    13    50000      1800       4768      /dev/dbssa41
40075b50  33    14    0          0          0         /dev/dbssa15
40075c2c  34    9     0          0          0         /dev/dbssa16
40075d08  35    15    0          0          0         /dev/dbssa25
40075de4  36    10    0          0          0         /dev/dbssa26
40075ec0  37    16    0          0          0         /dev/dbssa35
 40080828   38    11    0          0          0         /dev/dbssa36
 40080904   39    17    0          0          0         /dev/dbssa45
400809e0  40    12    0          0          0         /dev/dbssa46
40fa2e3c  41    14    0          0          0         /dev/dbssa17
40fa2f18  42    15    0          0          0         /dev/dbssa27
40fa2ff4  43    16    0          0          0         /dev/dbssa37
40fa30d0  44    17    0          0          0         /dev/dbssa47
  44  active,  2047  maximum
####################
>onstat -g iof

Informix Dynamic Server Version  7 . 31 .UC3     -- On-Line (CKPT REQ) -- Up 146 days 05:42:38 -- 475296 Kbytes
 
Blocked:CKPT 

AIO global files:
gfd pathname         totalops  dskread dskwrite  io/s
   3  /dev/dbssa11           385        197        188     0 . 0 
   4  /dev/dbssa21           330        321          9     0 . 0 
   5  /dev/dbssa31             0          0          0     0 . 0 
   6  /dev/dbssa41             0          0          0     0 . 0 
   7  /dev/dbssa11           408          0        408     0 . 0 
   8  /dev/dbssa21             0          0          0     0 . 0 
   9  /dev/dbssa31         76746          0      76746     5 . 3 
  10  /dev/dbssa41           730          0        730     0 . 1 
  11  /dev/dbssa11           816        273        543     0 . 1 
  12  /dev/dbssa21           815        283        532     0 . 1 
  13  /dev/dbssa31           791        256        535     0 . 1 
  14  /dev/dbssa11         32622      11884      20738     2 . 3 
  15  /dev/dbssa21         50505      20668      29837     3 . 5 
  16  /dev/dbssa31          7079       2239       4840     0 . 5 
  17  /dev/dbssa41           140        140          0     0 . 0 
  18  /dev/dbssa12          5954       5416        538     0 . 4 
  19  /dev/dbssa22             0          0          0     0 . 0 
  20  /dev/dbssa32             0          0          0     0 . 0 
  21  /dev/dbssa42             0          0          0     0 . 0 
  22  /dev/dbssa12         40227      37669       2558     2 . 8 
  23  /dev/dbssa13             0          0          0     0 . 0 
  24  /dev/dbssa14             0          0          0     0 . 0 
  25  /dev/dbssa22         39645      37032       2613     2 . 8 
  26  /dev/dbssa23             0          0          0     0 . 0 
  27  /dev/dbssa24             0          0          0     0 . 0 
  28  /dev/dbssa32         38269      35632       2637     2 . 7 
  29  /dev/dbssa33             0          0          0     0 . 0 
  30  /dev/dbssa34             0          0          0     0 . 0 
  31  /dev/dbssa42         38465      35897       2568     2 . 7 
  32  /dev/dbssa43             0          0          0     0 . 0 
  33  /dev/dbssa44             0          0          0     0 . 0 
  34  /dev/dbssa41           820        261        559     0 . 1 
  35  /dev/dbssa15             0          0          0     0 . 0 
  36  /dev/dbssa46             0          0          0     0 . 0 
  37  /dev/dbssa25             0          0          0     0 . 0 
  38  /dev/dbssa36             0          0          0     0 . 0 
  39  /dev/dbssa35             0          0          0     0 . 0 
  40  /dev/dbssa26             0          0          0     0 . 0 
  41  /dev/dbssa45             0          0          0     0 . 0 
  42  /dev/dbssa16             0          0          0     0 . 0 
  43  /dev/dbssa17             0          0          0     0 . 0 
  44  /dev/dbssa47             0          0          0     0 . 0 
  45  /dev/dbssa37             0          0          0     0 . 0 
  46  /dev/dbssa27             0          0          0     0 . 0 
  49   03930333 .cvo
...
Рейтинг: 0 / 0
06.01.2004, 16:46
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32371031
Выбегалло
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбегалло
Участник
Поскольку LRU writes вообще нет, то I/O система скорей всего недогружена между чекпойнтами. Для оптимизации я бы поставил LRU_MIN_DIRTY 1, LRU_MAX_DIRTY 2 и посмотрел как она себя поведет. Кроме того, 4 LRU - совершенно недостаточно, увеличь хотя бы до 64. Можно так же сократить CKPTINTVL до 60.


В таком вот аксепте
...
Рейтинг: 0 / 0
09.01.2004, 05:19
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32371153
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
А кусок лога с чекпоинтами? Насколько они длинные?

msaв начале кратко о системе и БД: RS/6000, 2 процессора, 4 гига RAM,

4 гига, а под буферы отданно 200 МГб? Жалко? Кэширование всего 97.25%/83.24%. Увеличивай buffers, правда из-за этого чекпоинт может еще вырасти.

msa
дисковая подсистема - RAID зеркалированием, диски группами по 4 штуки (то что под БД), нарезаны по 2 гига, поскольку эта версия не понимает девайсы большего размера. dbspac-ов 4 под данные, 4 под темпы. БД созданы в root dbs, а таблицы - в dbspac-ах для данных. Данные размазываются BY ROUND ROBIN по этим пространствам.
Я надеюсь маленькие таблицы не размазаны? Индексы attached? На каком диске physlog (PHYSDBS logs1_dbs). А физический и логический логи на каком зеркале? Вместе с данными?
Я бы сделал страйп+зеркало.


msa
Chunks
address chk/dbs offset page Rd page Wr pathname
4004c1f8 1 1 0 197 188 /dev/dbssa11
4004c9d4 2 1 0 321 10 /dev/dbssa21


offset 0? Как такое возможно? Чего-то у меня со зрением?
Надеюсь используются character device & kaio ?

В общем во время чекпоинта с помощью sar мониторишь кто что делает, и насколько равномерна нагрузка на диски.

msa
Приложения в основном занимаются вставкой строк, минимум UPDAT-ов, и несложные запросы на чтение данных. Массовое чтение вечером при генерации печатных форм, вроде старался чтоб делали запросы по индексам
А когда чекпоинт длинный вечером?

msa(кстати, может быть индексов слишком много ? :).
все возможно.
...
Рейтинг: 0 / 0
09.01.2004, 09:48
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32371162
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
Еще раз перечитал. Непонятно сколько дисков.
8 дисков? 4 зеркала по 2 диска?
...
Рейтинг: 0 / 0
09.01.2004, 09:58
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32371382
Фотография Daugava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Daugava
Участник
Журавлев Денис
offset 0? Как такое возможно? Чего-то у меня со зрением?

А в чем проблема? Для некоторых систем действительно рекомендуют делать offset отличным от нуля (дабы предовратить случайную запись в начало диска), но IMO это надо сделать еще на этапе деления партиций, а не при разбиении чанков.

В остальном согласен.
Кроме того, по onconfig дополнения:

1. TBLSPACE_STATS 0 -- как уже говорилось ранее, на сборе табличной статистики идет 10-15% потеря производительности.
2. RESIDENT -1 -- на сервере кроме Informix-a ничего нет? Почему бы его не сделать резидентным?
3.
LTXHWM 45
LTXEHWM 54 -- с дефолтными значениями этих параметров существует вероятность угробить сервер длинной транзакцией.
4. MAX_PDQPRIORITY 100 -- а приложения оптимизированны под PDQ ? Если нет, то выключить.
...
Рейтинг: 0 / 0
09.01.2004, 12:32
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32371389
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
DaugavaА в чем проблема? Для некоторых систем действительно рекомендуют делать offset отличным от нуля (дабы предовратить случайную запись в начало диска), но IMO это надо сделать еще на этапе деления партиций, а не при разбиении чанков.

Я то всегда считал что в начало тома ОС пишет служебную информацию (на моем AIX4.3.3 это видно если воспользоваться dd), затирать которую крайне не рекомендуется.
...
Рейтинг: 0 / 0
09.01.2004, 12:40
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32371494
Фотография Daugava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Daugava
Участник
Журавлев ДенисЯ то всегда считал что в начало тома ОС пишет служебную информацию (на моем AIX4.3.3 это видно если воспользоваться dd), затирать которую крайне не рекомендуется.
IBM действительно для AIX рекомендует делать offset 512 байт. Дабы предохранить данные VTOC. Я почему-то был уверен, что VTOC хранится в начале диска, и вводить offset для каждого девайса (партиции) совсем не обязательно (кстати для моего Solaris это именно так).
...
Рейтинг: 0 / 0
09.01.2004, 13:50
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32371505
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
ну AIX вообще забавная ось. Когда я узнал что могу переносить волумы (чанки) с диска на диск, на ходу, был удивлен сильно (минут 10 думал как такое возможно?).
...
Рейтинг: 0 / 0
09.01.2004, 13:59
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32371705
msa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msa
Гость
Ответы по порядку :)
- интервал между чекпойнтами и так 2 минуты, куда чаще то ??
- чекпойнты до 20 секунд
- чекпойнты длинные днем, в период активной заброски данных (платежи). Вечером, и в период затишья 0-вые конечно ж.
- во время чекпойнта трепал системщика как-то посмотреть что там творится - говорит загрузка солидная дисков, под 100%. насколько неравномерная трудно сказать, надо будет поглядеть попристальнее...
- большие таблицы размазаны по 4-м dbspace, а маленькие сложены отдельно. Индексы отвязанные и тоже в отдельном dbspace
кстати, в паре таблиц есть блоб-поля. они живут в table-space.
- под dbspace сырой девайс, а что 0-вой офсет - так куски ж по 2 гига, почему бы офсету не быть 0-ым ?? кстати, чанки не хотят размещаться на офсете > 2 гиг. так что смысла резать на бОльшие куски никакого
- физ. и лог. логи в своих dbspace но на этих же дисках (где-то на 2-х из 4-х).
- стат с сегментами забыл, опишу - резидентная часть чуть больше 200 мег, свободно 3-4 мега, виртуальный кусок в 268 мег почти весь свободен
- на сервере еще прикладные программы живут, занимают мегов 500-600 памяти.

ну вроде и всё...
кстати, о настройках - грядут выходные, единственное время когда я могу че-нить поковырять и перегрузить субд... в обычные дни ночевать не охота там:) мож чего пошевелить ? да и базу подчищать буду, не в эти так в следующие выходные...
...
Рейтинг: 0 / 0
09.01.2004, 15:47
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32371708
msa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msa
Гость
да, еще...

дисков мне выделено 4-ре, они зеркалируются... насколько помню, есть две группы по 4 диска, зеркалируемые на другие 4+4... Хотя в принципе диски по 70 гиг щас поставили... можно и подумать о перераспределении
...
Рейтинг: 0 / 0
09.01.2004, 15:50
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32371722
msa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msa
Гость
и еще...
по именам девайсов - /dev/dbssa<#диска><#куска>...
...
Рейтинг: 0 / 0
09.01.2004, 15:56
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32371803
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
автори еще...
по именам девайсов - /dev/dbssa<#диска><#куска>...

4004d5dc 16 8 0 25714 771 /dev/dbssa12
4004d6b8 17 8 0 0 0 /dev/dbssa22
4004d794 18 8 0 0 0 /dev/dbssa32
4004d870 19 8 0 0 0 /dev/dbssa42


Бред какой-то. Получается что дибиспейс лежит на РАЗНЫХ ДИСКАХ!?
Если идут только инсерты, т.е. заполняется 4-й чанк. А если у всех четырех дибиспейсов так получится?

И вот что получается


read write

disk1
197 188 /dev/dbssa11
0 83866 /dev/dbssa11
1842 4805 /dev/dbssa11
12340 22924 /dev/dbssa11
25714 771 /dev/dbssa12
206895 11229 /dev/dbssa12
0 0 /dev/dbssa13
0 0 /dev/dbssa14
0 0 /dev/dbssa15
0 0 /dev/dbssa16
0 0 /dev/dbssa17
246988 123783

disk2
321 10 /dev/dbssa21
0 0 /dev/dbssa21
1885 4839 /dev/dbssa21
20682 36662 /dev/dbssa21
0 0 /dev/dbssa22
204462 11518 /dev/dbssa22
0 0 /dev/dbssa23
0 0 /dev/dbssa24
0 0 /dev/dbssa25
0 0 /dev/dbssa26
0 0 /dev/dbssa27
227350 53029

disk3
0 0 /dev/dbssa31
0 88330 /dev/dbssa31
1816 4777 /dev/dbssa31
2245 7610 /dev/dbssa31
0 0 /dev/dbssa32
205148 11251 /dev/dbssa32
0 0 /dev/dbssa33
0 0 /dev/dbssa34
0 0 /dev/dbssa35
0 0 /dev/dbssa36
0 0 /dev/dbssa37
209209 111968

disk4
0 0 /dev/dbssa41
0 750 /dev/dbssa41
142 0 /dev/dbssa41
1800 4768 /dev/dbssa41
0 0 /dev/dbssa42
206154 11377 /dev/dbssa42
0 0 /dev/dbssa43
0 0 /dev/dbssa44
0 0 /dev/dbssa45
0 0 /dev/dbssa46
0 0 /dev/dbssa47
208096 16895


Нас интересует запись -> disk1=123783 disk2=53029 disk3=111968 disk4=16895
Т.е. 1 и 3 диск перегруз, 2 и тем более 4 недогруз.
А могло быть 305675/4 = 76418,75. Работай дальше.
...
Рейтинг: 0 / 0
09.01.2004, 16:57
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32371837
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
msa Индексы отвязанные и тоже в отдельном dbspace
Нагрузка на дибиспесы с индексами может быть еще больше чем на данные.

msa - под dbspace сырой девайс, а что 0-вой офсет - так куски ж по 2 гига, почему бы офсету не быть 0-ым ??
я не знаю как у тебя, но у меня AIX использует 1-й килобайт устройства для своих нужд.

msa - стат с сегментами забыл, опишу - резидентная часть чуть больше 200 мег, свободно 3-4 мега, виртуальный кусок в 268 мег почти весь свободен
- на сервере еще прикладные программы живут, занимают мегов 500-600 памяти.
Уменьши виртуальный сегмент, зачем тебе большой (PDQ - используешь)?
Я бы Буферы увеличил до 1->1.5->2 гиг, у тебя же ОЗУ - 4 гига. Производительность повысится, хотя чекпоинт тоже может вырасти.
...
Рейтинг: 0 / 0
09.01.2004, 17:17
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32371882
Фотография Daugava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Daugava
Участник
msa
дисков мне выделено 4-ре, они зеркалируются... насколько помню, есть две группы по 4 диска, зеркалируемые на другие 4+4..."
и еще...
по именам девайсов - /dev/dbssa<#диска><#куска>...

Стало проще. Я тут побыстрому прикинул по onstat -D, получил следующие выводы:
1. По чтению все твои 4 диска нагруженны примерно одинаково (максимальная разница 16% между 1 и 4 диском). Зато по записи 1-й и 3-й диски нагружены больше 4-го в 8 раз, больше 2-го в 2.5.
2. Главные "нагружатели" записи - это 2-й (logical log), 3-й (видимо physical log) и 7-й (index) dbspac-ы.
Конечно для далеко идущих выводов следует выполнить onstat -z перед самым чекпоинтом и onstat -D сразу после. Кроме того, сделать данную операцию несколько раз и результаты просуммировать. Потом на основе этго возможно перегруппировать чанки по дискам.
3. Я пожалуй повторю еще раз сказанное ранее.
3.1. TBLSPACE_STATS 0 -- как уже говорилось ранее, на сборе табличной статистики идет 10-15% потеря производительности.
3.2. RESIDENT -1 -- памяти все равно достаточно для того, чтобы иметь все в резиденте.
3.3. MAX_PDQPRIORITY 100 -- если апликухи под него не оптимизировались, то стоит установить в 0.
3.4. Установить LRU_MIN_DIRTY 1, LRU_MAX_DIRTY 2 - чекпоинт станет меньше, другое дело, что на других операциях система начнет притормаживать. Если поможет, то далее можно играться с этим двумя показателями LRUS-ами и т.д.
...
Рейтинг: 0 / 0
09.01.2004, 17:51
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32372006
Выбегалло
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбегалло
Участник
Рекомендации по общей оптимизации тебе дали, но относительно длины чекпойнтов главное - чтобы число LRU writes стало отличным от нуля. Поскольку эти writes происходят МЕЖДУ чекпойнтами (в отличие от chunk writes). Соответственно, диски загружаются более равномерно по времени. А сейчас у тебя система две минуты накапливает данные в буферах, и 20 секунд сбрасывает их на диск. Кстати, сейчас у тебя примерно 4.4 % буферов занято (2200 dirty / 50000 total), так что LRU_MIN не имеет cмысла ставить выше 5ти - LRU writes не будет.

В таком вот аксепте
...
Рейтинг: 0 / 0
09.01.2004, 19:59
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32372101
msa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msa
Гость
Журавлев Денис
Бред какой-то. Получается что дибиспейс лежит на РАЗНЫХ ДИСКАХ!?
Если идут только инсерты, т.е. заполняется 4-й чанк. А если у всех четырех дибиспейсов так получится?


это dbspace на котором лежат короткие и нечасто изменяемые таблицы.. для активно меняющихся dbspacы каждый на своем диске
...
Рейтинг: 0 / 0
10.01.2004, 07:35
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32372102
msa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msa
Гость
Выбегалло
но относительно длины чекпойнтов главное - чтобы число LRU writes стало отличным от нуля. Поскольку эти writes происходят МЕЖДУ чекпойнтами (в отличие от chunk writes).

всяческие умные книжки пишут что самое оптимальное как раз chunk writes. что к этому надо стремиться... кому ж верить ?

эх...пойду пробовать
...
Рейтинг: 0 / 0
10.01.2004, 07:36
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32372116
Фотография Daugava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Daugava
Участник
msaвсяческие умные книжки пишут что самое оптимальное как раз chunk writes. что к этому надо стремиться... кому ж верить ?
Всякие умнные книжки в принципе говорят правду :-). Но весь вопрос в том, что "оптимальность" вещь относительная. Система действительно при LRU будет несколько тормознутее, но зато у тебя не будет 20 секундных чекпоинтов.
...
Рейтинг: 0 / 0
10.01.2004, 10:13
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32372240
msa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msa
Гость
Ок... Пока что увеличил число буферов где-то до 17-20% памяти (опять же в книжку заглянул :), убрал статистику по таблицам и посталил принудительную резидентность. неделя покажет.
А вот блобы насколько тормозят систему ? Пытался как-то подвигнуть программистов отказаться от них (мелкие они, если б были поля VARCHAR с килобайта 4 или до 32к как в DB/2 - сразу бы не стали делать). Пытался увести их в отдельный dbspace, но резко увеличились затраты пространства. Тогда сервак еще не апгрейженый был.. дисковой не хватало для жизни
...
Рейтинг: 0 / 0
10.01.2004, 15:44
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32372297
Фотография Daugava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Daugava
Участник
Кроме того, надо учесть, что умные книжки писались во времена, когда памяти было мало. Я думаю, что все твои действия врядли серьезно повлияют на время чекпоинта, без игры с LRU* кина не будет :-).
Насчет BLOB-ов не скажу, сам к счастью не юзаю.
...
Рейтинг: 0 / 0
10.01.2004, 17:28
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32372520
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
Вот кстати про AIX еще одно замечание.

/dev/dbsa**** - это ведь не симлинк, это ведь устройство, а AIX создает в /dev для каждого устройства два "устройства", одно называется /dev/dbsa****, другое /dev/rdbsa****, msa ты никогда не задумывался в чем их разница, и какое нужно использовать?
...
Рейтинг: 0 / 0
11.01.2004, 16:12
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32372636
msa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msa
Гость
To Денис Журавлев:
хм... пойду к системщику поспрашаю...
...
Рейтинг: 0 / 0
12.01.2004, 04:36
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32372686
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
informix@h80lo ~ $ ls -la /dev/*baandbs
brw-rw---- 1 informix informix 54, 7 Nov 14 08:08 /dev/baandbs
crw-rw---- 1 informix informix 54, 7 Nov 14 08:08 /dev/rbaandbs

Спроси у него про флажок. Почему /dev/device флаг b, а у /dev/rdevice флаг c.

Про kaio, ты так и не ответил, тогда уж запости onstat -g ioq, чтобы откинуть сомнения.
...
Рейтинг: 0 / 0
12.01.2004, 09:00
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32373861
msa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msa
Гость
Про девайсы выяснил... Действительно использую блочные. Наверное так истерически сложилось :) чего дали - то и использую :) Щас начал перетрахивание данных в БВ-пространства сделанные правильно.
Насчет KAIO - он в AIX по умолчанию и без него не работает.
Про 0-вое смещение - поскольку используется raw device, то никаких данных в начале блока нет...
Первые дни просле переконфигурации особых изменений не показали. А теперь еще и чанки переконфигурять надо... Эх...
...
Рейтинг: 0 / 0
13.01.2004, 09:18
| Ответить | Цитировать | Написать  
длинный чекпойнт-2
    #32373868
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
Я бы на твоем месте переделал дисковую систему, сделал страйп из 4-х дисков вместо roundrobin. На этом "страйпе" сделал >6 дибиспейсов. Размер страйпа спроси тут, но я думаю в районе 64 кб.
...
Рейтинг: 0 / 0
13.01.2004, 09:26
| Ответить | Цитировать | Написать  
25 сообщений из 28, страница 1 из 2
  1  все
Форумы / Informix [игнор отключен] [закрыт для гостей] / длинный чекпойнт-2
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]