powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Informix [игнор отключен] [закрыт для гостей] / Длительность чекпойнтов резко увеличивается. В чем причина?
14 сообщений из 14, страница 1 из 1
Длительность чекпойнтов резко увеличивается. В чем причина?
    #32666276
stalk7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Подскажите, плз, вследствие чего может иметь место следующая ситуация, и что здесь можно предпринять?

Выполняю копирование данных из одной таблицы в другую (
Код: plaintext
insert... select...
).
Структура таблиц идентична, в таблице назначения нет никаких индексов. Объем данных ~10000000 записей. БД - no log.
Периодически (в 90% случаев) на некотором этапе процесс подвисает.
online.log при этом имеет следующий вид:

02:04:14 Checkpoint Completed: duration was 2 seconds.
02:04:14 Checkpoint loguniq 898, logpos 0x1ce018

02:04:24 Checkpoint Completed: duration was 2 seconds.
02:04:24 Checkpoint loguniq 898, logpos 0x1cf018

02:04:34 Checkpoint Completed: duration was 2 seconds.
02:04:34 Checkpoint loguniq 898, logpos 0x1d0018

02:04:44 Checkpoint Completed: duration was 3 seconds.
02:04:44 Checkpoint loguniq 898, logpos 0x1d1018

02:04:54 Checkpoint Completed: duration was 3 seconds.
02:04:54 Checkpoint loguniq 898, logpos 0x1d2018

02:08:27 Checkpoint Completed: duration was 206 seconds.
02:08:27 Checkpoint loguniq 898, logpos 0x1d3018

02:14:00 Checkpoint Completed: duration was 320 seconds.
02:14:00 Checkpoint loguniq 898, logpos 0x1d4018

02:22:36 Checkpoint Completed: duration was 503 seconds.
02:22:36 Checkpoint loguniq 898, logpos 0x1d5018

02:29:08 Checkpoint Completed: duration was 370 seconds.
02:29:08 Checkpoint loguniq 898, logpos 0x1d6018

02:34:58 Checkpoint Completed: duration was 339 seconds.
02:34:58 Checkpoint loguniq 898, logpos 0x1d7018

02:38:40 Checkpoint Completed: duration was 204 seconds.
02:38:40 Checkpoint loguniq 898, logpos 0x1d8018

...и далее в том же духе до завершения операции.

Копирование идет около 5 часов (при нормальной работе - 10 мин). :(

IDS9.21, Unix, RAID5, 2.5 Гб памяти.
Все в одном dbspace (кроме root, конечно).

Раньше (почти год) все работало без проблем...
Как бороться с этим катаклизмом? :(
...
Рейтинг: 0 / 0
Длительность чекпойнтов резко увеличивается. В чем причина?
    #32666344
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А если сильно уменьшить LRU_MAX (MIN) ? Какие там значения у тебя кстати ?
...
Рейтинг: 0 / 0
Длительность чекпойнтов резко увеличивается. В чем причина?
    #32666353
stalk7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Как и было при установке:
LRUS 8
LRU_MAX_DIRTY 60
LRU_MIN_DIRTY 50

Вначале-то все идет неплохо, вот что неясно...
...
Рейтинг: 0 / 0
Длительность чекпойнтов резко увеличивается. В чем причина?
    #32666560
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А что делает операционка во время длинных чекпоинтов?
sar -u
sar -d
и на всякий случай
sar -b

select по индексу или полное сканирование?

Что показывает
onstat -F
onstat -R
onstat -P

Данные лежат raw devices?

Что еще работает на сервере кроме базы?

с уважением, onstat-

з.ы. мне кажется что база ту не причем, это ОС или Железо.
...
Рейтинг: 0 / 0
Длительность чекпойнтов резко увеличивается. В чем причина?
    #32667242
vybegallo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
что говорит onstat -g stk <tread которая делает копирование> ?
Если висит на условии - то что за условие ? Есть ли асинхронный ввод/вывод - если есть, что делают нити (опять - таки, результат onstat -g stk ) ?
Скорей всего, дело в железе, и сервер сидит в IO call дожидаясь окончания, пока контроллер борется с битыми секторами.
Какая операционка ? Попробуйте проверить диск.
...
Рейтинг: 0 / 0
Длительность чекпойнтов резко увеличивается. В чем причина?
    #32667435
stalk7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Только что повторил эксперимент...

online.log:

14:27:50 Checkpoint Completed: duration was 2 seconds.
14:27:50 Checkpoint loguniq 899, logpos 0x1fe018

14:28:01 Checkpoint Completed: duration was 3 seconds.
14:28:01 Checkpoint loguniq 899, logpos 0x1ff018

14:28:13 Checkpoint Completed: duration was 5 seconds.
14:28:13 Checkpoint loguniq 899, logpos 0x200018

14:30:12 Checkpoint Completed: duration was 115 seconds.
14:30:12 Checkpoint loguniq 899, logpos 0x201018

14:36:33 Checkpoint Completed: duration was 372 seconds.
14:36:33 Checkpoint loguniq 899, logpos 0x202018

14:41:08 Checkpoint Completed: duration was 265 seconds.
14:41:08 Checkpoint loguniq 899, logpos 0x203018

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
sar -u
            %usr   %sys   %wio  %idle  %intr
14:27:39       9      2     81      9      0
14:28:09      10      2     79      9      0
14:28:39       3      1     29     67      0
14:29:09       0      0      0     99      0
14:29:39       0      0      2     97      0
14:30:09       0      0      3     97      0
14:30:39       7      1     20     71      0
14:31:09       0      0      2     98      0
14:31:39       2      0      2     96      0
14:32:09       0      0      0     99      0
14:32:09       0      0      0     99      0
14:32:39       0      0      0    100      0
14:33:09       0      0      0     99      0
14:33:39       0      0      0    100      0
14:34:09       1      0      2     97      0
14:34:39       0      0      1     98      0
14:35:09       0      0      0     99      0
14:35:39       0      0      0    100      0
14:36:09       0      0      2     97      0
14:36:39       2      1     15     81      0
14:37:09       2      0     21     76      0
14:37:39       2      0      2     96      0
14:38:09       2      0      2     96      0
14:38:39       0      0      2     97      0
14:39:09       0      0      2     97      0
14:39:39       0      0      1     98      0
14:40:09       0      0      2     96      0
14:40:39       2      0      3     95      0
14:41:09       1      0      2     96      0
Average        5      0     29     66      0

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
sar -b
          bread/s lread/s %rcache bwrit/s lwrit/s %wcache pread/s pwrite/s
14:27:39        0       0     100       0       0       0     337       70
14:28:09        0       1     100       0       1      42     426       69
14:28:39        0       1     100       0       0       0     137       28
14:29:09        0       2     100       1       1      13       0        0
14:29:39        0       0     100       0       0       6       7        0
14:30:09        0       5     100       1       3      53       1        1
14:30:39        0       2     100       2       2       0     196       11
14:31:09        0       0     100       0       1      13       0        1
14:31:39        0       0     100       0       0       6       0        2
14:32:09        0       0     100       0       0       0       0        0
14:32:39        0       0     100       0       0       0       0        0
14:33:09        0       0     100       0       0       0       0        0
14:33:39        0       0     100       0       0       0       0        0
14:34:09        0       0     100       0       0       0       1        1
14:34:39        0       0     100       0       0       0       0        0
14:35:09        0       0     100       0       0       0       0        0
14:36:39        0       4     100       1       1       0     138       13
14:37:09        0       2     100       1       1       3      16       19
14:37:39        0       0     100       0       0       0      13        0
14:38:09        0       0     100       0       0       5       5        0
14:38:39        0       0     100       0       0       0      16        0
14:39:09        0       3     100       0       1      35       2        0
14:39:39        0       3     100       1       2      30       0        0
14:40:09        0       3     100       1       2      51       3        0
14:40:39        0       1     100       1       1       0      16        0
14:41:09        0       2     100       0       1      33       2        0
Average         0       2     100       0       1      22      45       26

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
sar -d
			device         MB       %busy   avque   r+w/s  blks/s  avwait  avserv
14:28:09 c0b0t0d0s1     31969        0     1.6       0      10     3.6     5.7
14:28:09 c0b0t0d0       34732        0     1.6       0      10     3.6     5.7
14:28:09 c1b0t0d0s16    1953        30     1.0      24    1618     0.0    12.5
14:28:09 c1b0t0d0s17    1953         1     1.0       1      11     0.0     5.7
14:28:09 c1b0t0d0s18    1953         0     1.2       0       4     1.7     6.7
14:28:09 c1b0t0d0s21    1953         0     1.0       0       2     0.0    30.0
14:28:09 c1b0t0d0s22    1953         0     1.0       0       0     0.0     5.0
14:28:09 c1b0t0d0s36    1953         0     1.0       0       0     0.0     7.5
14:28:09 c1b0t0d0s38    1953        54     8.4     425    3005     9.5     1.3
14:28:09 c1b0t0d0s39    1953         2     4.1       5     236    12.4     4.0
14:28:09 c1b0t0d0s40    1953         3     6.0      38    1832     5.0     1.0
14:28:09 c1b0t0d0       173639      81     6.5     495    6713     8.9     1.6
-
14:28:39 c0b0t0d0s1     31969        0     1.8       0      12     3.8     4.8
14:28:39 c0b0t0d0       34732        0     1.8       0      12     3.8     4.8
14:28:39 c1b0t0d0s16    1953         8     1.0       7     531     0.0    10.5
14:28:39 c1b0t0d0s38    1953        20     3.4     145    1304     3.4     1.4
14:28:39 c1b0t0d0s39    1953         0     1.0       0       0     0.0    20.0
14:28:39 c1b0t0d0s40    1953         0     8.4      11     483     4.4     0.6
14:28:39 c1b0t0d0       173639      29     2.8     165    2319     3.3     1.8
-
14:29:09 c0b0t0d0s1     31969        0     1.8       1      18     4.3     5.2
14:29:09 c0b0t0d0       34732        0     1.8       1      18     4.3     5.2
14:29:09 c1b0t0d0s38    1953         0     1.0       0       2     0.0    20.0
14:29:09 c1b0t0d0       173639       0     1.0       0       2     0.0    20.0
-
14:29:39 c0b0t0d0s1     31969        0     1.6       0       8     3.5     6.0
14:29:39 c0b0t0d0       34732        0     1.6       0       8     3.5     6.0
14:29:39 c1b0t0d0s16    1953         0     1.0       0       2     0.0     3.9
14:29:39 c1b0t0d0s17    1953         0     1.0       0       4     0.0     4.6
14:29:39 c1b0t0d0s18    1953         0     1.5       0       1     2.5     5.0
14:29:39 c1b0t0d0s21    1953         0     1.0       0       1     0.0    10.0
14:29:39 c1b0t0d0s22    1953         0     1.0       0       0     0.0    10.0
14:29:39 c1b0t0d0s36    1953         0     1.0       0       0     0.0    10.0
14:29:39 c1b0t0d0s38    1953         0     1.0       0      32     0.0    13.1
14:29:39 c1b0t0d0s39    1953         0     7.5       2      84    13.3     2.0
14:29:39 c1b0t0d0s40    1953         0     5.8       2      92    10.8     2.3
14:29:39 c1b0t0d0s41    1953         0     2.0       0       0     3.3     3.3
14:29:39 c1b0t0d0       173639       2     4.1       7     220     9.0     2.9
-
14:30:09 c0b0t0d0s1     31969        1     1.9       2      23     5.1     5.7
14:30:09 c0b0t0d0       34732        1     1.9       2      23     5.1     5.7
14:30:09 c1b0t0d0s17    1953         0     1.0       0       0     0.0    10.0
14:30:09 c1b0t0d0s22    1953         0     1.0       0       0     0.0    10.0
14:30:09 c1b0t0d0s25    1953         0     1.0       0       0     0.0    10.0
14:30:09 c1b0t0d0s36    1953         0     1.0       0       0     0.0    10.0
14:30:09 c1b0t0d0s37    1953         0     1.0       0       2     0.0     4.7
14:30:09 c1b0t0d0s38    1953         1     1.1       1      60     0.6    10.8
14:30:09 c1b0t0d0s39    1953         0     1.0       0       0     0.0     8.0
14:30:09 c1b0t0d0s40    1953         0     1.0       0       0     0.0    10.0
14:30:09 c1b0t0d0       173639       2     1.0       2      64     0.3     9.1
-
14:30:39 c0b0t0d0s1     31969        0     2.2       1      25     5.7     4.7
14:30:39 c0b0t0d0       34732        0     2.2       1      25     5.7     4.7
14:30:39 c1b0t0d0s16    1953         8     1.2       9     562     1.6     9.2
14:30:39 c1b0t0d0s17    1953         1     1.8       6      92     2.6     3.2
14:30:39 c1b0t0d0s18    1953         0     1.1       0       4     0.7     6.4
14:30:39 c1b0t0d0s21    1953         0     1.3       1      18     1.4     5.2
14:30:39 c1b0t0d0s22    1953         1     5.5       8     433     7.1     1.6
14:30:39 c1b0t0d0s23    1953         0     0.0       0       0     0.0     0.0
14:30:39 c1b0t0d0s24    1953         0     4.2       1      67    12.1     3.7
14:30:39 c1b0t0d0s25    1953         0     2.5       1      35     6.7     4.4
14:30:39 c1b0t0d0s36    1953         0     4.8       3     135    11.5     3.0
14:30:39 c1b0t0d0s37    1953         0     3.7       1      65    10.5     3.8
14:30:39 c1b0t0d0s38    1953         6     1.7     130     821     0.3     0.5
14:30:39 c1b0t0d0s39    1953         1     4.3       5     190    10.9     3.3
14:30:39 c1b0t0d0s40    1953         3     5.4      37    1036     4.0     0.9
14:30:39 c1b0t0d0       173639      22     3.1     206    3463     2.3     1.1

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
onstat -R
8 buffer LRU queue pairs                     priority levels
# f/m  pair total  % of    length     LOW   MED_LOW  MED_HIGH   HIGH
 0 f      1250   100.0%     1250        0     1054      176       20
 1 m               0.0%        0        0        0        0        0
 2 f      1248   100.0%     1248        0     1052      176       20
 3 m               0.0%        0        0        0        0        0
 4 f      1246   100.0%     1246        0     1040      179       27
 5 m               0.0%        0        0        0        0        0
 6 F      1240   100.0%     1240        0     1044      168       28
 7 m               0.0%        0        0        0        0        0
 8 f      1248   100.0%     1248        0     1055      176       17
 9 m               0.0%        0        0        0        0        0
10 f      1244    99.8%     1242        0     1030      186       26
11 m               0.2%        2        0        2        0        0
12 f      1247    99.9%     1246        0     1058      160       28
13 m               0.0%        1        0        1        0        0
14 f      1244    99.9%     1243        0     1028      191       24
15 m               0.0%        1        0        1        0        0
4 dirty, 9967 queued, 10000 total, 16384 hash buckets, 2048 buffer size
start clean at 60% (of pair total) dirty, or 750 buffs dirty, stop at 50%

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
onstat -F
g Writes     LRU Writes    Chunk Writes
0             2311          222755

address  flusher  state    data
b6a0608  0        I        0        = 0X0
b6a0bf8  1        I        0        = 0X0
b6a11e8  2        I        0        = 0X0
b6a17d8  3        I        0        = 0X0
b6a1dc8  4        I        0        = 0X0
b6a23b8  5        I        0        = 0X0
b6a29a8  6        I        0        = 0X0
b6a2f98  7        I        0        = 0X0
      states: Exit Idle Chunk Lru
0 priority downgrades, 0 priority upgrades

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
onstat -P
         total    btree    data     other    resident dirty
Totals:  10000    2054     7926     20       0        5

Percentages:
Data  79.26
Btree 20.54
Other 0.20

Такие вот дела...

На серваке кроме этой базы ничего нет. Используем raw devices.
Исходная таблица выбирается полностью (никаких условий), так что тут тормозов быть не должно.

Попробую отследить, что делает нить, которая копирует...
...
Рейтинг: 0 / 0
Длительность чекпойнтов резко увеличивается. В чем причина?
    #32667769
stalk7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
onstat -g stk выдает следующее:

Stack for thread: 75 sqlexec
base: 0x0c105000
len: 36864
pc: 0x08585830
tos: 0x0c10dd38
state: cond wait
vp: 1

Как бы узнать что за условие?
...
Рейтинг: 0 / 0
Длительность чекпойнтов резко увеличивается. В чем причина?
    #32667883
vybegallo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
onstat -g con дает conditions
onstat -u еще интересует.

А что, самого стека не было ?
Но очень похоже на проблемы с железом, судя по waiting I/O из sar.
Что за платформа ?
...
Рейтинг: 0 / 0
Длительность чекпойнтов резко увеличивается. В чем причина?
    #32668395
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Попробуй все таки уменьшить в 10 раз LRU_MAX (MIN) и посмотри длительность чекпоинтов, теоретически должны стать меньше.
...
Рейтинг: 0 / 0
Длительность чекпойнтов резко увеличивается. В чем причина?
    #32668798
stalk7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Платформа SCO UnixWare 7.13.

onstat -u:

Informix Dynamic Server 2000 Version 9.21.UC4 -- On-Line (CKPT REQ) -- Up 10:11:32 -- 46476 Kbytes
Blocked:CKPT
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
Userthreads
address  flags   sessid   user     tty      wait     tout locks nreads   nwrites
b6a0018  ---P--D 1        informix -        0        0    0     373      2284
b6a0608  ---P--F 0        informix -        0        0    0     0        802895
b6a0bf8  ---P--F 0        informix -        0        0    0     0        10676
b6a11e8  ---P--F 0        informix -        0        0    0     0        9535
b6a17d8  ---P--F 0        informix -        0        0    0     0        8191
b6a1dc8  ---P--F 0        informix -        0        0    0     0        3888
b6a23b8  ---P--F 0        informix -        0        0    0     0        5473
b6a29a8  ---P--F 0        informix -        0        0    0     0        1538
b6a2f98  ---P--F 0        informix -        0        0    0     0        1602
b6a3588  ---P--- 10       informix -        0        0    0     0        212
b6a3b78  ---P--B 11       informix -        0        0    0     0        0
b6abe18  C--P--- 111      rsadm    PC       a0464a8  0    4     890755   773589


onstat -g cond ничего нового не говорит.

Провел серию экспериментов...
Выполнил несколько аналогичных запросов на другом ядре этого же сервака - все ОК.
Поробовал на другой базе в том же ядре (базу создал в другом dbspace) - первый раз OK, второй раз повис.

Пока подозреваю кривизну какого-нить чанка... Но ясности никакой.

Попробовать с LRU в плане оптимизации можно, но проблему это скорее всего не решит...
...
Рейтинг: 0 / 0
Длительность чекпойнтов резко увеличивается. В чем причина?
    #32669767
vybegallo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Давай onstat -g ath
onstat -k
onstat -g con (не cond !)
Можешь вообще сохранить результаты onstat -g all и onstat -a и постить куски по мере надобности.
...
Рейтинг: 0 / 0
Длительность чекпойнтов резко увеличивается. В чем причина?
    #32738137
YBK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YBK
Гость
1. При чекпоинте 2-3секунды они у вас шли каждые 10 сек.
2. Как только интервал чекпоинта увеличился до 6 мин время выросло до 206 сек., а когда интервал стал 8,5 мин. соответственно и чекпоинт стал 503 сек. Тут я думаю логика ясна.
3. Почему так плавает чекпоинт ? Какие значения имеют параметры onconfig-а PHYSFILE и CKPTINTVL ???
4. Сколько буферов в системе ? (параметр BUFFERS)
5. Какова длина строки в таблице ? (можно увидеть в dbschema -ss)
6. LRUS=4*NUMCPUVP
7. CLEANERS=LRUS
8. LRU_MAX_DIRTY 60 и LRU_MIN_DIRTY 50 большие ОДНОЗНАЧНО, уменьшайте (10/15, 5/8 и т.д., подбирайте) !!!
...
Рейтинг: 0 / 0
Длительность чекпойнтов резко увеличивается. В чем причина?
    #32738148
YBK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YBK
Гость
1. При чекпоинте 2-3секунды они у вас шли каждые 10 сек.
2. Как только интервал чекпоинта увеличился до 6 мин время выросло до 206 сек., а когда интервал стал 8,5 мин. соответственно и чекпоинт стал 503 сек. Тут я думаю логика ясна.
3. Почему так плавает чекпоинт ? Какие значения имеют параметры onconfig-а PHYSFILE и CKPTINTVL ???
4. Сколько буферов в системе ? (параметр BUFFERS)
5. Какова длина строки в таблице ? (можно увидеть в dbschema -ss)
6. LRUS=4*NUMCPUVP
7. CLEANERS=LRUS
8. LRU_MAX_DIRTY 60 и LRU_MIN_DIRTY 50 большие ОДНОЗНАЧНО, уменьшайте (10/15, 5/8 и т.д., подбирайте) !!!
...
Рейтинг: 0 / 0
Длительность чекпойнтов резко увеличивается. В чем причина?
    #32744564
stalk7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
onconfig:
CKPTINTVL 300 # Check point interval (in sec)
PHYSFILE 2000 # Physical log file size (Kbytes)
BUFFERS 10000 # Maximum number of shared buffers

Некоторое время работал с PHYSFILE 10000 - ощутимой разницы не заметил.

Для таблицы, в которую загружаются данные:
row size = 69 number of columns = 13

Попробую поработать некоторое время с
LRUS 8 # Number of LRU queues
LRU_MAX_DIRTY 10 # LRU percent dirty begin cleaning limit
LRU_MIN_DIRTY 15 # LRU percent dirty end cleaning limit
...
Рейтинг: 0 / 0
14 сообщений из 14, страница 1 из 1
Форумы / Informix [игнор отключен] [закрыт для гостей] / Длительность чекпойнтов резко увеличивается. В чем причина?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]