Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Informix [игнор отключен] [закрыт для гостей] / Длительность чекпойнтов резко увеличивается. В чем причина? / 14 сообщений из 14, страница 1 из 1
26.08.2004, 11:39
    #32666276
stalk7
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Длительность чекпойнтов резко увеличивается. В чем причина?
Подскажите, плз, вследствие чего может иметь место следующая ситуация, и что здесь можно предпринять?

Выполняю копирование данных из одной таблицы в другую (
Код: plaintext
insert... select...
).
Структура таблиц идентична, в таблице назначения нет никаких индексов. Объем данных ~10000000 записей. БД - no log.
Периодически (в 90% случаев) на некотором этапе процесс подвисает.
online.log при этом имеет следующий вид:

02:04:14 Checkpoint Completed: duration was 2 seconds.
02:04:14 Checkpoint loguniq 898, logpos 0x1ce018

02:04:24 Checkpoint Completed: duration was 2 seconds.
02:04:24 Checkpoint loguniq 898, logpos 0x1cf018

02:04:34 Checkpoint Completed: duration was 2 seconds.
02:04:34 Checkpoint loguniq 898, logpos 0x1d0018

02:04:44 Checkpoint Completed: duration was 3 seconds.
02:04:44 Checkpoint loguniq 898, logpos 0x1d1018

02:04:54 Checkpoint Completed: duration was 3 seconds.
02:04:54 Checkpoint loguniq 898, logpos 0x1d2018

02:08:27 Checkpoint Completed: duration was 206 seconds.
02:08:27 Checkpoint loguniq 898, logpos 0x1d3018

02:14:00 Checkpoint Completed: duration was 320 seconds.
02:14:00 Checkpoint loguniq 898, logpos 0x1d4018

02:22:36 Checkpoint Completed: duration was 503 seconds.
02:22:36 Checkpoint loguniq 898, logpos 0x1d5018

02:29:08 Checkpoint Completed: duration was 370 seconds.
02:29:08 Checkpoint loguniq 898, logpos 0x1d6018

02:34:58 Checkpoint Completed: duration was 339 seconds.
02:34:58 Checkpoint loguniq 898, logpos 0x1d7018

02:38:40 Checkpoint Completed: duration was 204 seconds.
02:38:40 Checkpoint loguniq 898, logpos 0x1d8018

...и далее в том же духе до завершения операции.

Копирование идет около 5 часов (при нормальной работе - 10 мин). :(

IDS9.21, Unix, RAID5, 2.5 Гб памяти.
Все в одном dbspace (кроме root, конечно).

Раньше (почти год) все работало без проблем...
Как бороться с этим катаклизмом? :(
...
Рейтинг: 0 / 0
26.08.2004, 12:05
    #32666344
Andron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Длительность чекпойнтов резко увеличивается. В чем причина?
А если сильно уменьшить LRU_MAX (MIN) ? Какие там значения у тебя кстати ?
...
Рейтинг: 0 / 0
26.08.2004, 12:11
    #32666353
stalk7
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Длительность чекпойнтов резко увеличивается. В чем причина?
Как и было при установке:
LRUS 8
LRU_MAX_DIRTY 60
LRU_MIN_DIRTY 50

Вначале-то все идет неплохо, вот что неясно...
...
Рейтинг: 0 / 0
26.08.2004, 13:15
    #32666560
onstat-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Длительность чекпойнтов резко увеличивается. В чем причина?
А что делает операционка во время длинных чекпоинтов?
sar -u
sar -d
и на всякий случай
sar -b

select по индексу или полное сканирование?

Что показывает
onstat -F
onstat -R
onstat -P

Данные лежат raw devices?

Что еще работает на сервере кроме базы?

с уважением, onstat-

з.ы. мне кажется что база ту не причем, это ОС или Железо.
...
Рейтинг: 0 / 0
26.08.2004, 15:54
    #32667242
vybegallo
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Длительность чекпойнтов резко увеличивается. В чем причина?
что говорит onstat -g stk <tread которая делает копирование> ?
Если висит на условии - то что за условие ? Есть ли асинхронный ввод/вывод - если есть, что делают нити (опять - таки, результат onstat -g stk ) ?
Скорей всего, дело в железе, и сервер сидит в IO call дожидаясь окончания, пока контроллер борется с битыми секторами.
Какая операционка ? Попробуйте проверить диск.
...
Рейтинг: 0 / 0
26.08.2004, 16:38
    #32667435
stalk7
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Длительность чекпойнтов резко увеличивается. В чем причина?
Только что повторил эксперимент...

online.log:

14:27:50 Checkpoint Completed: duration was 2 seconds.
14:27:50 Checkpoint loguniq 899, logpos 0x1fe018

14:28:01 Checkpoint Completed: duration was 3 seconds.
14:28:01 Checkpoint loguniq 899, logpos 0x1ff018

14:28:13 Checkpoint Completed: duration was 5 seconds.
14:28:13 Checkpoint loguniq 899, logpos 0x200018

14:30:12 Checkpoint Completed: duration was 115 seconds.
14:30:12 Checkpoint loguniq 899, logpos 0x201018

14:36:33 Checkpoint Completed: duration was 372 seconds.
14:36:33 Checkpoint loguniq 899, logpos 0x202018

14:41:08 Checkpoint Completed: duration was 265 seconds.
14:41:08 Checkpoint loguniq 899, logpos 0x203018

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
sar -u
            %usr   %sys   %wio  %idle  %intr
14:27:39       9      2     81      9      0
14:28:09      10      2     79      9      0
14:28:39       3      1     29     67      0
14:29:09       0      0      0     99      0
14:29:39       0      0      2     97      0
14:30:09       0      0      3     97      0
14:30:39       7      1     20     71      0
14:31:09       0      0      2     98      0
14:31:39       2      0      2     96      0
14:32:09       0      0      0     99      0
14:32:09       0      0      0     99      0
14:32:39       0      0      0    100      0
14:33:09       0      0      0     99      0
14:33:39       0      0      0    100      0
14:34:09       1      0      2     97      0
14:34:39       0      0      1     98      0
14:35:09       0      0      0     99      0
14:35:39       0      0      0    100      0
14:36:09       0      0      2     97      0
14:36:39       2      1     15     81      0
14:37:09       2      0     21     76      0
14:37:39       2      0      2     96      0
14:38:09       2      0      2     96      0
14:38:39       0      0      2     97      0
14:39:09       0      0      2     97      0
14:39:39       0      0      1     98      0
14:40:09       0      0      2     96      0
14:40:39       2      0      3     95      0
14:41:09       1      0      2     96      0
Average        5      0     29     66      0

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
sar -b
          bread/s lread/s %rcache bwrit/s lwrit/s %wcache pread/s pwrite/s
14:27:39        0       0     100       0       0       0     337       70
14:28:09        0       1     100       0       1      42     426       69
14:28:39        0       1     100       0       0       0     137       28
14:29:09        0       2     100       1       1      13       0        0
14:29:39        0       0     100       0       0       6       7        0
14:30:09        0       5     100       1       3      53       1        1
14:30:39        0       2     100       2       2       0     196       11
14:31:09        0       0     100       0       1      13       0        1
14:31:39        0       0     100       0       0       6       0        2
14:32:09        0       0     100       0       0       0       0        0
14:32:39        0       0     100       0       0       0       0        0
14:33:09        0       0     100       0       0       0       0        0
14:33:39        0       0     100       0       0       0       0        0
14:34:09        0       0     100       0       0       0       1        1
14:34:39        0       0     100       0       0       0       0        0
14:35:09        0       0     100       0       0       0       0        0
14:36:39        0       4     100       1       1       0     138       13
14:37:09        0       2     100       1       1       3      16       19
14:37:39        0       0     100       0       0       0      13        0
14:38:09        0       0     100       0       0       5       5        0
14:38:39        0       0     100       0       0       0      16        0
14:39:09        0       3     100       0       1      35       2        0
14:39:39        0       3     100       1       2      30       0        0
14:40:09        0       3     100       1       2      51       3        0
14:40:39        0       1     100       1       1       0      16        0
14:41:09        0       2     100       0       1      33       2        0
Average         0       2     100       0       1      22      45       26

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
sar -d
			device         MB       %busy   avque   r+w/s  blks/s  avwait  avserv
14:28:09 c0b0t0d0s1     31969        0     1.6       0      10     3.6     5.7
14:28:09 c0b0t0d0       34732        0     1.6       0      10     3.6     5.7
14:28:09 c1b0t0d0s16    1953        30     1.0      24    1618     0.0    12.5
14:28:09 c1b0t0d0s17    1953         1     1.0       1      11     0.0     5.7
14:28:09 c1b0t0d0s18    1953         0     1.2       0       4     1.7     6.7
14:28:09 c1b0t0d0s21    1953         0     1.0       0       2     0.0    30.0
14:28:09 c1b0t0d0s22    1953         0     1.0       0       0     0.0     5.0
14:28:09 c1b0t0d0s36    1953         0     1.0       0       0     0.0     7.5
14:28:09 c1b0t0d0s38    1953        54     8.4     425    3005     9.5     1.3
14:28:09 c1b0t0d0s39    1953         2     4.1       5     236    12.4     4.0
14:28:09 c1b0t0d0s40    1953         3     6.0      38    1832     5.0     1.0
14:28:09 c1b0t0d0       173639      81     6.5     495    6713     8.9     1.6
-
14:28:39 c0b0t0d0s1     31969        0     1.8       0      12     3.8     4.8
14:28:39 c0b0t0d0       34732        0     1.8       0      12     3.8     4.8
14:28:39 c1b0t0d0s16    1953         8     1.0       7     531     0.0    10.5
14:28:39 c1b0t0d0s38    1953        20     3.4     145    1304     3.4     1.4
14:28:39 c1b0t0d0s39    1953         0     1.0       0       0     0.0    20.0
14:28:39 c1b0t0d0s40    1953         0     8.4      11     483     4.4     0.6
14:28:39 c1b0t0d0       173639      29     2.8     165    2319     3.3     1.8
-
14:29:09 c0b0t0d0s1     31969        0     1.8       1      18     4.3     5.2
14:29:09 c0b0t0d0       34732        0     1.8       1      18     4.3     5.2
14:29:09 c1b0t0d0s38    1953         0     1.0       0       2     0.0    20.0
14:29:09 c1b0t0d0       173639       0     1.0       0       2     0.0    20.0
-
14:29:39 c0b0t0d0s1     31969        0     1.6       0       8     3.5     6.0
14:29:39 c0b0t0d0       34732        0     1.6       0       8     3.5     6.0
14:29:39 c1b0t0d0s16    1953         0     1.0       0       2     0.0     3.9
14:29:39 c1b0t0d0s17    1953         0     1.0       0       4     0.0     4.6
14:29:39 c1b0t0d0s18    1953         0     1.5       0       1     2.5     5.0
14:29:39 c1b0t0d0s21    1953         0     1.0       0       1     0.0    10.0
14:29:39 c1b0t0d0s22    1953         0     1.0       0       0     0.0    10.0
14:29:39 c1b0t0d0s36    1953         0     1.0       0       0     0.0    10.0
14:29:39 c1b0t0d0s38    1953         0     1.0       0      32     0.0    13.1
14:29:39 c1b0t0d0s39    1953         0     7.5       2      84    13.3     2.0
14:29:39 c1b0t0d0s40    1953         0     5.8       2      92    10.8     2.3
14:29:39 c1b0t0d0s41    1953         0     2.0       0       0     3.3     3.3
14:29:39 c1b0t0d0       173639       2     4.1       7     220     9.0     2.9
-
14:30:09 c0b0t0d0s1     31969        1     1.9       2      23     5.1     5.7
14:30:09 c0b0t0d0       34732        1     1.9       2      23     5.1     5.7
14:30:09 c1b0t0d0s17    1953         0     1.0       0       0     0.0    10.0
14:30:09 c1b0t0d0s22    1953         0     1.0       0       0     0.0    10.0
14:30:09 c1b0t0d0s25    1953         0     1.0       0       0     0.0    10.0
14:30:09 c1b0t0d0s36    1953         0     1.0       0       0     0.0    10.0
14:30:09 c1b0t0d0s37    1953         0     1.0       0       2     0.0     4.7
14:30:09 c1b0t0d0s38    1953         1     1.1       1      60     0.6    10.8
14:30:09 c1b0t0d0s39    1953         0     1.0       0       0     0.0     8.0
14:30:09 c1b0t0d0s40    1953         0     1.0       0       0     0.0    10.0
14:30:09 c1b0t0d0       173639       2     1.0       2      64     0.3     9.1
-
14:30:39 c0b0t0d0s1     31969        0     2.2       1      25     5.7     4.7
14:30:39 c0b0t0d0       34732        0     2.2       1      25     5.7     4.7
14:30:39 c1b0t0d0s16    1953         8     1.2       9     562     1.6     9.2
14:30:39 c1b0t0d0s17    1953         1     1.8       6      92     2.6     3.2
14:30:39 c1b0t0d0s18    1953         0     1.1       0       4     0.7     6.4
14:30:39 c1b0t0d0s21    1953         0     1.3       1      18     1.4     5.2
14:30:39 c1b0t0d0s22    1953         1     5.5       8     433     7.1     1.6
14:30:39 c1b0t0d0s23    1953         0     0.0       0       0     0.0     0.0
14:30:39 c1b0t0d0s24    1953         0     4.2       1      67    12.1     3.7
14:30:39 c1b0t0d0s25    1953         0     2.5       1      35     6.7     4.4
14:30:39 c1b0t0d0s36    1953         0     4.8       3     135    11.5     3.0
14:30:39 c1b0t0d0s37    1953         0     3.7       1      65    10.5     3.8
14:30:39 c1b0t0d0s38    1953         6     1.7     130     821     0.3     0.5
14:30:39 c1b0t0d0s39    1953         1     4.3       5     190    10.9     3.3
14:30:39 c1b0t0d0s40    1953         3     5.4      37    1036     4.0     0.9
14:30:39 c1b0t0d0       173639      22     3.1     206    3463     2.3     1.1

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
onstat -R
8 buffer LRU queue pairs                     priority levels
# f/m  pair total  % of    length     LOW   MED_LOW  MED_HIGH   HIGH
 0 f      1250   100.0%     1250        0     1054      176       20
 1 m               0.0%        0        0        0        0        0
 2 f      1248   100.0%     1248        0     1052      176       20
 3 m               0.0%        0        0        0        0        0
 4 f      1246   100.0%     1246        0     1040      179       27
 5 m               0.0%        0        0        0        0        0
 6 F      1240   100.0%     1240        0     1044      168       28
 7 m               0.0%        0        0        0        0        0
 8 f      1248   100.0%     1248        0     1055      176       17
 9 m               0.0%        0        0        0        0        0
10 f      1244    99.8%     1242        0     1030      186       26
11 m               0.2%        2        0        2        0        0
12 f      1247    99.9%     1246        0     1058      160       28
13 m               0.0%        1        0        1        0        0
14 f      1244    99.9%     1243        0     1028      191       24
15 m               0.0%        1        0        1        0        0
4 dirty, 9967 queued, 10000 total, 16384 hash buckets, 2048 buffer size
start clean at 60% (of pair total) dirty, or 750 buffs dirty, stop at 50%

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
onstat -F
g Writes     LRU Writes    Chunk Writes
0             2311          222755

address  flusher  state    data
b6a0608  0        I        0        = 0X0
b6a0bf8  1        I        0        = 0X0
b6a11e8  2        I        0        = 0X0
b6a17d8  3        I        0        = 0X0
b6a1dc8  4        I        0        = 0X0
b6a23b8  5        I        0        = 0X0
b6a29a8  6        I        0        = 0X0
b6a2f98  7        I        0        = 0X0
      states: Exit Idle Chunk Lru
0 priority downgrades, 0 priority upgrades

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
onstat -P
         total    btree    data     other    resident dirty
Totals:  10000    2054     7926     20       0        5

Percentages:
Data  79.26
Btree 20.54
Other 0.20

Такие вот дела...

На серваке кроме этой базы ничего нет. Используем raw devices.
Исходная таблица выбирается полностью (никаких условий), так что тут тормозов быть не должно.

Попробую отследить, что делает нить, которая копирует...
...
Рейтинг: 0 / 0
26.08.2004, 18:54
    #32667769
stalk7
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Длительность чекпойнтов резко увеличивается. В чем причина?
onstat -g stk выдает следующее:

Stack for thread: 75 sqlexec
base: 0x0c105000
len: 36864
pc: 0x08585830
tos: 0x0c10dd38
state: cond wait
vp: 1

Как бы узнать что за условие?
...
Рейтинг: 0 / 0
26.08.2004, 21:03
    #32667883
vybegallo
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Длительность чекпойнтов резко увеличивается. В чем причина?
onstat -g con дает conditions
onstat -u еще интересует.

А что, самого стека не было ?
Но очень похоже на проблемы с железом, судя по waiting I/O из sar.
Что за платформа ?
...
Рейтинг: 0 / 0
27.08.2004, 11:03
    #32668395
Andron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Длительность чекпойнтов резко увеличивается. В чем причина?
Попробуй все таки уменьшить в 10 раз LRU_MAX (MIN) и посмотри длительность чекпоинтов, теоретически должны стать меньше.
...
Рейтинг: 0 / 0
27.08.2004, 13:28
    #32668798
stalk7
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Длительность чекпойнтов резко увеличивается. В чем причина?
Платформа SCO UnixWare 7.13.

onstat -u:

Informix Dynamic Server 2000 Version 9.21.UC4 -- On-Line (CKPT REQ) -- Up 10:11:32 -- 46476 Kbytes
Blocked:CKPT
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
Userthreads
address  flags   sessid   user     tty      wait     tout locks nreads   nwrites
b6a0018  ---P--D 1        informix -        0        0    0     373      2284
b6a0608  ---P--F 0        informix -        0        0    0     0        802895
b6a0bf8  ---P--F 0        informix -        0        0    0     0        10676
b6a11e8  ---P--F 0        informix -        0        0    0     0        9535
b6a17d8  ---P--F 0        informix -        0        0    0     0        8191
b6a1dc8  ---P--F 0        informix -        0        0    0     0        3888
b6a23b8  ---P--F 0        informix -        0        0    0     0        5473
b6a29a8  ---P--F 0        informix -        0        0    0     0        1538
b6a2f98  ---P--F 0        informix -        0        0    0     0        1602
b6a3588  ---P--- 10       informix -        0        0    0     0        212
b6a3b78  ---P--B 11       informix -        0        0    0     0        0
b6abe18  C--P--- 111      rsadm    PC       a0464a8  0    4     890755   773589


onstat -g cond ничего нового не говорит.

Провел серию экспериментов...
Выполнил несколько аналогичных запросов на другом ядре этого же сервака - все ОК.
Поробовал на другой базе в том же ядре (базу создал в другом dbspace) - первый раз OK, второй раз повис.

Пока подозреваю кривизну какого-нить чанка... Но ясности никакой.

Попробовать с LRU в плане оптимизации можно, но проблему это скорее всего не решит...
...
Рейтинг: 0 / 0
28.08.2004, 05:00
    #32669767
vybegallo
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Длительность чекпойнтов резко увеличивается. В чем причина?
Давай onstat -g ath
onstat -k
onstat -g con (не cond !)
Можешь вообще сохранить результаты onstat -g all и onstat -a и постить куски по мере надобности.
...
Рейтинг: 0 / 0
14.10.2004, 12:47
    #32738137
YBK
YBK
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Длительность чекпойнтов резко увеличивается. В чем причина?
1. При чекпоинте 2-3секунды они у вас шли каждые 10 сек.
2. Как только интервал чекпоинта увеличился до 6 мин время выросло до 206 сек., а когда интервал стал 8,5 мин. соответственно и чекпоинт стал 503 сек. Тут я думаю логика ясна.
3. Почему так плавает чекпоинт ? Какие значения имеют параметры onconfig-а PHYSFILE и CKPTINTVL ???
4. Сколько буферов в системе ? (параметр BUFFERS)
5. Какова длина строки в таблице ? (можно увидеть в dbschema -ss)
6. LRUS=4*NUMCPUVP
7. CLEANERS=LRUS
8. LRU_MAX_DIRTY 60 и LRU_MIN_DIRTY 50 большие ОДНОЗНАЧНО, уменьшайте (10/15, 5/8 и т.д., подбирайте) !!!
...
Рейтинг: 0 / 0
14.10.2004, 12:48
    #32738148
YBK
YBK
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Длительность чекпойнтов резко увеличивается. В чем причина?
1. При чекпоинте 2-3секунды они у вас шли каждые 10 сек.
2. Как только интервал чекпоинта увеличился до 6 мин время выросло до 206 сек., а когда интервал стал 8,5 мин. соответственно и чекпоинт стал 503 сек. Тут я думаю логика ясна.
3. Почему так плавает чекпоинт ? Какие значения имеют параметры onconfig-а PHYSFILE и CKPTINTVL ???
4. Сколько буферов в системе ? (параметр BUFFERS)
5. Какова длина строки в таблице ? (можно увидеть в dbschema -ss)
6. LRUS=4*NUMCPUVP
7. CLEANERS=LRUS
8. LRU_MAX_DIRTY 60 и LRU_MIN_DIRTY 50 большие ОДНОЗНАЧНО, уменьшайте (10/15, 5/8 и т.д., подбирайте) !!!
...
Рейтинг: 0 / 0
19.10.2004, 15:01
    #32744564
stalk7
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Длительность чекпойнтов резко увеличивается. В чем причина?
onconfig:
CKPTINTVL 300 # Check point interval (in sec)
PHYSFILE 2000 # Physical log file size (Kbytes)
BUFFERS 10000 # Maximum number of shared buffers

Некоторое время работал с PHYSFILE 10000 - ощутимой разницы не заметил.

Для таблицы, в которую загружаются данные:
row size = 69 number of columns = 13

Попробую поработать некоторое время с
LRUS 8 # Number of LRU queues
LRU_MAX_DIRTY 10 # LRU percent dirty begin cleaning limit
LRU_MIN_DIRTY 15 # LRU percent dirty end cleaning limit
...
Рейтинг: 0 / 0
Форумы / Informix [игнор отключен] [закрыт для гостей] / Длительность чекпойнтов резко увеличивается. В чем причина? / 14 сообщений из 14, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]