Гость
Войти | Профиль | Очистить
Map
Действия ...
Форумы / Informix [игнор отключен] [закрыт для гостей] / Ненавидите RSS так как ненавижу его я ? / 15 сообщений из 15, страница 1 из 1
28.02.2016, 13:03
    #39180772
Яковлев Павел
Яковлев Павел
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
На самом деле я его люблю. Всячески.

А ненавижу диагностику при редких проблемах - она отсутствует ваще.

Задачка для DBA

Дано: На RSS на ходу нажали ресет (не важно из-за чего). Всё само встало и побежало дальше.

PRIMARY
Код: plaintext
1.
2.
02/28/16 04:01:26  RSS Server XXXXXX - state is now connected
02/28/16 04:01:28  DELAY_APPLY has been set to 1S on server XXXXXX



RSS
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
02/28/16 04:01:29  IBM Informix Dynamic Server Initialized -- Shared Memory Initialized.
02/28/16 04:01:29  Started 1 B-tree scanners.
02/28/16 04:01:29  B-tree scanner threshold set at 5000.
02/28/16 04:01:29  B-tree scanner range scan size set to -1.
02/28/16 04:01:29  B-tree scanner ALICE mode set to 6.
02/28/16 04:01:29  B-tree scanner index compression level set to med.
02/28/16 04:01:29  Physical Recovery Started at Page (2:5925933).
02/28/16 04:01:29  Physical Recovery Complete: 16797 Pages Examined, 4200 Pages Restored.
02/28/16 04:01:31  RSS Server YYYYY - state is now connected
02/28/16 04:01:31  Dataskip is now ON for all dbspaces
02/28/16 04:01:31  Restartable Restore has been ENABLED
02/28/16 04:01:31  Recovery Mode
02/28/16 04:01:31  Logical Recovery Started.
02/28/16 04:01:31  73 recovery worker threads will be started.
02/28/16 04:01:31  Start Logical Recovery - Start Log 2642274, End Log ?
02/28/16 04:01:31  Starting Log Position - 2642274 0x17086e8
02/28/16 04:01:32  B-tree scanners disabled.
02/28/16 04:01:33  DR: RSS secondary server operational
02/28/16 04:01:33  Secondary Delay or Stop Apply: Using the directory /**********/LOG_STAGING_DIR/ifmxlog_0.
02/28/16 04:01:33  A Request to reset the log position to 2642437:0 was sent to the primary server.
02/28/16 04:01:33  Started processing open transactions on secondary during startup
02/28/16 04:01:33  Finished processing open transactions on secondary during startup.
02/28/16 04:01:34  Logical Log 2642274 Complete, timestamp: 0x8b616040.
02/28/16 04:01:35  Checkpoint Completed:  duration was 0 seconds.
02/28/16 04:01:35  Sun Feb 28 - loguniq 2642275, logpos 0x16705a0, timestamp: 0x8b62beed Interval: 2709667
02/28/16 04:01:35  Maximum server connections 0
02/28/16 04:01:35  Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 0, Plog used 16863, Llog used 0
02/28/16 04:01:36  Logical Log 2642275 Complete, timestamp: 0x8b63b66b.
02/28/16 04:01:37  Checkpoint Completed:  duration was 0 seconds.
02/28/16 04:01:37  Sun Feb 28 - loguniq 2642276, logpos 0x15d1790, timestamp: 0x8b64f1fa Interval: 2709668
02/28/16 04:01:37  Maximum server connections 0
02/28/16 04:01:37  Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 0, Plog used 17502, Llog used 0
02/28/16 04:01:39  Logical Log 2642276 Complete, timestamp: 0x8b65eb30.
02/28/16 04:01:41  Checkpoint Completed:  duration was 0 seconds.
02/28/16 04:01:41  Sun Feb 28 - loguniq 2642277, logpos 0x16352cc, timestamp: 0x8b674e77 Interval: 2709669
02/28/16 04:01:41  Maximum server connections 0
.................



И весело оно так бежало (несколько минут, в данное время логов прёт много - каждые 10-15 секунд) пока не оболомилось

PRIMARY
Код: plaintext
1.
2.
02/28/16 04:09:12  Error receiving a buffer from RSS XXXX - shutting down
02/28/16 04:09:13  RSS Server XXXXX - state is now disconnected



RSS
Код: plaintext
1.
2.
3.
4.
5.
6.
02/28/16 04:09:13  Logical Log 2642434 Complete, timestamp: 0x8d33ed5a.
02/28/16 04:09:14  Checkpoint Completed:  duration was 0 seconds.
02/28/16 04:09:14  Sun Feb 28 - loguniq 2642435, logpos 0x11a835c, timestamp: 0x8d35cd60 Interval: 2709827
02/28/16 04:09:14  Maximum server connections 0
02/28/16 04:09:14  Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 0, Plog used 6619, Llog used 0
02/28/16 04:09:17  DR: Turned off on secondary server



Рестарт RSS не помогает - накатывает полностью лог 2642434 и отваливается.

В задачке спрашивается: WTF ?

(Так как в 4 утра хотелось спать, то в натуре задачка решена за 5 минут)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
29.02.2016, 13:26
    #39181359
яфшуеі
яфшуеі
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
Если за 5 минут и учитывая тему и состояние - вероятно прошли точку Х с помощью HDR.
Либо SMX_COMPRESS.
?
DELAY_APPLY - чуток дольше

Да, есть еще безпроигрышный вариант - сделать круг логов и догнать логи на RSS через бекап, часто работает значительно быстрее чем DR.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
29.02.2016, 22:02
    #39181945
Яковлев Павел
Яковлев Павел
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
Неа, RSS всё время оставался RSS :)

Подсказка - решение имело место после onmode -ky и перед oninit

А накат логов ontape - да, временами "вещь"
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.03.2016, 23:34
    #39186665
bk0010
bk0010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
Яковлев Павел(Так как в 4 утра хотелось спать, то в натуре задачка решена за 5 минут)Так как задачку решили?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.03.2016, 20:36
    #39186971
Яковлев Павел
Яковлев Павел
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
(это не "тот самый" листинг, а достоверно восстановленый :) )
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
#ls -l LOG_STAGING_DIR/ifmxlog_0/
-rw-rw----. 1 root informix 20480000 ifmxUniqueLog_2642434
-rw-rw----. 1 root informix        0 ifmxUniqueLog_2642435
-rw-rw----. 1 root informix 20480000 ifmxUniqueLog_2642436
-rw-rw----. 1 root informix 20480000 ifmxUniqueLog_2642437
-rw-rw----. 1 root informix 20480000 ifmxUniqueLog_2642438
-rw-rw----. 1 root informix 20480000 ifmxUniqueLog_2642439
....



Похоже, в результате проверки ФС при перезапуске, файл лога 2642435 по@@ся. Или

Восстановление RSS доходя до такого файла молча выпадает.

Ну вот что мешает хоть как-то причину в логах обозначить ?

Что мешает перезапросить лог с примари ?

Ну а решение простое - гасим субд, удаляем всё из папки, запускаем субд. Взлетает и летит как новая.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.03.2016, 21:11
    #39186979
bk0010
bk0010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
Спасибо
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.04.2016, 18:15
    #39207803
vvt1
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
Яковлев Павел
Ну а решение простое - гасим субд, удаляем всё из папки, запускаем субд. Взлетает и летит как новая.

Э, таки не понял, что удаляем и из какой папки?

Ситуация немного схожая. На лету улетела СХД, восстановили, но кольцо логов прошло несколько оборотов.
При старте RSS запрашивает у PRI лог, который уже в глубоком бекапе. Заливаем логи, запускаем 'ontape -l' и краш.
Код: plaintext
informix rollforward of log record failed. errno = 126

В моем случае, конечно проще с ленты с нуля восстановить и докатить логами, если кольцо уйдет.
Но вдруг, есть некая магия :-)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.04.2016, 19:01
    #39207832
vvt1
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
Sorry.
Понял, в вашем случае побилась папка с бекапами журналов (конкретный файл).
Вы его заменили и все пошло.
Так?

Мой случай это однозначно:
Код: plaintext
1.
17:38:56   Results: The secondary server cannot continue.
17:38:56   Action: Reestablish the secondary server.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.04.2016, 21:27
    #39207920
яфшуеі
яфшуеі
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
vvt1 На лету улетела СХД, восстановили, но кольцо логов прошло несколько оборотов.
При старте RSS запрашивает у PRI лог, который уже в глубоком бекапе. Заливаем логи, запускаем 'ontape -l' и краш.
Код: plaintext
informix rollforward of log record failed. errno = 126

В моем случае, конечно проще с ленты с нуля восстановить и докатить логами, если кольцо уйдет.
Но вдруг, есть некая магия :-)

Думаю магия в данном случае - это чистоо академический интерес и поиск приключений на дупу.
Следуя доке, "улеты" требуют проверки БД. oncheck - дело геморройное.
Я ленивый, поэтому восстанавливал бы с бекапа. Т.е. проще не только вам.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.04.2016, 21:54
    #39207928
Яковлев Павел
Яковлев Павел
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
vvt1Яковлев ПавелНу а решение простое - гасим субд, удаляем всё из папки, запускаем субд. Взлетает и летит как новая.

Э, таки не понял, что удаляем и из какой папки?



LOG_STAGE_DIR
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.04.2016, 22:02
    #39207931
Яковлев Павел
Яковлев Павел
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
vvt1Ситуация немного схожая. На лету улетела СХД, восстановили, но кольцо логов прошло несколько оборотов.
При старте RSS запрашивает у PRI лог, который уже в глубоком бекапе. Заливаем логи, запускаем 'ontape -l' и краш.
Код: plaintext
informix rollforward of log record failed. errno = 126

В моем случае, конечно проще с ленты с нуля восстановить и докатить логами, если кольцо уйдет.
Но вдруг, есть некая магия :-)

Магия будет если сделаете восстановление со старого бэкапа с накаткой 100500 логов прошедших с тех пор и терпеливо дождесь :)

А так - из свежего бэкапа конечно.

С другой стороны, если RSS не критичен для работы и время есть, то чего бы и не потренеровать "План Ц" по восстановлению на случай сильно-печальных ситуаций и заодно проверить этим систему бэкапов ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.04.2016, 14:54
    #39208435
vvt1
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
Яковлев ПавелМагия будет если сделаете восстановление со старого бэкапа с накаткой 100500 логов прошедших с тех пор и терпеливо дождесь :)


Ну 100500 конечно не пробовал, а так около пары тысченок - запросто. Относительно долго.

Вот что меня бесит в RSS это, то, что просто поднял, к примеру, просроченный сервер, когда кольцо логов ушло. Если в online.log на PRI не взглянешь на запись:
Код: plaintext
Can not send log 100500
то по 'onstat -g rss' он и кажет, что Active connected. По-крайней мере на 12.10.FC4W1.
Да, с журналами там тоже бросается в глаза, что он застрял на ожидаемом журнале, но если в 'onstat -l' не взглянуть или в online.log (например скриптом если состояние отслеживать), то сразу аварийности ситуации и не видишь.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.04.2016, 15:29
    #39208479
vvt1
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
Вот так вот видим со стороны PRI:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
IBM Informix Dynamic Server Version 12.10.FC4W1 -- On-Line (Prim) -- Up 94 days 02:12:34 -- 26927104 Kbytes

Local server type: Primary
Index page logging status: Enabled
Index page logging was enabled at: 2015/06/12 13:36:45
Number of RSS servers: 1

RSS Server information:

RSS Srv      RSS Srv      Connection     Next LPG to send        Supports
name         status       status           (log id,page)         Proxy Writes
rsstli     Active       Connected          107438,0            N

А так со стороны RSS:
Код: plaintext
1.
2.
3.
4.
5.
6.
IBM Informix Dynamic Server Version 12.10.FC4W1 -- Fast Recovery (RSS) -- Up 06:44:37 -- 1246208 Kbytes

Local server type: RSS
Server Status : Active
Source server name: pritli
Connection status: Connected
Last log page received(log id,page): 107438,0

Т.е. скриптом оценить, что он ждет 107438 лог для доката из архива, не заглянув в текущий лог на PRI:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
address          number   flags    uniqid   begin                size     used    %used
14fe55f88        4        U-B----  107762   27:53               32768    32768   100.00
169a79130        5        U-B----  107763   27:32821            32768    32768   100.00
169a79198        6        U-B----  107764   27:65589            32768    32768   100.00
169a79200        2        U-B----  107765   27:98357            32768    32768   100.00
169a79268        3        U-B----  107766   27:131125           32768    32768   100.00
169a792d0        7        U-B----  107767   27:163893           32768    32768   100.00
169a79338        8        U-B----  107768   27:196661           32768    32768   100.00
169a793a0        9        U---C-L  107769   27:229429           32768    30255    92.33
169a79408        10       U-B----  107650   27:262197           32768    32768   100.00
169a79470        11       U-B----  107651   27:294965           32768    32768   100.00
. . .
достаточно проблематично.

Ну или учесть, что долго сохраняется на RSS сам номер ожидаемого лога, что сервер в Fast Recovery, а не в Read Only. Ну и то, что страница лога в 0 стоит долго...

Как-то так, логика достаточно уже продвинутая для скрипта будет.

В принципе, пока это чисто академический интерес.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.04.2016, 23:26
    #39208827
Яковлев Павел
Яковлев Павел
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
Да вроде в логах RSS

RSS: Start failure recovery from tape ...


вполне явно говорит что логов не хватило

И сейчас не нашёл, но у Primary будет запись на тему того, что запрошеный лог по зади имеющихся
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.04.2016, 18:38
    #39215054
vvt1
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ненавидите RSS так как ненавижу его я ?
Да, так оно и есть. Но тут получается, что online.log надо анализировать, по самому выводу onstat -g rss не видно, что он, к примеру, ожидает логи из архива.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Informix [игнор отключен] [закрыт для гостей] / Ненавидите RSS так как ненавижу его я ? / 15 сообщений из 15, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 833ms
Закрыть
start [/forum/topic.php?fid=44&mobile=1&tid=1606813]:
 0ms
get settings:
 28ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 46ms
get topic data:
 15ms
get forum data:
 3ms
get page messages:
 351ms
get tp. blocked users:
 2ms
others: 365ms
total:  833ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]