|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
Может натолкнет на какую мысль. Имеем уже третий раз такую ситуацию: запись видна в выборке, если таблица подключается по индексу и не видна, если идет NATURAL скан. Соответственно, такие записи не попадают в бэкап и потом получаются ошибки и невосстановимые внешние ключи. Лечится gfix -mend. Потом делаем бэкап-рестор, но, иногда между мендом и бэкап-рестором проходит 2-3 недели из-за технологических особенностей предприятия. ФБ 3. самые последние билды. Что этому предшествует точно непонятно. Железо надежное, FW = on. Но, редко происходят ситуации с зависанием файреберда, когда он грузит все процессоры и ядра на 100%. Тогда снимают задачу... Недавно обнаружили в логе такие записи: SERVER2 Fri Jul 12 11:46:22 2019 Database: ...FDB internal Firebird consistency check (missing pointer page in DPM_data_pages (243), file: dpm.cpp line: 774) SERVER2 Fri Jul 12 11:46:22 2019 I/O error during "WriteFile" operation for file "...FDB" Error while trying to write to file Неверный дескриптор. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 11:30 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22Лечится gfix -mend-mend тут не нужен. -v -full делали ? Его должно быть достаточно, если это то, о чём я думаю. sysdba22Но, редко происходят ситуации с зависанием файреберда, когда он грузит все процессоры и ядра на 100%. Тогда снимают задачу...Дамп надо снимать, а не задачу... ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 11:52 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
-v -full делали следующий раз попробуют. еженочно на базе делается gbak со сборкой мусора и gfix -sweep. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 11:58 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22, а что пишется в лог во время валидации ? ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 12:06 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
hvlad, пишет, что найдено пару инвалидных страниц. а вот каких точно уже не вспомнят. данных, индексов... ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 12:17 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22запись видна в выборке, если таблица подключается по индексу и не видна, если идет NATURAL скан. Это странно. Обычно бывает наоборот. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 12:24 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22hvlad, пишет, что найдено пару инвалидных страниц. а вот каких точно уже не вспомнят. данных, индексов...Там что - потерялся firebird.log ? В любом случае - нужно воспроизводить проблему. И для того, чтобы исправить, и для того, чтобы проверить исправление. Насколько мне известно, она может проявляться в сценарии когда в таблицу заливают данные, потом их удаляют и так по кругу многократно. 3-ка SS. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 13:27 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
в Firebird log из подозрительного только эти записи, которые я привел выше. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 14:01 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22делается gbak со сборкой мусора я не ослышался? Должно быть наоборот, без сборки мусора. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 14:03 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22пишет, что найдено пару инвалидных страниц. а вот каких точно уже не вспомнят. данных, индексов... открою секрет - gfix при "починке" БД в консоль выводит общую информацию, а детально по каждому повреждению - в firebird.log. поэтому там должно быть всё, что нашел gfix. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 14:05 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22в Firebird log из подозрительного только эти записи, которые я привел выше.Где ? ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 14:43 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
SERVER2 Fri Jul 12 11:46:22 2019 Database: ...FDB internal Firebird consistency check (missing pointer page in DPM_data_pages (243), file: dpm.cpp line: 774) SERVER2 Fri Jul 12 11:46:22 2019 I/O error during "WriteFile" operation for file "...FDB" Error while trying to write to file Неверный дескриптор. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 15:41 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22, я спросил про записи в логе, созданные валидацией (когда запускали gfix). И не нужно говорить, что их там нет или что они не подозрительные :) ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 16:35 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
Они там есть :) И их там много. Есть такие : SERVER2 Sun Jul 14 14:59:37 2019 Database: E:\DATA_BASE\GDBASE2.FDB Warning: Page 21227633 has SCN 162 while at SCN's page it is 171 SERVER2 Sun Jul 14 14:59:37 2019 Database: E:\DATA_BASE\GDBASE2.FDB Warning: Page 21227612 has SCN 162 while at SCN's page it is 171 SERVER2 Sun Jul 14 14:59:37 2019 Database: E:\DATA_BASE\GDBASE2.FDB Warning: Relation has 5 orphan backversions {0 in use} in table RDB$RELATIONS (6) SERVER2 Sun Jul 14 14:59:39 2019 Database: E:\DATA_BASE\GDBASE2.FDB Warning: Pointer page 8788548 {sequence 177} bits {0x09 full, secondary} are not consistent with data page 21337847 {sequence 290415} state {0x08 secondary} in table USR$INV_SELLBILLLINE (151) SERVER2 Sun Jul 14 15:13:39 2019 Database: E:\DATA_BASE\GDBASE2.FDB Warning: Page 25732861 is an orphan SERVER2 Sun Jul 14 15:07:03 2019 Database: E:\DATA_BASE\GDBASE2.FDB Warning: Index 42 has inconsistent left sibling pointer, page 22238756 level 1 at offset 5612 in table AC_ENTRY (280) ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 16:41 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
Mike_gs94, Error там есть ? Не Warning ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 16:46 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
SERVER2 Sun Jul 14 15:01:15 2019 Database: E:\DATA_BASE\GDBASE2.FDB Error: Data page 26079849 {sequence 1312961} marked as secondary but contains primary record versions in table GD_DOCUMENT (202) SERVER2 Sun Jul 14 15:01:15 2019 Database: E:\DATA_BASE\GDBASE2.FDB Error: Data page 26083650 {sequence 1313074} marked as secondary but contains primary record versions in table GD_DOCUMENT (202) SERVER2 Sun Jul 14 15:07:42 2019 Database: E:\DATA_BASE\GDBASE2.FDB Error: Index 49 is corrupt {missing entries for record 962422561} in table AC_ENTRY (280) ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 17:00 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
Mike_gs94Error: Data page ... marked as secondary but contains primary record versionsВот эти две ошибки и есть то, о чём я думаю. Лечится gfix'ом. Очень хочется воспроизвести, но никто пока не смог этого сделать. Mike_gs94Error: Index 49 is corrupt {missing entries for record 962422561} in table AC_ENTRY (280)А это - то, о чём писал DS. Нужно перестроить этот индекс. Или сначала проверить ещё раз после свипа, тут может быть и ложная тревога. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 19:14 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
Mike_gs94Index 49 is corrupt 49 индексов на табличке AC_ENTRY? мощно... ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2019, 23:18 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
там их и больше должно быть. это внешние ключи. причем сама табличка содержит десятки миллионов записей. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.07.2019, 09:58 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
опять такая ситуация появилась. запись видна при считывании по индексу и не видна при натурал скан. можем ли мы как-то помочь, чтобы выявить эту ошибку? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 11:40 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22, - нужна информация что делалось с таблицей в которой косяк - конфигурация после чего соорудить тестовую базу и попробовать воспроизвести проблему. Ну не знаю приложение написать (возможно многопоточное) или на isql скрипты в нескольких процессах запустить. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 11:44 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22, где-нибудь в бизнес-логике или запросах используются регулярные выражения ФБ (SIMILAR TO)? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 11:47 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
rdb_dev, они тут не причём. Речь о порче БД ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 11:52 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22опять такая ситуация появилась. запись видна при считывании по индексу и не видна при натурал сканВалидация говорит то же самое (Data page ... marked as secondary but contains primary record versions in table) ? sysdba22можем ли мы как-то помочь, чтобы выявить эту ошибку?Воспроизвести самостоятельно или дать достаточно инф-ции чтобы я мог создать воспроизводимый пример ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 12:11 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
Симонов Денисrdb_dev, они тут не причём. Речь о порче БДМне показалось, что речь о порче БД после киляния процесса сервера, перестающего отвечать и грузящего процессор на 100%. Использование регулярный выражений ФБ вполне может повлечь подобные симптомы. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 13:33 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
rdb_devМне показалосьа потом почудилось, а потом привиделось... можно флудить в сторонке? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 14:01 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
А что все так сразу набросилось? Может, чувак дело говорит.)) Пусть лучше топикастер ответит. И дополнительный вопрос мог бы звучать так, - продолжались ли тем временем периодические киляния сервера? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 14:20 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
hvladОчень хочется воспроизвести, но никто пока не смог этого сделать. а нельзя например эту проверку встроить в запись страницы БД в кэш или на диск ? пусть сервер сразу какую сможет статистику сбрасывает в лог и "ложится". есть шанс, что какое бы событие не было триггером, оно случилос ьнедавно и по горчим следам может быть вспомнено. Или уже в статистике что-то аномальное будет ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 16:15 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
....и часто ли бывают rollback'и ? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 16:17 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
Ivan_Pisarevskyrdb_devМне показалосьа потом почудилось, а потом привиделось... можно флудить в сторонке?Ты чересчур категоричен. 21904326 ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 16:39 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
rdb_devкатегориченНе надо сваливать все в одну кучу, задуматься на чтение сервер может по миллиону причин. Чуть позже флуд зачищу. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 16:59 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
Пока ничем не поможем. База загружена 24/7, более трехсот пользователей, кто и что приводит к такой ошибке, какой порядок действий установить не представляется возможным. Пока, выявили на восстановлении -- исправили (удалили, вставили по новой) данную запись на рабочей базе. Дальше будем наблюдать. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2019, 17:50 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22, ежедневная валидация вам нужна. Или даже чаще. Для начала. И нужно понимать есть ли связь с убиением процесса сервера. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2019, 18:13 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
Ivan_PisarevskyНе надо сваливать все в одну кучу, задуматься на чтение сервер может по миллиону причин.Задумываться на чтение или жрать процессор? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.08.2019, 11:02 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22 SERVER2 Fri Jul 12 11:46:22 2019 Database: ...FDB internal Firebird consistency check (missing pointer page in DPM_data_pages (243), file: dpm.cpp line: 774) SERVER2 Fri Jul 12 11:46:22 2019 I/O error during "WriteFile" operation for file "...FDB" Error while trying to write to file Неверный дескриптор. Это у тебя суперсервер был? UPD. Чтобы два раза не вставать - сжатие данных подключения (wirecompression) использовалось? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.02.2020, 09:56 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
Коваленко Дмитрий sysdba22 SERVER2 Fri Jul 12 11:46:22 2019 Database: ...FDB internal Firebird consistency check (missing pointer page in DPM_data_pages (243), file: dpm.cpp line: 774) SERVER2 Fri Jul 12 11:46:22 2019 I/O error during "WriteFile" operation for file "...FDB" Error while trying to write to file Неверный дескриптор. Это у тебя суперсервер был? "А в ответ тишина, он вчера не вернулся из боя" Я тогда для коллекции здесь оставлю. FB 3.0.5.33233 SS x64 Win. авторHOME4 Wed Feb 26 03:14:21 2020 Database: D:\DATABASE\RAM\IBP_TEST_FB30_D3_2.GDB internal Firebird consistency check (missing pointer page in DPM_data_pages (243), file: dpm.cpp line: 774) HOME4 Wed Feb 26 03:14:21 2020 Database: D:\DATABASE\RAM\IBP_TEST_FB30_D3_2.GDB I/O error during "ReadFile" operation for file "D:\DATABASE\RAM\IBP_TEST_FB30_D3_2.GDB" Error while trying to read from file Неверный дескриптор. В этом случае сервер навернулся. авторHOME4 Thu Feb 27 17:24:09 2020 Database: D:\DATABASE\RAM\IBP_TEST_FB30_D1_2.GDB internal Firebird consistency check (pointer page vanished from DPM_next (249), file: dpm.cpp line: 1904) HOME4 Thu Feb 27 17:24:09 2020 I/O error during "WriteFile" operation for file "D:\DATABASE\RAM\IBP_TEST_FB30_D1_2.GDB" Error while trying to write to file Неверный дескриптор. Сервер не навернулся, но к базе больше подключаться не давал. И это не первый раз у меня такое. --- Пока они не починят управление временем жизни rem_port (это стабильно воспроизводимое убийство суперсервера), я бы посоветовал не юзать суперсервер. Как я понимаю, топикстартер уже слез с супера. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2020, 08:32 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
Коваленко Дмитрий Пока они не починят управление временем жизни rem_port (это стабильно воспроизводимое убийство суперсервера), ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2020, 10:22 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
hvlad Коваленко Дмитрий Пока они не починят управление временем жизни rem_port (это стабильно воспроизводимое убийство суперсервера), Что "ась"? Тикет 6224 вам в полтора месяца назад создали. Бинарник для тестов закачали. Даже S.N.A.F.F. приложил. Недели две назад давал ссылку на то, как можно починить. Не, если у вас там каникулы зимние или спячка, то тогда прошу пардону. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2020, 13:36 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
Коваленко ДмитрийТикет 6224 вам в полтора месяца назад создали где, кто, что. CORE-6224 не существует. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2020, 14:37 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
Коваленко Дмитрий, не с той ноги встал ? Ляг снова и встань, как положено :) Тикеты для Developers - не всем видны (привет kdv), про них нет писем ни в fb-devel, ни в мыло (мне, как минимум). Т.е. я, например, его впервые вижу. Не знаю, что ты имеешь в виду под SNAFF и какую ссылку ты кому давал недели две назад. PS каким боком тикет относится к теме данного топика ? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2020, 15:05 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
hvlad, отож. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2020, 15:19 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
hvlad Коваленко Дмитрий, не с той ноги встал ? Ляг снова и встань, как положено :) С учетом того, что через четыре года после выпуска оно продолжает валиться на ровном месте, мне тоже весело :) ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2020, 16:26 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
Коваленко Дмитрий, на ровном месте ? Уверен ? И шо - с родным клиентом тоже ? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2020, 17:20 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
итак, после 3-х месяцев перехода с SS н CS база работает тьфу-тьфу-тьфу без сбоев. И вот, что еще выяснилось, строгих численных замеров не производили, но клиенты говорят, что в моменты пиковой загрузки отклик системы стал лучше. т.е. что-то нехорошее есть внутри SS сервера, но выловить в повторяемый случай мы это не смогли к сожалению. PS: база растет по 6 Гб / месяц. Сейчас 235. И мы уже начинаем задумываться о перспективе. Один из продумываемых вариантов: 1) перейти на ФБ 4 2) поставить второй мощный сервер 3) сделать две копии бд и настроить между ними асинхронную онлайн репликацию средствами ФБ 4 4) перевести тяжелые запросы/отчеты на реад-онли копию базы данных ... |
|||
:
Нравится:
Не нравится:
|
|||
28.04.2020, 11:23 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22 итак, после 3-х месяцев перехода с SS н CS база работает тьфу-тьфу-тьфу без сбоев. sysdba22 клиенты говорят, что в моменты пиковой загрузки отклик системы стал лучше sysdba22 база растет по 6 Гб / месяц. Сейчас 235. И мы уже начинаем задумываться о перспективе Если нет, то один из вариантов - вынести стабильную часть в отдельную БД и работать с ней через ES. Ну а переход на fb4 + репликация - мы только поприветствуем, но сначала нужно будет погонять тесты, конечно. Всё как обычно, впрочем :) ... |
|||
:
Нравится:
Не нравится:
|
|||
28.04.2020, 12:27 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
сейчас продумываем разные варианты. надеемся 3-5 лет есть у нас, чтобы их воплотить. конечно, в основном идет работа с оперативными данными, но и история нужна для некоторых задач и пользователей. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.04.2020, 13:54 |
|
Запись видна при выборке по индексу, но не видна при NATURAL
|
|||
---|---|---|---|
#18+
sysdba22, надеюсь, это наконец-то исправлено в 3.0.8 см https://github.com/FirebirdSQL/firebird/issues/7044 ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2021, 13:07 |
|
|
start [/forum/search_topic.php?author=Sung+Chen+Young&author_mode=last_topics&do_search=1]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
61ms |
get topic data: |
14ms |
get forum data: |
3ms |
get page messages: |
74ms |
get tp. blocked users: |
2ms |
others: | 4995ms |
total: | 5202ms |
0 / 0 |