Гость
Войти | Профиль | Очистить
Действия ...
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Потерялись записи / 25 сообщений из 42, страница 1 из 2
  1  все
30.10.2018, 09:09
    #39724774
CyberMax
CyberMax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
FB 3.0. Сегодня наткнулся на любопытный случай. В одной таблице потерялись записи, порядка 30 штук. То есть через SELECT их не видно. Но если сделать SELECT через условие SOMEFIELD = N, где по полю SOMEFIELD есть индекс, то сервер возвращает эту строку, как будто она есть. Если сделать через SOMEFIELD + 0 = N, то план меняется на натуральный и конечно ничего не возвращается. Сами по себе эти строки пропасть не могли - там таблица очищается вся и заново заполняется. Валидации БД пока не делал. Проблема решится пересозданием индекса, но хотелось бы уточнить у разработчиков - надо ли что-то исследовать в данном случае или проигнорировать проблему?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 09:28
    #39724781
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
CyberMax,

надо было сделать онлайн валидацию и посмотреть что она выдала
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 10:32
    #39724807
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
CyberMax,

обычно бывает наоборот. когда индекс битый, то по индексу не выводятся, а без индекса - выводятся.
А наоборот - это как-то совсем загадочно. Разве только ссылки на какую-то страницу с pp потерялись, а с индекса остались.
CyberMax Проблема решится пересозданием индекса
то есть, записи окончательно пропадают? Или у вас там написано всё наоборот?
Если записи не могут быть прочитаны натуралом, то они не могут быть и проиндексированы.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 10:46
    #39724813
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
CyberMaxнадо ли что-то исследовать в данном случаеПолную валидацию, если возможно.
В крайнем случае - онлайн валидацию одной этой таблицы.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 10:48
    #39724816
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
kdvРазве только ссылки на какую-то страницу с pp потерялись, а с индекса остались.
CyberMaxБез PP в любом случае - никак
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 10:48
    #39724817
CyberMax
CyberMax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
kdvто есть, записи окончательно пропадают? Или у вас там написано всё наоборот?
Если записи не могут быть прочитаны натуралом, то они не могут быть и проиндексированы.
Да, записи окончательно пропадут. Но, так как эта таблица в процессе работы полностью очищается, это неважно. Я собственно и натолкнулся на это из-за того, что после очистки таблицы и загрузки заново данных (примерно тех же самых), начало срабатывать ограничение по уникальности значения поля.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 10:53
    #39724819
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
CyberMaxЯ собственно и натолкнулся на это из-за того, что после очистки таблицы и загрузки заново данных (примерно тех же самых), начало срабатывать ограничение по уникальности значения поля.Что-то странное ты рассказываешь. Воспроизвести можешь ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 10:59
    #39724823
CyberMax
CyberMax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
Результат онлайн-валидации таблицы:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
17:57:37.30 Validation started 
 
17:57:37.32 Relation 745 (TABLE1) 
17:57:37.32   process pointer page    0 of    2 
17:57:37.34 Error: Data page 2344914 {sequence 42} marked as secondary but contains primary record versions 
17:57:37.51   process pointer page    1 of    2 
17:57:37.62 Index 1 (IDX_TABLE1_1) 
17:57:38.65 Index 2 (UNQ1_TABLE1) 
17:57:39.82 Index 3 (IDX_TABLE1_2) 
17:57:40.57 Index 4 (UNQ2_TABLE1) 
17:57:40.59 Relation 745 (TABLE1) : 1 ERRORS found 
 
17:57:40.59 Validation finished
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 11:03
    #39724826
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
CyberMax
Код: plaintext
1.
17:57:37.34 Error: Data page 2344914 {sequence 42} marked as secondary but contains primary record versions
Интересно. Что при этом написано в firebird.log ? Находятся ли теперь эти записи ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 11:03
    #39724827
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
CyberMax,

ого! Походу ты багу нарыл. Что-то случилось такое что первичная страница пометилась как вторичная. Походу надо будет Владу БД слать
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 11:09
    #39724832
CyberMax
CyberMax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
hvlad,

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
SERVER	Tue Oct 30 17:57:37 2018
	Database: --CUTTED--
	Validation started


SERVER	Tue Oct 30 17:57:37 2018
	Database: --CUTTED--
	Error: Data page 2344914 {sequence 42} marked as secondary but contains primary record versions in table --CUTTED-- (745)


SERVER	Tue Oct 30 17:57:40 2018
	Database: --CUTTED--
	Validation finished: 1 errors, 0 warnings, 0 fixed

Эти записи по-прежнему не видны при SELECT.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 11:14
    #39724838
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
CyberMax,

а они должны быть видны или нет? Т.е. ты эти данные уже удалил, но они всё ещё видны при выборке по индексу или ещё не удалял, но они не видны при выборке натуралом?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 11:17
    #39724840
CyberMax
CyberMax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
Симонов Дениса они должны быть видны или нет? Т.е. ты эти данные уже удалил, но они всё ещё видны при выборке по индексу или ещё не удалял, но они не видны при выборке натуралом?
Должны быть видны, т.к. записи не удаляются частями - только все вместе.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 11:21
    #39724847
CyberMax
CyberMax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
Видимо это CORE-5459 .
Добавил в выборке ORDER BY по индексированному полю - и вытащились все записи.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 11:23
    #39724849
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
CyberMax,

прежде чем исправлять сохрани куда-нибудь косячную базу, она может потребоваться разработчикам для анализа.
Дальше умолкаю, путь тебя Влад пытает.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 11:51
    #39724869
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
CyberMax
Код: plaintext
1.
2.
SERVER	Tue Oct 30 17:57:40 2018
	Database: --CUTTED--
	Validation finished: 1 errors, 0 warnings, 0 fixed
Эти записи по-прежнему не видны при SELECT.Т.к. 0 fixed - то это ожидаемо.

Таблица - GTT ? Какая точная версия сервера ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 12:50
    #39724899
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
Кстати, полная валидация (не в онлайн режиме) должна исправить эту ошибку
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.10.2018, 13:15
    #39724912
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
hvlad,

ну это да, но всё же причину ошибки выяснить надо
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
31.10.2018, 01:21
    #39725408
CyberMax
CyberMax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
hvladТаблица - GTT ? Какая точная версия сервера ?
Нет. Таблица - обычная. Сервер 3.0.4.32987.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
31.10.2018, 02:00
    #39725423
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
CyberMax,

можешь описать действия с этой таблицей, которые приводят к такому результату ?

Я, думаю, что могу соломку подложить, чтобы этого не повторялось - но в идеале, конечно, хотелось бы воспроизвести, чтобы быть уверенным...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
31.10.2018, 05:56
    #39725434
CyberMax
CyberMax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
hvladможешь описать действия с этой таблицей, которые приводят к такому результату ?
Эта таблица каждый понедельник полностью очищается через DELETE FROM TABLE, которое обернуто в ХП. Сверху загружаются примерно такие же данные, в пятницу записи обновляются через обработку в ХП. После чего все повторяется. Иных обновлений не делается. С момента перехода на FB3 (в июне) таких итераций было примерно 20.

hvladЯ, думаю, что могу соломку подложить, чтобы этого не повторялось - но в идеале, конечно, хотелось бы воспроизвести, чтобы быть уверенным...
Если снапшот будет в ближайшие дни, получится его поставить 3-5 ноября на сервер. Воспроизвести сам вряд ли смогу - тут только ждать, когда еще раз такая оказия случится.

А под соломкой что подразумевается? Предварительное исправление или какое-то исключение в онлайн-режиме? Главное, чтобы без багчека.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
31.10.2018, 05:59
    #39725435
CyberMax
CyberMax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
Подумал сейчас и понял, что в принципе можно делать сделать повтор этих операций за один присест, сколько нужно, хоть тысячу раз. Тогда можно будет протестить до и после патча. Если, конечно, оно воспроизведется :).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.11.2018, 12:46
    #39726485
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
CyberMax,

не пробовал ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.11.2018, 12:47
    #39726487
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
CyberMaxА под соломкой что подразумевается? Предварительное исправление или какое-то исключение в онлайн-режиме? Главное, чтобы без багчека.Исправление, есс-но. Никаких багчеков :)
Но - исправлениям "в слепую" не очень-то верится.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.11.2018, 09:50
    #39726992
CyberMax
CyberMax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потерялись записи
hvladне пробовал ?
Сделал триста циклов просто обновления - ошибок нет.
Сейчас запустил эмуляцию полного цикла работ. Это на несколько часов.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
  1  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Потерялись записи / 25 сообщений из 42, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 189ms
Закрыть
start [/forum/topic.php?fid=40&tablet=1&tid=1560734]:
 0ms
get settings:
 7ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 72ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 64ms
get tp. blocked users:
 1ms
others: 12ms
total:  189ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]