ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Потерялись записи
25 сообщений из 42, страница 1 из 2
  1  все
Потерялись записи
    #39724774
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CyberMax
Участник
FB 3.0. Сегодня наткнулся на любопытный случай. В одной таблице потерялись записи, порядка 30 штук. То есть через SELECT их не видно. Но если сделать SELECT через условие SOMEFIELD = N, где по полю SOMEFIELD есть индекс, то сервер возвращает эту строку, как будто она есть. Если сделать через SOMEFIELD + 0 = N, то план меняется на натуральный и конечно ничего не возвращается. Сами по себе эти строки пропасть не могли - там таблица очищается вся и заново заполняется. Валидации БД пока не делал. Проблема решится пересозданием индекса, но хотелось бы уточнить у разработчиков - надо ли что-то исследовать в данном случае или проигнорировать проблему?
...
Рейтинг: 0 / 0
30.10.2018, 09:09
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724781
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
CyberMax,

надо было сделать онлайн валидацию и посмотреть что она выдала
...
Рейтинг: 0 / 0
30.10.2018, 09:28
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724807
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
CyberMax,

обычно бывает наоборот. когда индекс битый, то по индексу не выводятся, а без индекса - выводятся.
А наоборот - это как-то совсем загадочно. Разве только ссылки на какую-то страницу с pp потерялись, а с индекса остались.
CyberMax Проблема решится пересозданием индекса
то есть, записи окончательно пропадают? Или у вас там написано всё наоборот?
Если записи не могут быть прочитаны натуралом, то они не могут быть и проиндексированы.
...
Рейтинг: 0 / 0
30.10.2018, 10:32
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724813
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
CyberMaxнадо ли что-то исследовать в данном случаеПолную валидацию, если возможно.
В крайнем случае - онлайн валидацию одной этой таблицы.
...
Рейтинг: 0 / 0
30.10.2018, 10:46
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724816
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
kdvРазве только ссылки на какую-то страницу с pp потерялись, а с индекса остались.
CyberMaxБез PP в любом случае - никак
...
Рейтинг: 0 / 0
30.10.2018, 10:48
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724817
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CyberMax
Участник
kdvто есть, записи окончательно пропадают? Или у вас там написано всё наоборот?
Если записи не могут быть прочитаны натуралом, то они не могут быть и проиндексированы.
Да, записи окончательно пропадут. Но, так как эта таблица в процессе работы полностью очищается, это неважно. Я собственно и натолкнулся на это из-за того, что после очистки таблицы и загрузки заново данных (примерно тех же самых), начало срабатывать ограничение по уникальности значения поля.
...
Рейтинг: 0 / 0
30.10.2018, 10:48
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724819
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
CyberMaxЯ собственно и натолкнулся на это из-за того, что после очистки таблицы и загрузки заново данных (примерно тех же самых), начало срабатывать ограничение по уникальности значения поля.Что-то странное ты рассказываешь. Воспроизвести можешь ?
...
Рейтинг: 0 / 0
30.10.2018, 10:53
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724823
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CyberMax
Участник
Результат онлайн-валидации таблицы:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
17:57:37.30 Validation started 
 
17:57:37.32 Relation 745 (TABLE1) 
17:57:37.32   process pointer page    0 of    2 
17:57:37.34 Error: Data page 2344914 {sequence 42} marked as secondary but contains primary record versions 
17:57:37.51   process pointer page    1 of    2 
17:57:37.62 Index 1 (IDX_TABLE1_1) 
17:57:38.65 Index 2 (UNQ1_TABLE1) 
17:57:39.82 Index 3 (IDX_TABLE1_2) 
17:57:40.57 Index 4 (UNQ2_TABLE1) 
17:57:40.59 Relation 745 (TABLE1) : 1 ERRORS found 
 
17:57:40.59 Validation finished
...
Рейтинг: 0 / 0
30.10.2018, 10:59
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724826
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
CyberMax
Код: plaintext
1.
17:57:37.34 Error: Data page 2344914 {sequence 42} marked as secondary but contains primary record versions
Интересно. Что при этом написано в firebird.log ? Находятся ли теперь эти записи ?
...
Рейтинг: 0 / 0
30.10.2018, 11:03
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724827
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
CyberMax,

ого! Походу ты багу нарыл. Что-то случилось такое что первичная страница пометилась как вторичная. Походу надо будет Владу БД слать
...
Рейтинг: 0 / 0
30.10.2018, 11:03
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724832
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CyberMax
Участник
hvlad,

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
SERVER	Tue Oct 30 17:57:37 2018
	Database: --CUTTED--
	Validation started


SERVER	Tue Oct 30 17:57:37 2018
	Database: --CUTTED--
	Error: Data page 2344914 {sequence 42} marked as secondary but contains primary record versions in table --CUTTED-- (745)


SERVER	Tue Oct 30 17:57:40 2018
	Database: --CUTTED--
	Validation finished: 1 errors, 0 warnings, 0 fixed

Эти записи по-прежнему не видны при SELECT.
...
Рейтинг: 0 / 0
30.10.2018, 11:09
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724838
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
CyberMax,

а они должны быть видны или нет? Т.е. ты эти данные уже удалил, но они всё ещё видны при выборке по индексу или ещё не удалял, но они не видны при выборке натуралом?
...
Рейтинг: 0 / 0
30.10.2018, 11:14
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724840
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CyberMax
Участник
Симонов Дениса они должны быть видны или нет? Т.е. ты эти данные уже удалил, но они всё ещё видны при выборке по индексу или ещё не удалял, но они не видны при выборке натуралом?
Должны быть видны, т.к. записи не удаляются частями - только все вместе.
...
Рейтинг: 0 / 0
30.10.2018, 11:17
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724847
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CyberMax
Участник
Видимо это CORE-5459 .
Добавил в выборке ORDER BY по индексированному полю - и вытащились все записи.
...
Рейтинг: 0 / 0
30.10.2018, 11:21
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724849
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
CyberMax,

прежде чем исправлять сохрани куда-нибудь косячную базу, она может потребоваться разработчикам для анализа.
Дальше умолкаю, путь тебя Влад пытает.
...
Рейтинг: 0 / 0
30.10.2018, 11:23
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724869
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
CyberMax
Код: plaintext
1.
2.
SERVER	Tue Oct 30 17:57:40 2018
	Database: --CUTTED--
	Validation finished: 1 errors, 0 warnings, 0 fixed
Эти записи по-прежнему не видны при SELECT.Т.к. 0 fixed - то это ожидаемо.

Таблица - GTT ? Какая точная версия сервера ?
...
Рейтинг: 0 / 0
30.10.2018, 11:51
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724899
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Кстати, полная валидация (не в онлайн режиме) должна исправить эту ошибку
...
Рейтинг: 0 / 0
30.10.2018, 12:50
| Ответить | Цитировать | Написать  
Потерялись записи
    #39724912
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
hvlad,

ну это да, но всё же причину ошибки выяснить надо
...
Рейтинг: 0 / 0
30.10.2018, 13:15
| Ответить | Цитировать | Написать  
Потерялись записи
    #39725408
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CyberMax
Участник
hvladТаблица - GTT ? Какая точная версия сервера ?
Нет. Таблица - обычная. Сервер 3.0.4.32987.
...
Рейтинг: 0 / 0
31.10.2018, 01:21
| Ответить | Цитировать | Написать  
Потерялись записи
    #39725423
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
CyberMax,

можешь описать действия с этой таблицей, которые приводят к такому результату ?

Я, думаю, что могу соломку подложить, чтобы этого не повторялось - но в идеале, конечно, хотелось бы воспроизвести, чтобы быть уверенным...
...
Рейтинг: 0 / 0
31.10.2018, 02:00
| Ответить | Цитировать | Написать  
Потерялись записи
    #39725434
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CyberMax
Участник
hvladможешь описать действия с этой таблицей, которые приводят к такому результату ?
Эта таблица каждый понедельник полностью очищается через DELETE FROM TABLE, которое обернуто в ХП. Сверху загружаются примерно такие же данные, в пятницу записи обновляются через обработку в ХП. После чего все повторяется. Иных обновлений не делается. С момента перехода на FB3 (в июне) таких итераций было примерно 20.

hvladЯ, думаю, что могу соломку подложить, чтобы этого не повторялось - но в идеале, конечно, хотелось бы воспроизвести, чтобы быть уверенным...
Если снапшот будет в ближайшие дни, получится его поставить 3-5 ноября на сервер. Воспроизвести сам вряд ли смогу - тут только ждать, когда еще раз такая оказия случится.

А под соломкой что подразумевается? Предварительное исправление или какое-то исключение в онлайн-режиме? Главное, чтобы без багчека.
...
Рейтинг: 0 / 0
31.10.2018, 05:56
| Ответить | Цитировать | Написать  
Потерялись записи
    #39725435
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CyberMax
Участник
Подумал сейчас и понял, что в принципе можно делать сделать повтор этих операций за один присест, сколько нужно, хоть тысячу раз. Тогда можно будет протестить до и после патча. Если, конечно, оно воспроизведется :).
...
Рейтинг: 0 / 0
31.10.2018, 05:59
| Ответить | Цитировать | Написать  
Потерялись записи
    #39726485
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
CyberMax,

не пробовал ?
...
Рейтинг: 0 / 0
01.11.2018, 12:46
| Ответить | Цитировать | Написать  
Потерялись записи
    #39726487
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
CyberMaxА под соломкой что подразумевается? Предварительное исправление или какое-то исключение в онлайн-режиме? Главное, чтобы без багчека.Исправление, есс-но. Никаких багчеков :)
Но - исправлениям "в слепую" не очень-то верится.
...
Рейтинг: 0 / 0
01.11.2018, 12:47
| Ответить | Цитировать | Написать  
Потерялись записи
    #39726992
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CyberMax
Участник
hvladне пробовал ?
Сделал триста циклов просто обновления - ошибок нет.
Сейчас запустил эмуляцию полного цикла работ. Это на несколько часов.
...
Рейтинг: 0 / 0
02.11.2018, 09:50
| Ответить | Цитировать | Написать  
25 сообщений из 42, страница 1 из 2
  1  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Потерялись записи
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=40&fpage=24&tid=1560734]:
 0ms
get settings:
 10ms
get forum list:
 11ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 40ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 59ms
get tp. blocked users:
 1ms
others: 12ms
total:  151ms
созд. / загр.: 151ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]