Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Потеря данных при выборке информации / 8 сообщений из 8, страница 1 из 1
06.03.2018, 16:57
    #39611349
kolyady
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потеря данных при выборке информации
Всем добрый день!

Обрисую ситуацию есть 2 мат вью (ежедневная и архивная ), процесс ETL выгружает информацию в txt файл для последующей загрузки на DWH. Выборка из этих мат вью простая , типа:
select * from table1
union all
select * from Arc_table1

До заливка информации на DWH происходит по стампу (тобиш считывается максимальный стамп на DWH, и все что выше его забирается с источника).

И вот в определенные моменты происходит следующее
должно выгрузиться таблица со значениями
1
2
3
4
5
6
А выгружается :
1

3
4

6

Изоляция БД стандартная "Read Committed" , предполагаю что пропущенные строки или вставлялись как раз в этот момент но не успели закомититься, а последующие за ними успели, или возможно происходил апдейт этих строк в этот самый момент считывания. Короче ни причины почему так происходит я не знаю ни соответственно как ее решить тоже.
Буду рад любым идеям :)
Спасибо!
...
Рейтинг: 0 / 0
06.03.2018, 17:06
    #39611357
-2-
-2-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потеря данных при выборке информации
Читай данные с перекрытием назад заведомо больше самой долгой транзакции. И мердж дубликатов.
...
Рейтинг: 0 / 0
06.03.2018, 17:11
    #39611358
kolyady
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потеря данных при выборке информации
-2-,

Не прокатит по причине
данные выгружаются 1 раз в сутки ночью, тобиш дыры заполнятся только через сутки, а ме надо чтоб сегодня вчерашние данные были без пробелов.
...
Рейтинг: 0 / 0
06.03.2018, 18:02
    #39611416
Stax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потеря данных при выборке информации
kolyady,

если выгружать не с матвью, а селектом из таблиц, таж проблема?

.....
stax
...
Рейтинг: 0 / 0
06.03.2018, 18:36
    #39611437
kolyady
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потеря данных при выборке информации
Stax,

есть доступ только на мат вью, к таблам доступа нету
...
Рейтинг: 0 / 0
07.03.2018, 11:24
    #39611717
kolyady
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потеря данных при выборке информации
О гуру Оракла скажите же хоть что нибудь, буду рад любым предположениям почему так может происходить :(
...
Рейтинг: 0 / 0
07.03.2018, 12:11
    #39611746
Elic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потеря данных при выборке информации
kolyady-2-,

Не прокатит по причине
данные выгружаются 1 раз в сутки ночью, тобиш дыры заполнятся только через сутки, а ме надо чтоб сегодня вчерашние данные были без пробелов.Сдвинь момент забора данных на интервал перекрытия.
...
Рейтинг: 0 / 0
07.03.2018, 16:31
    #39611943
Stax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потеря данных при выборке информации
kolyadyStax,

есть доступ только на мат вью, к таблам доступа нету

шо тут посоветовать, пусть разбираются те кто отобрал доступ

показать пропущенные записи, пуст разбираются/ищут что с ними не так (мож там признак не включать во вью)

можно подгружать несколько раз (напр еще и утром), но где уверененность что и за н-й раз записи попадут

надо найти причину почему не попадают, темболее выгрузка ночью

.....
stax
...
Рейтинг: 0 / 0
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Потеря данных при выборке информации / 8 сообщений из 8, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]