powered by simpleCommunicator - 2.0.29     © 2024 Programmizd 02
Map
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Куда делась часть данных ??
25 сообщений из 26, страница 1 из 2
Куда делась часть данных ??
    #40127652
juratorneo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Уважаемые коллеги, доброго дня.
Меня мучает вопрос и прошу помощи.

Есть удаленный сервер. Он по расписанию формирует файл DSV для/под SQL LOADER (внешнюю таблицу). В заголовке файла есть строка содержащая число записей в этом файле.
Далее с помощью Robocopy забираем этот файл тоже по расписанию уже на локальный сервер где и обрабатываем.
Внимание вопрос. В заголовке файла сказано что он содержит 100 записей. !
Делаем select count(*) from table. Получаем 90 записей. Вопрос куда делось 10 записей ??
Работаем так всегда. Проблем не возникало.
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40127655
Фотография Elic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
juratorneo
В заголовке файла сказано что он содержит 100 записей.
А посчитать их фактическое количество?
juratorneo
Вопрос куда делось 10 записей ??
*.bad
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40127868
juratorneo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Elic
juratorneo
В заголовке файла сказано что он содержит 100 записей.
А посчитать их фактическое количество?
juratorneo
Вопрос куда делось 10 записей ??
*.bad


Так посчитали ж. Я и говорю по факту 90, а в badFile информация о 100.
BadFile сформирован по причине того, что в заголовке есть запись. Это я сделал специально чтобы потом сравнивать фактическое с ожидаемым. И вот тебе разница 10 строк. Куда делись 10 ?
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40127871
Фотография Stax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
juratorneo,

select * from внешняя таблица

сравниваем с содержимым файла, пробуем понять(догадаться)

....
stax
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40127884
SQL*Plus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
juratorneo
В заголовке файла сказано что он содержит 100 записей. !

На заборе написано "XYZ", на самом деле под надписью на земле дрова лежат.

juratorneo
Делаем select count(*) from table. Получаем 90 записей. Вопрос куда делось 10 записей ??

COUNT(*) посчитал только те записи, которые удалось "загрузить" во внешнюю таблицу.
Пригласите ещё 9 коллег и пересчитайте "на пальцах" сколько записей имеется в том самом файле ,
который используется для таблицы.
Именно в файле, а не в таблице! Не перепутайте!

juratorneo
Работаем так всегда. Проблем не возникало.

Так всегда и бывает: работает, работает, работает, но в какой-то момент возникают проблемы.

Мужайтесь, ищите решение.
Вздыхаю вместе с вами и похлопываю вас по плечу.
Если вам ещё не полегчало могу надеть впитывающую влагу жилетку для приёма слёз. :-)
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40127927
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SQL*Plus
juratorneo
В заголовке файла сказано что он содержит 100 записей. !

На заборе написано "XYZ", на самом деле под надписью на земле дрова лежат.

juratorneo
Делаем select count(*) from table. Получаем 90 записей. Вопрос куда делось 10 записей ??

COUNT(*) посчитал только те записи, которые удалось "загрузить" во внешнюю таблицу....

Типично - не загрузились из-за уникального индекса.
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40127937
Фотография shane54
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну и кроме *.bad файла есть же ещё *.discard, суть то что не загрузилось по условию LOAD WHEN.
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128182
juratorneo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Stax
juratorneo,
пробуем понять(догадаться)

....
stax


Отличная идея. Считай что уже пытаюсь понять )
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128183
juratorneo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
SQL*Plus
juratorneo
В заголовке файла сказано что он содержит 100 записей. !

На заборе написано "XYZ", на самом деле под надписью на земле дрова лежат.

juratorneo
Делаем select count(*) from table. Получаем 90 записей. Вопрос куда делось 10 записей ??

COUNT(*) посчитал только те записи, которые удалось "загрузить" во внешнюю таблицу.
Пригласите ещё 9 коллег и пересчитайте "на пальцах" сколько записей имеется в том самом файле ,
который используется для таблицы.
Именно в файле, а не в таблице! Не перепутайте!

juratorneo
Работаем так всегда. Проблем не возникало.

Так всегда и бывает: работает, работает, работает, но в какой-то момент возникают проблемы.

Мужайтесь, ищите решение.
Вздыхаю вместе с вами и похлопываю вас по плечу.
Если вам ещё не полегчало могу надеть впитывающую влагу жилетку для приёма слёз. :-)

Читал несколько раз так и не понял что ты имел ввиду. Естественно count посчитал вто попало. Капитан очевидность. А где остальное что не попало в файл ??
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128185
juratorneo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Siemargl
SQL*Plus
пропущено...

На заборе написано "XYZ", на самом деле под надписью на земле дрова лежат.

пропущено...

COUNT(*) посчитал только те записи, которые удалось "загрузить" во внешнюю таблицу....

Типично - не загрузились из-за уникального индекса.


Индексов нет. Файл с bad пуст. Там нет этих записей.
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128186
juratorneo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
shane54
Ну и кроме *.bad файла есть же ещё *.discard, суть то что не загрузилось по условию LOAD WHEN.


Load when. Не активировал. Не используем
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128188
juratorneo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
В общем подозрение на то, что эти 10 записей так и остались на сервере. Ведь count это отдельная инструкция, потому как у меня потом идет union который формирует тело dsv
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128214
SQL*Plus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
juratorneo
SQL*Plus
пропущено...

На заборе написано "XYZ", на самом деле под надписью на земле дрова лежат.

пропущено...

COUNT(*) посчитал только те записи, которые удалось "загрузить" во внешнюю таблицу.
Пригласите ещё 9 коллег и пересчитайте "на пальцах" сколько записей имеется в том самом файле ,
который используется для таблицы.
Именно в файле, а не в таблице! Не перепутайте!

пропущено...

Так всегда и бывает: работает, работает, работает, но в какой-то момент возникают проблемы.

Мужайтесь, ищите решение.
Вздыхаю вместе с вами и похлопываю вас по плечу.
Если вам ещё не полегчало могу надеть впитывающую влагу жилетку для приёма слёз. :-)

Читал несколько раз так и не понял что ты имел ввиду. Естественно count посчитал вто попало. Капитан очевидность. А где остальное что не попало в файл ??
Кабальеро, читай ещё.

9 коллег сумел найти?
Строки в файле пересчитали?
Сколько насчитали?
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128216
SQL*Plus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
juratorneo
В общем подозрение на то, что эти 10 записей так и остались на сервере.
Ведь count это отдельная инструкция, потому как у меня потом идет union который формирует тело dsv

Читал несколько раз, так и не понял, что ты имел в виду.

Разговариваешь с внутренними голосами? :-)
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128232
juratorneo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
[quot SQL*Plus#22423878]
juratorneo
пропущено...


Строки в файле пересчитали?


Бро, считали, поэтому темя и создана. Их там 90. Я тебя так и не понимаю. К чему эти вопросы. Я по Русски написал что 90.
А ожидаем 100.
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128233
juratorneo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
[quot SQL*Plus#22423878]
juratorneo
пропущено...

Сколько насчитали?

90. А жду 100. Да что с вами не то ??

Если нет логических умозаключений, лучше молчать пади. Зачем стебаться.
Ибо возьми и задвинь тему чтобы я озадачился, ибо поможешь мне. Мля как мастер Йода заговорил
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128237
juratorneo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Давайте так. Типа еще разок.
На удаленном сервере передёргивается Bat файл со скриптом в определенное время.
В нем по сути две инструкции.
Сформировать файл dsv: ИТАК
1. В заголовок с помощью первой инструкции (select count (*) from a ) вставить строку с числом ожидаемых записей. Я называю это фэйковой записью или аномальной. Пофиг. Она уйдёт намеренно в bad потом.
2. Это сами данные. Основной скрипт. Оба 1 и 2 между ними UNION.
Формируется файл как надо.
Далее перебрасываем этот файл с помощью Robocopy уже на наш сервер. Начинаем считать реальный , фактический count - там 90 записей. А в bad - которая фэйковая первая строчка говорит что должно быть 100. Та , что count инструкция была.
Вопрос где 10 строк.
Конечно во внимание надо принять саму работу robocopy. Он не копирует файл. Он перезаливает строки.
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128243
oragraf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
juratorneo,

1. Тут каждый второй с "удивительными" и "неразрешимыми" вопросами.
2. Чудес не бывает.
3. Между count(*) и выгрузкой delete?
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128244
Правильный Вася
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
juratorneo,

Может, файл на момент "считывания" ещё не закрыт внешним процессом, т.е. могут быть просто не сброшенные на диск системные буфера записи?

А может, условия в Count и в UNION как-то разнятся?
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128245
Фотография Elic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
juratorneo
juratorneoСколько насчитали?

90. А жду 100. Да что с вами не то ??
Если нет логических умозаключений, лучше молчать пади. Зачем стебаться.
Ибо возьми и задвинь тему чтобы я озадачился, ибо поможешь мне. Мля как мастер Йода заговорилЧудак, ты действительно настолько альтернативно одарённый, что не понимаешь элементарного, что если в файле 90 строк, то на Oracle пенять нечего?
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128246
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
juratorneo

2. Это сами данные. Основной скрипт. Оба 1 и 2 между ними UNION.
UNION или UNION ALL?
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128294
juratorneo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Asmodeus
juratorneo

2. Это сами данные. Основной скрипт. Оба 1 и 2 между ними UNION.
UNION или UNION ALL?


Пардон не уточнил union all.
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128295
juratorneo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Правильный Вася
juratorneo,

Может, файл на момент "считывания" ещё не закрыт внешним процессом, т.е. могут быть просто не сброшенные на диск системные буфера записи?



Данный момент я тоже пытался посмотреть. Нет файл залит. Робокопи отчитался и файл имеет аттрибут Архивный.
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128296
juratorneo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Elic
juratorneo
пропущено...

90. А жду 100. Да что с вами не то ??
Если нет логических умозаключений, лучше молчать пади. Зачем стебаться.
Ибо возьми и задвинь тему чтобы я озадачился, ибо поможешь мне. Мля как мастер Йода заговорил
Чудак, ты действительно настолько альтернативно одарённый, что не понимаешь элементарного, что если в файле 90 строк, то на Oracle пенять нечего?


Опа. Нука отожги. А то пока лирическое вступление. Уж извени. Где я на Оракл пеняю. Я задаю вопрос. В нем что угодно может. Это я и хочу понять с вашей помощью. Ибо это не системно, а разово. Проблем не было. Все работало. Если б такое постоянно вылезало б, то было б проще. А тут пукнуло не пойми откуда)
...
Рейтинг: 0 / 0
Куда делась часть данных ??
    #40128297
juratorneo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
oragraf
juratorneo,

1. Тут каждый второй с "удивительными" и "неразрешимыми" вопросами.
2. Чудес не бывает.
3. Между count(*) и выгрузкой delete?


Нет Бро delete нет в инструкциях. У меня вообще подозрение что они не попали в файл на момент формирования на удаленном сервере, но count посчитал что в запросе с union all будет 100 строк
...
Рейтинг: 0 / 0
25 сообщений из 26, страница 1 из 2
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Куда делась часть данных ??
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]