ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Проблема автоматизации загрузки данных Oracle Express
5 сообщений из 5, страница 1 из 1
Проблема автоматизации загрузки данных Oracle Express
    #32284691
Илья Салов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Илья Салов
Гость
Здравствуйте коллеги!

Столкнулся со следующей проблемой:

Подзадача состоит в автоматической загрузке данных в МБД из плоских файлов. Имеются программы загрузки (сгенерированы автоматически визардом, и подкорректированы вручную).
Эти программы последовательно вызываются в пакетном файле примерно следующим образом:

Код: plaintext
1.
2.
3.
4.
5.
6.
call c.count.a_a.ld('C:\\Data\\A_A.TXT', _first, _last) "_first - первая запись, ...
call c.count.a_o.ld('C:\\Data\\A_O.TXT', _first, _last)
...
call c.count.f_o.ld('C:\\Data\\F_O.TXT', _first, _last)
...
aggregate c.count using c.count.agg
update

Теоретически, все должно загружаться. А реально в базе оказываются только данные, загруженные из последнего файла.
И еще, время загрузки таблиц при прочих равных условиях испытаний от раза к разу меняется. К примеру на 1000 записей может колебаться от 2 до 18 секунд, что на мой взгляд расценивается, как непонимание мной физической сущности работы импорта в Oracle Express.
Пояните пожалуйста, в чем тут дело? Куда теряются загруженные данные?

Буду благодарен за любое пояснение или даже попытку помочь разобраться в этом вопросе.

-=-
С уважением,
Илья Салов
...
Рейтинг: 0 / 0
06.10.2003, 11:26
| Ответить | Цитировать | Написать  
Проблема автоматизации загрузки данных Oracle Express
    #32284857
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jurii
Участник
Илья,

Я не эксперт по Oracle Express, но могу провести аналогию с OLAP-сервером Cognos PowerPlay. Там можно в куб закачать много плоских файлов. Если закачивать, не трогая параметры по-умолчанию, то в кубе окажутся данные только из последнего файла. Но чтобы закачались все файлы - нужно указать, что закачка в куб - инкрементальная.
В PowerPlay все делается визуальными средствами. В Express - больше ручной работы. Но наверняка в хелпе по Express можно найти соответствующую информацию по ключевому слову "Incremental".
...
Рейтинг: 0 / 0
06.10.2003, 12:47
| Ответить | Цитировать | Написать  
Проблема автоматизации загрузки данных Oracle Express
    #32285076
Bill_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bill_
Гость
Без представления о том, что там внутри процедуры ничего определенного сказать нельзя. Вообще проблема то чисто техническая, включаешь трассировку (PRGTRACE=YES) и смотришь чего там твориться. Скорее всего Jurii прав, каждая процедура изменяет значение переменной в одних и тех же узлах и остается то, которое поступило из последнего файла, тогда нужно поступать в соответствии с задачей: либо добавлять новые значения измерений либо добавлять к имеющимся значениям переменной. Скорость загрузки зависит от того, как сегменты переменной загружаются в память, см. "Oracle Express Performance and Database Design Guide: Basic"
...
Рейтинг: 0 / 0
06.10.2003, 14:15
| Ответить | Цитировать | Написать  
Проблема автоматизации загрузки данных Oracle Express
    #32285267
Илья Салов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Илья Салов
Гость
Спасибо за толковые советы и мысли.

Пока окончательно разрешить задачу не удалось. Более всего беспокоит некое непостоянство, так как данные иногда закачиваются из всех файлов, а иногда только из одного из них. (Точнее закачиваются всегда все записи из всех файлов, а в кубе оказываются данные иногда только из одного.) Внимательное рассмотрение трассировки не принесло ожидаемого результата, так как выполнение производится идентичное.
Может это как то зависит от того, что я автоматически удаляю и создаю показатели каждый раз перед началом тестирования закачки?

И вообще, поделитесь опытом, кто как производит автоматическую закачку данных?
(Напомню, что надо из нескольких различных плоских таблиц закачать данные в МБД с различными предустановленными значениями измерений.)

-=-
С уважением,
Илья Салов
...
Рейтинг: 0 / 0
06.10.2003, 15:49
| Ответить | Цитировать | Написать  
Проблема автоматизации загрузки данных Oracle Express
    #32285325
Илья Салов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Илья Салов
Гость
Всем спасибо!

Нашел ошибку. Перед чтением из файла (команда fileread), были предустановлены измерения относящиеся к этим файлам
Код: plaintext
1.
2.
3.
...
lmt Dim1 to 'A'
lmt Dim2 to 'O' 
...

Замена этого кода, на код после filerad, перед суммированием показателей,
...
Dim1 = 'A' -
Dim2 = 'O' -
c.count = c.count + value -
...
решила проблему.

Еще раз спасибо Jurii и Bill_, вы очень помогли!

-=-
Всего доброго,
Илья
...
Рейтинг: 0 / 0
06.10.2003, 16:17
| Ответить | Цитировать | Написать  
5 сообщений из 5, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Проблема автоматизации загрузки данных Oracle Express
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]