Имеется ГАР в xml-формате
https://fias.nalog.ru/Updates
разрабатываю-тестирую загрузку.
беру файл ./01/AS_MUN_HIERARCHY_20210426_e2abd020-b64d-4be7-a973-a8a3d10353d5.XML
создаю представление для импорта:
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
create or replace view TEST_MUN_HIER_IMPORT_V as
SELECT *
FROM XMLTable('/ITEMS/ITEM'
passing xmltype(
bfilename('GAR_DIRECTORY','01/AS_MUN_HIERARCHY_20210426_e2abd020-b64d-4be7-a973-a8a3d10353d5.XML')
, nls_charset_id('AL32UTF8')
)
columns ID number path '@ID'
,OBJECTID number path '@OBJECTID'
,PARENTOBJID number path '@PARENTOBJID'
,CHANGEID number path '@CHANGEID'
,OKTMO varchar2(11 byte) path '@OKTMO'
,PREVID number path '@PREVID'
,NEXTID number path '@NEXTID'
,UPDATEDATE date path '@UPDATEDATE'
,STARTDATE date path '@STARTDATE'
,ENDDATE date path '@ENDDATE'
,ISACTIVE number path '@ISACTIVE'
)
;
создаю таблицу для импорта:
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
create table TEST_MUN_HIERARCHY(
ID number not null --Уникальный идентификатор записи. Ключевое поле N(19) О
,OBJECTID number not null --Глобальный уникальный идентификатор адресного объекта N(19) О
,PARENTOBJID number --Идентификатор родительского объекта N(19) Н
,CHANGEID number not null --ID изменившей транзакции N(19) О
,OKTMO varchar2(11 byte) --Код ОКТМО Т(8-11) OК
,PREVID number --Идентификатор записи связывания с предыдущей исторической записью N(19) Н
,NEXTID number --Идентификатор записи связывания с последующей исторической записью N(19) Н
,UPDATEDATE date not null --Дата внесения (обновления) записи О
,STARTDATE date not null --Начало действия записи О
,ENDDATE date not null --Окончание действия записи О
,ISACTIVE number not null --Признак действующего адресного объекта N(=1) ОК
);
запускаю процедуру импорта:
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
declare
CURSOR xml_cursor IS
select *
from TEST_MUN_HIER_IMPORT_V
;
TYPE xml_cursor_t IS TABLE OF xml_cursor%ROWTYPE;
xml_cursor_rows xml_cursor_t;
l_cnt number;
procedure log(p_line varchar2) is
begin
--тут автономно-транзакционная процедура логирования
end log;
begin
l_cnt := 0;
OPEN xml_cursor;
LOOP
log('full_import before fetch');
FETCH xml_cursor
BULK COLLECT INTO xml_cursor_rows
LIMIT 100
;
EXIT WHEN xml_cursor_rows.COUNT = 0;
log('full_import before forall');
FORALL indx IN INDICES OF xml_cursor_rows
insert /*+ APPEND */ into TEST_MUN_HIERARCHY values xml_cursor_rows(indx)
;
l_cnt := l_cnt + xml_cursor_rows.COUNT;
log('full_import inserted in TEST_MUN_HIERARCHY l_cnt='||l_cnt);
commit;
END LOOP;
close xml_cursor;
log('full_import after insert TEST_MUN_HIERARCHY');
end;
/
процедура фетчит из XML по 100 записей и вставляет в таблицу назначения.
Из лога вижу, что сам фетчинг 100 записей занимает 20 (!) секунд.
Миллионы записей так загружать не получится.
Прошу совета, либо как понять почему так долго, либо, может возможен другой, более быстрый способ импорта XML?
Ранее загружался ФИАС в формате .dbf через sqlloader-движок, такой проблемы не было, т.е. вряд это проблема в быстродействии железа.
