Всем привет!
Заранее извиняюсь что вклиниваюсь со своими проблемами... Но думаю что не стоит отдельную тему заводить.
Имеется следующая задача: Принять с клиента XML следующей структуры (схема может быть изменена, если это поможет делу, т.к. генерация XML под нашим контролем). Грубо говоря, это некоторые "измерения" и соответствующие каждому измерению "значения параметров".
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
<Root>
<M w="12345" t="2008.12.27 23:59:00">
<V v="8513" p="1"/>
<V v="5548" p="2"/>
<V v="9087" p="3"/>
</M>
<M w="12345" t="2008.12.27 23:59:01">
<V v="7686" p="1"/>
<V v="5577" p="2"/>
</M>
</Root>
И соответсвенно раскидать по 2 табличкам master-detail
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
CREATE TABLE m
(
ID NUMBER( 20 ) NOT NULL,
w NUMBER( 20 ) NOT NULL,
t DATE NOT NULL
);
ALTER TABLE m
ADD CONSTRAINT xpkm
PRIMARY KEY (ID);
ALTER TABLE m
ADD CONSTRAINT xak1m
UNIQUE (w, t);
CREATE SEQUENCE seq_m;
CREATE OR REPLACE TRIGGER tbi_m
BEFORE INSERT
ON m
FOR EACH ROW
BEGIN
IF :NEW.ID IS NULL
THEN
SELECT seq_m.NEXTVAL
INTO :NEW.ID
FROM DUAL;
END IF;
END;
/
CREATE TABLE v
(
m_id NUMBER( 20 ) NOT NULL,
p NUMBER( 20 ) NOT NULL,
v NUMBER( 10 ) NOT NULL
);
ALTER TABLE v
ADD CONSTRAINT xpkv
PRIMARY KEY (m_id, p);
ALTER TABLE v
ADD CONSTRAINT r1v
FOREIGN KEY (m_id) REFERENCES m (ID)
ON DELETE CASCADE;
Имеются достаточно жёсткие требования по скорости работы, и объёму передаваемой информации. Передаваться будет ориентировочно 15 подобных XML пакетов в минуту (хотелось бы чтобы система работала в режиме 24/7), каждый пакет - это 60 измерений (т.е. на каждую секунду) и вплоть до 200 параметров на каждое измерение (итого 1 пакет это до 12000 новых записей, но "типично" надеюсь будет раза в 2-3 меньше). Допускаются повторные передачи (для простоты считаем что без удаления ранее принятых данных - т.е. используя MERGE).
Сейчас нарисована следующая ХП (по сути черновик, хотя и выполняет свои задачи) для приёма пакетов:
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
CREATE OR REPLACE PROCEDURE load_temporal_parameters (p_xml IN CLOB)
IS
v_new_id NUMBER ( 20 );
BEGIN
FOR rec_m IN
(SELECT m.EXTRACT ('/M/@w').getnumberval () w,
TO_DATE (m.EXTRACT ('/M/@t').getstringval (),
'YYYY.MM.DD HH24:MI:SS'
) t,
m.EXTRACT ('/M') params
FROM DUAL,
TABLE (XMLSEQUENCE (XMLTYPE (p_xml).EXTRACT ('/Root/M'))) m)
LOOP
BEGIN
SELECT ID
INTO v_new_id
FROM m
WHERE w = rec_m.w AND t = rec_m.t;
EXCEPTION
WHEN NO_DATA_FOUND
THEN
SELECT seq_m.NEXTVAL
INTO v_new_id
FROM DUAL;
INSERT INTO m
(ID, w, t
)
VALUES (v_new_id, rec_m.w, rec_m.t
);
END;
FOR rec_v IN (SELECT v.EXTRACT ('/V/@p').getnumberval () p,
v.EXTRACT ('/V/@v').getnumberval () v
FROM DUAL,
TABLE (XMLSEQUENCE (rec_m.params.EXTRACT ('/M/V'))) v)
LOOP
MERGE INTO v
USING (SELECT v_new_id m_id, rec_v.p p, rec_v.v v
FROM DUAL) nv
ON (v.m_id = nv.m_id AND v.p = nv.p)
WHEN MATCHED THEN
UPDATE
SET v.v = nv.v
WHEN NOT MATCHED THEN
INSERT (m_id, p, v)
VALUES (nv.m_id, nv.p, nv.v);
END LOOP;
END LOOP;
END;
/
К сожалению, по скорости работы это явно не лучшее решение. Пока пакеты небольшие, это ещё приемлемо, но вот обработка 100-200Кб-ного пакета занимает уже до 20 секунд :(
Хочется совета, как быть... Может быть переписать парсинг средствами dbms_xmldom? Даст ли это реальный выигрыш по скорости обработки? Или может быть можно как-то оптимизировать приведенный код? Избежать внутреннего цикла (я так понимаю, он для каждого "куска" повторно выполняет парсинг и строит новый DOM) - всё-же 60 "лишних" обращений на пакет... Но увы я не представляю как можно от этого уйти :(
Написать процедуру на Java (используя SAX) заманчиво, но скорее всего неосуществимо :(
Целевой сервер будет не ниже 10-го, но лучше всего, если решение будет совместимо с 9-м, т.к. девелоперский сервер будет 9i (9.2.0.8). Клиентом - пока будет VB6 прога (через старый добрый ADO - спасибо форуму, нашёл как побороть лимит передачи параметра в 32К ;) ), в перспективе может быть и C# (ADO.NET) и даже какое-то сугубо оракловское решение (HTTP).
WBR, Igor
