Задача - запихнуть файл данных во временную таблицу для последующей обработки.

После парсинга файла получаем набор INSERT TABLE col1,col2 VALUES (val1,val2),(va1,val2),.....


Что интересно, если вставлять по 50 записей в транзакцию, то запрос исполнятся по 30мс, если по 500 записей то 10сек. Страшная прогрессия.


Задача конечно, вставить файл в таблицу максимально быстро, тк файл надо обрабатывать постоянно и он очень большой. ( под 100.000 записей)


Временная таблица создается вида DECLARE GLOBAL TEMPORARY TABLE session.blabla () on commit preserve rows not logged

Где копать?

mitekт.е 50 записей вставляются за 30мс, а 500 записей вставляются уже за 10 сек ? я правильно понял ?


Да, если делать 1 транзакцией. Получается самое оптимальное вставлять по 25 записей, что конечно мне кажется неправильным.


mitek
А темп таблицы обязательно юзать ?


Обычные таблицы еще дольше работают, и нет необходимости хранить эти данные, они нужны только для обработки.

mitek
И что значит "надо обрабатывать постоянно" ? У вас обработка параллельными сессиям чтоли ?

Такие файлы поступают постоянно ( с переодичностью раз в час) и их надо на основании данных таблиц в db2 обрабатывать.



100.000 за 15 сек меня бы устроило, но я не могу добиться такой производительности. По 25 записей 20.000 улетают в таблицу за минуту на не самых слабых железках.

xz321Может проще воспользоваться утилитой импорт?

Куда интересней как импорт вставляет данные в таблицу так быстро, чтобы сделать также.

Чтото мне подсказывает, что она делает это тем же SQL ;)

Victor MetelitsaCLI умеет работать с массивами параметров, и, стало быть, используя выражение вида
INSERT INTO TABLE(col1,col2) VALUES (?,?)


Скорее так:

INSERT INTO TABLE(col1,col2) VALUES (?,?),(?,?),(?,?),(?,?),(?,?),(?,?),(?,?),(?,?).....

Я б этом и говорю. Если в массиве 50 строк = 30мс, если 500 = 10 сек. Вот в чем проблема.

Можно еще попробовать

BEGIN ATOMIC
INSERT INTO TABLE(col1,col2) VALUES (?,?)
INSERT INTO TABLE(col1,col2) VALUES (?,?)
INSERT INTO TABLE(col1,col2) VALUES (?,?)
INSERT INTO TABLE(col1,col2) VALUES (?,?)
INSERT INTO TABLE(col1,col2) VALUES (?,?)
END

mitek Dmitry Y.
Обычные таблицы еще дольше работают, и нет необходимости хранить эти данные, они нужны только для обработки.

тесты проводились ? за сколько импорт впихивает теже 100 тонн записей в реальную таблицу ?


Сам insert практически не отличается - 5-10% падает производительность. Очень много времени тратится на создание самой таблицы и ее удаление.


mitek
Dmitry Y.
Такие файлы поступают постоянно ( с переодичностью раз в час) и их надо на основании данных таблиц в db2 обрабатывать.

раз в час это совсем немного. я думал как минимум раз в минуту :)


Да, только файликов там 50 штук :) Если делать последовательно, то в час не уложится.

mitek
Dmitry Y.
100.000 за 15 сек меня бы устроило, но я не могу добиться такой производительности. По 25 записей 20.000 улетают в таблицу за минуту на не самых слабых железках.
:) конфиг железок в студию
странно как-то, а инсертите из проги какой или clp-скриптом ?

Linux rubl 2.6.22-14-server #1 SMP Tue Feb 12 03:10:53 UTC 2008 x86_64 GNU/Linux
Install Path Level Fix Pack Special Install Number Install Date
--------------------------------------------------------------------------------------------
/opt/ibm/db2/V9.1 9.1.0.4 4 Thu Dec 20 04:03:56 2007 MSK



2 проца по 2 ядра 3.2Ггц, 4 Гб оперы. Все как по уставу:)


Инсертаем своим парсером файла на с++.

Вообще как дб2 переносит если statement более 32кб, скажем 5Мб? Чтото тут не так.

http://www-128.ibm.com/developerworks/db2/library/tips/dm-0403wilkins/


еще по теме.

Делаю также как там рекомендуют. Даже commit не делаю вообще пока.

Victor Metelitsa
А я не об этом. Я про Binding parameter markers in CLI applications with column-wise array input и Binding parameter markers in CLI applications with row-wise array input . Хотя одно другому не мешает.

Во, надо покапать. Insert делать через bind. Кто -ньдь пробовал?

http://publib.boulder.ibm.com/infocenter/db2luw/v8/index.jsp?topic=/com.ibm.db2.udb.doc/ad/t0007254.htm

Про bind

Вот Ваш LOAD на Си.
http://publib.boulder.ibm.com/infocenter/db2luw/v8/index.jsp?topic=/com.ibm.db2.udb.doc/ad/t0007871.htm


Это тот самый BIND Insert.
Реализовал я его для себя. Замечательно грузит за пол секунды во временные таблицы по 1000 записей за транзацию. Причем тут уже все уперлось в сам парсер файла (надо будет подоптимизировать и его) тк проц на машине, где идет парсинг под 100% загрузки.


Все тема закрыта. Всем спс.

Правильная ссылко
http://publib.boulder.ibm.com/infocenter/db2luw/v8/index.jsp?topic=/com.ibm.db2.udb.doc/ad/t0007871.htm

Правильная ссылко вот
http://publib.boulder.ibm.com/infocenter/db2luw/v8/topic/com.ibm.db2.udb.doc/ad/samples/cli/s-tbload-c.htm