Есть скрипт на Си,который читает файл и из него пишет в БД.При малом кол-ве записей в базе читает довольно быстро,но при кол-ве записей около 1 млн INSERTы выполняются медленно.
Как можно ускорить вставку записей.
Привожу запросы:
sprintf(str,"SELECT bytes,dest,date_last,time_last FROM iptables_last WHERE dest='%s' and source='0.0.0.0/0'",dest);
res=PQexec(conn,str);
bytes_new=atof(bytes)-atof(PQgetvalue(res,0,0));
sprintf(str,"INSERT INTO iptables (bytes,prot,source,dest,date_second,time_second,date_first,time_first) \
VALUES ('%f','%s','%s','%s','%s','%s','%s','%s'); \
UPDATE iptables_last SET bytes='%s',date_last='%s',time_last='%s' \
WHERE dest='%s';",bytes_new,prot,source,dest,PQgetvalue(res,0,2),PQgetvalue(res,0,3),dat_st_,time,bytes,dat_st_,time,dest);
res = PQexec(conn,str);

Хотя может это нормальная ситуация,но что тогда будет с БД при числе записей в 20-30 млн. и более???Я думаю так быть не должно и что-то можно оптимизировать,если нужна более подробная информация,говорите какая.
EXPLAIN ANALYZE INSERT INTO iptables_last (bytes,prot,source,dest,date_last,time_last) VALUES (0,'','1.1.1.1','1.1.1.1','2006-01-01','01:01:01');
QUERY PLAN
--------------------------------------------------------------------------------------
Result (cost=0.00..0.01 rows=1 width=0) (actual time=25.859..25.861 rows=1 loops=1)
Total runtime: 150.591 ms
Таблица:
\d iptables
Table "public.iptables"
Column | Type | Modifiers
-------------+------------------------+------------------------------------------------------------
id_iptables | integer | not null default nextval('iptables_id_iptables_seq'::text)
bytes | double precision |
prot | text |
source | inet |
dest | inet |
date_second | date |
time_second | time without time zone |
date_first | date |
time_first | time without time zone |
Indexes:
"iptables_pkey" primary key, btree (id_iptables)
"idx_ipt_dest" btree (dest)
"idx_ipt_src" btree (source)

Идея неплохая,но файл нестандартный и его нужно дополнительно формировать.Можно поподробнее как работает COPY?Попробую этот вариант и сравню скорость.Все же интересно почему скорость при росте числа записей заметно падает.

kolobok0 mxlPostgresЕсть скрипт на Си,который читает файл и из него пишет в БД.При малом кол-ве записей в базе читает довольно быстро,но при кол-ве записей около 1 млн INSERTы выполняются медленно.....

глупые вопросы...
1) делаете ли Вы после каждого PQexec вызов PQclear ?
2) одинаково ли время выполнения данной вставки локально, удалённо ?
3) пробовали ли Вы вставлять конец транзакции после 1000 (например) записей ?


с уважением
(круглый)
sprintf(str," BEGIN INSERT INTO iptables (bytes,prot,source,dest,date_second,time_second,date_first,time_first) \
VALUES ('%f','%s','%s','%s','%s','%s','%s','%s'); \
UPDATE iptables_last SET bytes='%s',date_last='%s',time_last='%s' \
WHERE dest='%s'; COMMIT ",bytes_new,prot,source,dest,PQgetvalue(res,0,2),PQgetvalue(res,0,3),dat_st_,time,bytes,dat_st_,time,dest);
Вставил begin..commit,чтобы исключить потерю данных.COPY не подойдет из-за критичности к целостности данных,нужны транзакции.
PQclear не выполняется,а разве можно этим ускорить процесс??

Funny_FalconЯ в С и libpq не силен. Ты обрамляешь INSERT-ы в транзакцию? (лучше, я думаю, кусками по 1000 INSERT-ов) Есть ли возможность использовать PREPARED запросы?
Для чего PREPARED?Сейчас объединю дату и время в одну колонку.Думаю,будет чуть быстрее.