Тоже столкнулся - SQL-скрипт на ~17000 INSERT'ов выполнялся минут 5. При этом на Постгресе он же выполняется мгновенно.
Объяснение нашлось в
доке по Google Gears :
PRAGMA synchronous = NORMAL;
Synchronous controls whether data is synchronized to disk before COMMIT commands return (commands not in transactions are implicitly wrapped in one). Setting synchronous to OFF can provide a significant performance boost, at the expense of potential data corruption. Much of the benefit of turning synchronous off can generally be achieved by using a combination of large transactions and WorkerPool.
То есть по умолчанию SQLite настроен на синхронный доступ к диску. А каждый INSERT неявно оборачивается в транзакцию (в отличие от psql, которому хватает мозгов сделать одну транзакцию на скрипт), что и дает большой оверхед. В скрипте транзакции делаются стандартно:
в начале и
в конце. После этого скрипт стал выполняться за 2-3 секунды.
В Вашем случае, нужно создать транзакцию не в виде SQL-команд, а средствами интерфейса к БД: отключить автокоммит и запихать все INSERT'ы в батч. На Яве (JDBC) это
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
Connection conn = null;
PreparedStatement stat = null;
try {
conn = getConnection();
conn.setAutoCommit(false);
stat = getStatement(conn);
for (...) {
...
stat.addBatch();
}
int[] rowCounters = stat.executeBatch();
conn.commit();
} catch (SQLException ex) {
conn.rollback();
} finally {
if (stat != null) { stat.close(); }
if (conn != null) { conn.close(); }
}
То есть компиляция SQL-выражения до цикла, выполнение - после, а внутри - только подстановка параметров и добавление в батч. Как Вам собсно и написали. Подозреваю, на Шарпе примерно также. Читайте доку по .NET.
p.s. Можно еще выставить SQLite'у PRAGMA synchronous = OFF;
Но это не заменяет, а дополняет правильную работу с транзакциями.
