kdvТаблоидсоздать базу-1 с 10 таблицами одинаковой структуры, по 1 млн записей в каждой, а затем создать через backup и restore -m её "пустой аналог" и попробовать два вариантая имел в виду просто создать базу, и в 10 таблиц лить данные 10-ю isql. Замер показал: параллельный инсерт по 1 млн строк в 10 таблиц *быстрее*, чем одиночный инсерт 10 млн строк в 1 таблицу.
DDL (пустая новая база, FW = OFF):
1.
2.
3.
4.
5.
6.
7.
8.
9.
create table t01(id int, x int, y int, z int, u varchar(20), v varchar(20), w varchar(20));
create table t02(id int, x int, y int, z int, u varchar(20), v varchar(20), w varchar(20));
create table t03(id int, x int, y int, z int, u varchar(20), v varchar(20), w varchar(20));
create table t04(id int, x int, y int, z int, u varchar(20), v varchar(20), w varchar(20));
create table t05(id int, x int, y int, z int, u varchar(20), v varchar(20), w varchar(20));
create table t06(id int, x int, y int, z int, u varchar(20), v varchar(20), w varchar(20));
create table t07(id int, x int, y int, z int, u varchar(20), v varchar(20), w varchar(20));
create table t08(id int, x int, y int, z int, u varchar(20), v varchar(20), w varchar(20));
create table t09(id int, x int, y int, z int, u varchar(20), v varchar(20), w varchar(20));
create table t10(id int, x int, y int, z int, u varchar(20), v varchar(20), w varchar(20));
Батник для генерации 10 .sql-скриптов, каждый из которых вставляет по 1 млн записей в "свою" таблицу (t01 ... t10): perfins_parall.bat 1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
@echo off
setlocal enabledelayedexpansion enableextensions
set lp=(
set rp=)
if .%1.==.. set /a n=10
for /l %%x in (1, 1, %n%) do (
set /a c=100+%%x
set sql=tmpins!c:~1,2!.tmp
echo !sql!
del !sql! 2>nul
echo show version; >>!sql!
echo show database; >>!sql!
echo set stat on; >>!sql!
echo -- set list on; select * from mon$database; set list off; >>!sql!
echo set echo on; >>!sql!
echo set term ^^; >>!sql!
echo execute block as >>!sql!
echo declare n int = 1000000; >>!sql!
echo begin >>!sql!
echo while (n^>0!rp! do >>!sql!
echo insert into t!c:~1,2!(id,x,y,z, u,v,w!rp! >>!sql!
echo values ( rand(!rp!*10000, rand(!rp!*10000, rand(!rp!*10000, rand(!rp!*10000, >>!sql!
echo rpad('', 20, 'qwerty'!rp!, >>!sql!
echo rpad('', 20, 'asdfgh'!rp!, >>!sql!
echo rpad('', 20, 'zxcvbn'!rp! >>!sql!
echo !rp! >>!sql!
echo returning :n-1 into n; >>!sql!
echo end^^ >>!sql!
echo set term ;^^ >>!sql!
echo commit; >>!sql!
echo set echo off; >>!sql!
echo set stat off; >>!sql!
echo -- select count(*!rp! result_count from t01; >>!sql!
)
for /l %%x in (1, 1, %n%) do (
set /a c=100+%%x
set sql=tmpins!c:~1,2!.tmp
set log=tmpins!c:~1,2!.log
@echo on
start perfins_aux.bat 192.168.0.220/3333:/var/db/fb30/perfins.fdb !sql! !log!
@echo off
)
exit
(при запуске без аргументов запускает одновременно 10 isql'ей командой START, каждому скармливается скрипт на вставку в "свою" таблицу 1 млн строк; статистика логируется каждым скриптом в "своём" логе)
Батник, генерящий 1 скрипт со вставкой 10 млн строк в одну таблицу: perfins_single.bat 1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
@echo off
setlocal enabledelayedexpansion enableextensions
set lp=(
set rp=)
if .%1.==.. set /a n=1
for /l %%x in (1, 1, %n%) do (
set /a c=100+%%x
set sql=tmpins!c:~1,2!.tmp
echo !sql!
del !sql! 2>nul
echo show version; >>!sql!
echo show database; >>!sql!
echo set stat on; >>!sql!
echo -- set list on; select * from mon$database; set list off; >>!sql!
echo set echo on; >>!sql!
echo set term ^^; >>!sql!
echo execute block as >>!sql!
echo declare n int = 10000000; >>!sql!
echo begin >>!sql!
echo while (n^>0!rp! do >>!sql!
echo insert into t!c:~1,2!(id,x,y,z, u,v,w!rp! >>!sql!
echo values ( rand(!rp!*10000, rand(!rp!*10000, rand(!rp!*10000, rand(!rp!*10000, >>!sql!
echo rpad('', 20, 'qwerty'!rp!, >>!sql!
echo rpad('', 20, 'asdfgh'!rp!, >>!sql!
echo rpad('', 20, 'zxcvbn'!rp! >>!sql!
echo !rp! >>!sql!
echo returning :n-1 into n; >>!sql!
echo end^^ >>!sql!
echo set term ;^^ >>!sql!
echo commit; >>!sql!
echo set echo off; >>!sql!
echo set stat off; >>!sql!
echo -- select count(*!rp! result_count from t01; >>!sql!
)
for /l %%x in (1, 1, %n%) do (
set /a c=100+%%x
set sql=tmpins!c:~1,2!.tmp
set log=tmpins!c:~1,2!.log
@echo on
start perfins_aux.bat 192.168.0.220/3333:/var/db/fb30/perfins.fdb !sql! !log!
@echo off
)
exit
(при запуске без аргументов запустит ОДИН isql, вставляющий 10 млн строк в таблицу t01).
Вспомогательный батник, вызываемый из обоих вышеприведенных: perfins_aux.bat 1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
@echo off
set db=%1
set sql=%2
set log=%3
echo %sql%
echo %log%
@echo on
isql %db% -i %sql% 1>%log% 2>&1
del %sql% 2>nul
exit
Логи работы 10 скриптов, вставлявших по 1 млн строк в 10 таблиц, а также лог вставки 10 млн строк в 1 таблицу (три прогона) - см. аттач.
Но если коротко, то:
parallel 10 connects, insert + commit, elapsed time, secondssingle connect, insert + commit, elapsed time, seconds104,00136,3983,04140,6796,34137,7887,06102,38 |
