В последнее время все чаще стал встречать упоминания о firebird. Разобрало любопытство - что ж это за зверь.
Решил потестить.
Тестовая тачка P4 3.0 мегагерца с включенным гиперсридингом, RAM 512М, HDD SATA 80Gb, Windows XP Professional SP2.
С любимой продакшн базы слил 2 таблички в csv 1000000 и 15000 строк соответственно.
Объем был выбран в 2.5 меньшим размера оперативки, то есть умный сервер может все это свободно в кэш засунуть.
(очень многого я от firebird и не ждал)
Любимый запрос
1.
2.
3.
4.
5.
6.
7.
8.
9.
SELECT
-SUM(case when ASSET_IND BETWEEN 'I' AND 'V' then AMOUNT else 0 end) AS ba,
-SUM(case when ASSET_IND = 'D' then AMOUNT else 0 end) AS bad,
a.ASSET_CODE
FROM SALFLDGPMU a inner join ssrffvr b on b.ASSET_CODE = a.ASSET_CODE
where
(ASSET_IND BETWEEN 'I' AND 'V' OR ASSET_IND = 'D')
and
SUN_DB = 'PMU'
GROUP BY a.ASSET_CODE;
Что бы было с чем срвнивать на той же тачке поставил сначала SQL Server 2000 SP2.
Почти мгновенно залил все данные bulk insert.
Сиквел показал в точности то что я от него и ожидал за 9 сек все поджойнил и посчитал.
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
StmtText
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
SELECT
-SUM(case when ASSET_IND BETWEEN 'I' AND 'V' then AMOUNT else 0 end) AS ba,
-SUM(case when ASSET_IND = 'D' then AMOUNT else 0 end) AS bad,
a.ASSET_CODE
FROM SALFLDGPMU a inner join ssrffvr b on b.ASSET_CODE = a.ASSET_CODE
where
(ASSET_
( 1 row(s) affected)
StmtText
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
|--Compute Scalar(DEFINE:([Expr1004]= -[Expr1002], [Expr1005]= -[Expr1003]))
|--Hash Match Root(Aggregate, HASH:([a].[ASSET_CODE]), RESIDUAL:([a].[ASSET_CODE]=[a].[ASSET_CODE]) DEFINE:([Expr1002]=SUM([partialagg1006]), [Expr1003]=SUM([partialagg1007])))
|--Hash Match Team(Inner Join, HASH:([a].[ASSET_CODE])=(.[ASSET_CODE]), RESIDUAL:([a].[ASSET_CODE]=[b].[ASSET_CODE]))
|--Hash Match(Aggregate, HASH:([a].[ASSET_CODE], [a].[ASSET_CODE]), RESIDUAL:([a].[ASSET_CODE]=[a].[ASSET_CODE] AND [a].[ASSET_CODE]=[a].[ASSET_CODE]) DEFINE:([partialagg1006]=SUM(If ([a].[ASSET_IND]>='I' AND [a].[ASSET_IND]<='V') then [a]
| |--Table Scan(OBJECT:([Northwind].[dbo].[SALFLDGPMU] AS [a]), WHERE:(([a].[ASSET_IND]>='I' AND [a].[ASSET_IND]<='V') OR [a].[ASSET_IND]='D'))
|--Table Scan(OBJECT:([Northwind].[dbo].[SSRFFVR] AS [b]), WHERE:([b].[SUN_DB]='PMU'))
( [b]6 row(s) affected)
StmtText
------------------------------
SET STATISTICS PROFILE OFF
( 1 row(s) affected)
Table 'SSRFFVR'. Scan count 1 , logical reads 615 , physical reads 0 , read-ahead reads 0 .
Table 'SALFLDGPMU'. Scan count 1 , logical reads 22157 , physical reads 0 , read-ahead reads 0 .
Такой вот получился план и статистика IO, вернее никакого дискового IO.
Зачет.
Теперь гасим сиквел для чистоты эксперимента. У firebird есть вся та же память что и у сиквела.
И вот тут начинается лажа за лажей.
Чудо супер оператор insertex упорно не понимает того что текстовые поля взяты в кавычки.
Так и быть поменял разделитель на '|', кавычки выкинул.
Блин, что за чудесный оператор insertex
1.
insertex into ssrffvr from csv 'C:\Documents and Settings\pgres.PMI\Desktop\4.csv' delimeter '|';
Что он мне собака навставлял. Увидел бы кто его реализовывал, спасибо б не сказал.
Короче лажа 1.
Идем другим путем.
Скачал ацкую прогу ibimport. Зараза триалка больше 20 записей не вставляет. Крэк не нашел.
Посмотрел на скрипт который она генерит для аплоада.
Один за другим insert values.
Скорость работы такого скрипта при масштабировании уже хотя бы на маленькую таблицу просто завораживает.
Качаю прогу ibload. Оказалась не менее ацкой. Тоже не понимает ни разделителей ни кавычек и вставляет в таблицы только char(nn). Нет так мы коммунизм не построим.
Джаваскриптом из маленькой таблицы сделал серию инсертов. Вот незадача кодировочка то у меня cp1251 а isql понимает наверно только 866 или какая там дос. Довольно быстро если отключить вывод на консоль, из 15 тыс в итоге он мне вставил на 1000 меньше чем надо.Перекодировал в дос.
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
-Token unknown - line 1 , char 82
-s
Statement failed, SQLCODE = - 104
Dynamic SQL Error
-SQL error code = - 104
-Token unknown - line 1 , char 82
-s
Statement failed, SQLCODE = - 104
Dynamic SQL Error
-SQL error code = - 104
-Token unknown - line 1 , char 82
-s
Statement failed, SQLCODE = - 104
Dynamic SQL Error
-SQL error code = - 104
-Token unknown - line 1 , char 82
-s
Statement failed, SQLCODE = - 104
Dynamic SQL Error
-SQL error code = - 104
-Token unknown - line 1 , char 82
-s
Statement failed, SQLCODE = - 104
Dynamic SQL Error
-SQL error code = - 104
-Token unknown - line 1 , char 82
-s
Statement failed, SQLCODE = - 104
Dynamic SQL Error
-SQL error code = - 104
-Token unknown - line 1 , char 82
-s
Statement failed, SQLCODE = - 104
Dynamic SQL Error
-SQL error code = - 104
-Token unknown - line 1 , char 82
-s
Statement failed, SQLCODE = - 104
Dynamic SQL Error
-SQL error code = - 104
-Token unknown - line 1 , char 82
-s
Single isql command exceeded maximum buffer size
Single isql command exceeded maximum buffer size
Зараза. Низачет.
Что за чудесный табличный прочессор firebird. Excel и то лучше работает.
