anton2013База колоночная, поэтому для запроса не нужно читать все 800 GB. Нужные колонки занимают около 200 GB и при сжатии 1:4 помещаются в 64 GB оперативной памяти. 64 GB можно купить относительно недорого.
А следующим узким местом после чтения данных становится способность базы данных их обработать. И здесь на ведущие места выдвигаются базы типа VectorWise или MS SQL Server 2014 которые способны эффективно использовать современные процессоры с векторной обработкой данных.
Вот тебе чистый С++ код, моделирующий вычислительную часть твоего запроса.
6 млрд типо строк. Без учета работы дисков.
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
int _tmain(int argc, _TCHAR* argv[])
{
int l_returnflag = 0;
int l_linestatus = 0;
int col1;
int col2;
int col3;
int col4;
__int64 col5;
__int64 col6;
__int64 col7;
int l_quantity = 10;
int l_extendedprice = 10;
int l_discount = 1;
int l_tax = 1;
__int64 count = 0;
int l_shipdate ;
for(; count < 6000000000; count++) //l_shipdate <= 19980902
{
if(l_shipdate <= 19980902)
{
//col1
col1 += l_quantity; //sum(l_quantity) as sum_qty,
col2 += l_extendedprice; //sum(l_extendedprice) as sum_base_price,
col3 += l_extendedprice * (1 - l_discount); // sum(l_extendedprice * (1 - l_discount)) as sum_disc_price,
col4 += l_extendedprice * (1 - l_discount) * (1 + l_tax); //sum(l_extendedprice * (1 - l_discount) * (1 + l_tax)) as sum_charge,
col5 += l_quantity; //avg(l_quantity) as avg_qty,
col6 += l_extendedprice; //avg(l_extendedprice) as avg_qty,
col7 += l_discount; //avg(l_discount) as avg_qty,
}
}
col5 /= count;
col6 /= count;
col7 /= count;
printf("%d %d %d %d %d %d %d", col1, col2, col3, col4, col5, col6, col7);
return 0;
}
У меня получилось 4 секунды.
Чистый NoSQL рулит. Смотри что у тебя там в аленке тормозит )
