сегодня получил доступ к серверу и ужаснулся, как оказалось у них в конфиге вообще конь не валялся после моих исправлений данные с сервера:
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
mysql> select count(TemplateID > 0) from daily_stats;
+-----------------------+
| count(TemplateID > 0) |
+-----------------------+
| 10391655 |
+-----------------------+
1 row in set (0.00 sec)
mysql> EXPLAIN select count(TemplateID > 0) from daily_stats;
+----+-------------+-------+------+---------------+------+---------+------+------+------------------------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+------+---------------+------+---------+------+------+------------------------------+
| 1 | SIMPLE | NULL | NULL | NULL | NULL | NULL | NULL | NULL | Select tables optimized away |
+----+-------------+-------+------+---------------+------+---------+------+------+------------------------------+
1 row in set (0.00 sec)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
mysql> select count(TemplateID > 0) from daily_stats where day BETWEEN '2014-06-01' AND '2014-06-30';
+-----------------------+
| count(TemplateID > 0) |
+-----------------------+
| 9316793 |
+-----------------------+
1 row in set (2.76 sec)
mysql> EXPLAIN select count(TemplateID > 0) from daily_stats where day BETWEEN '2014-06-01' AND '2014-06-30';
+----+-------------+-------------+------+--------------------+------+---------+------+----------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------------+------+--------------------+------+---------+------+----------+-------------+
| 1 | SIMPLE | daily_stats | ALL | un_daily_stats,Day | NULL | NULL | NULL | 10391655 | Using where |
+----+-------------+-------------+------+--------------------+------+---------+------+----------+-------------+
1 row in set (0.00 sec)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
mysql> select count(TemplateID > 0) from `daily_stats` `d` left join `zf_strategies` `s` on `s`.`userver_id` = `d`.`LineItemID` where day BETWEEN '2014-06-01' AND '2014-06-30';
+-----------------------+
| count(TemplateID > 0) |
+-----------------------+
| 9316793 |
+-----------------------+
1 row in set (20.87 sec)
mysql> EXPLAIN select count(TemplateID > 0) from `daily_stats` `d` left join `zf_strategies` `s` on `s`.`userver_id` = `d`.`LineItemID` where day BETWEEN '2014-06-01' AND '2014-06-30';
+----+-------------+-------+------+---------------------------+---------------------------+---------+------------------+----------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+------+---------------------------+---------------------------+---------+------------------+----------+-------------+
| 1 | SIMPLE | d | ALL | un_daily_stats,Day | NULL | NULL | NULL | 10391655 | Using where |
| 1 | SIMPLE | s | ref | idx_strategies_userver_id | idx_strategies_userver_id | 4 | lfx.d.LineItemID | 1 | Using index |
+----+-------------+-------+------+---------------------------+---------------------------+---------+------------------+----------+-------------+
2 rows in set (0.00 sec)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
mysql> select count(TemplateID > 0) from daily_stats left join zf_strategies on zf_strategies.userver_id = daily_stats.LineItemID JOIN zf_campaigns on zf_campaigns.id = zf_strategies.campaign_id where day BETWEEN '2014-06-01' AND '2014-06-30' and zf_campaigns.demand_type = 'exchange';
+-------------------------+
| count(TemplateID > 0) |
+-------------------------+
| 9122191 |
+-------------------------+
1 row in set (28.33 sec)
mysql> EXPLAIN select count(TemplateID > 0) from daily_stats left join zf_strategies on zf_strategies.userver_id = daily_stats.LineItemID JOIN zf_campaigns on zf_campaigns.id = zf_strategies.campaign_id where day BETWEEN '2014-06-01' AND '2014-06-30' and zf_campaigns.demand_type = 'exchange';
+----+-------------+---------------+--------+-----------------------------------------------------+------------+---------+-------------------------------+-------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+---------------+--------+-----------------------------------------------------+------------+---------+-------------------------------+-------+-------------+
| 1 | SIMPLE | zf_strategies | ALL | idx_strategies_userver_id,fk_strategies_campaign_id | NULL | NULL | NULL | 21305 | |
| 1 | SIMPLE | zf_campaigns | eq_ref | PRIMARY | PRIMARY | 96 | lfx.zf_strategies.campaign_id | 1 | Using where |
| 1 | SIMPLE | daily_stats | ref | un_daily_stats,Day,LineItemID | LineItemID | 4 | lfx.zf_strategies.userver_id | 116 | Using where |
+----+-------------+---------------+--------+-----------------------------------------------------+------------+---------+-------------------------------+-------+-------------+
3 rows in set (0.00 sec)
добавил NO_SQL_CACHE, время не изменилось. Извиняюсь за тупой вопрос а что SQL кэширует запросы? И есть вероятность когда данные изменились нарваться на закэшированные данные?
javajdbc
Идем дальше --
0. после каждого SELECT вставьте SQL_NO_CACHE
в тело запроса.
сделал но изменений по скорости не заметил или это для другого делалось?
javajdbc1. получите и выдайте ЕХПЛЕЙН на все 4 запроса.
выше вывел
javajdbc
2. поставьте любой "реального-времени" монитор
памяти и обрашений к диску.
Внимательно проследите, нет ли резкого увелкичения
обрашения к диску во время последнего запроса
при максимальном забитии памяти.
Один из вариантов тормозов -- запрос вывалился
из памяти на диск -- просто по размеру выборки.
Если память не забита но диск стучит -- есть шанс
ускорится увеличения каких-нибудь буферов.
можно мне подсказать что лучше всего использовать под CentOS 6.5?
javajdbc
3. А вообше -- какие требования? это
одиночный запрос или таких запросов по
5 каждую секунду?
одиночный но работал на сервере 9 часов, сейчас не знаю сколько будет так как изменения сделал недавно а скрипт запуститься через несколько часов да и то я не узнаю так как выходные а я новенький и не знаю даже откуда их скрипт отчета запускается
javajdbc4. Слышали ли вы слово "преагрегация" ?
до вас не слышал, но почитал вас в соседней ветке - крутая идея посоветую программерам сделать. Спасибо.
