|
|
|
Select 200 million of rows
|
|||
|---|---|---|---|
|
#18+
Всем привет, я собираю статистику по рекламе сжатую в 5 минутку, почасовка и за сутки. это 3 разные таблицы. В таблице которая содержит данные за сутки накопилось за предыдущий месяц 200 млн записей. Мне нужно сделать Select с группировкой за прошлый месяц и показать метрики что нереально долго. Использую MySQL 5.7 Подскажите как работать с таким объемом данных? Поможет ли шардинг через кластер ускорить выборку на 200 лямов с группировкой? Может быть нужно использовать другую базу / технологию для таких задач? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2017, 16:56 |
|
||
|
Select 200 million of rows
|
|||
|---|---|---|---|
|
#18+
vixa2012как работать с таким объемом данных?Делать предрасчёты, ёлки-палки... прошла пятиминутка - посчитал из эвента статистику свою и скинул в отдельную таблицу... а когда потребовались данные за час-день-месяц, берёшь их и укрупняешь дальше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2017, 18:51 |
|
||
|
|
start [/forum/search_topic.php?author=Piks&author_mode=last_posts&do_search=1]: |
0ms |
get settings: |
7ms |
get forum list: |
11ms |
get settings: |
8ms |
get forum list: |
18ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
142ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
33ms |
get tp. blocked users: |
1ms |
| others: | 728ms |
| total: | 964ms |
| 0 / 0 |
