Дано:
Существует база MySQL, в ней одна таблица. В эту таблицу некий сервис, один раз в сутки сбрасывает статистику всех подключений из локальной сети во вне и наоборот, предположительно с какого-то центрального роутера. В таблице есть поля:

id | unix_secs | doctets | srcaddr | dstaddr | srcport | dstport
Где:
id - автроинкрементарный id
unix_secs - юникс время
doctets - трафик предположительно в байтах
srcaddr - исходящий ip
dstaddr - целевой ip
srcport - исходящий порт
dstport - целевой порт

Ну так вот, таблица с данными за 2 месяца содержит 78,762,715 строк и весит 4.3 ГБ. В таблицу заносится каждое соединение. Поэтому за сутки с одного локального IP записываются тысячи строк соединений во вне и из вне. Хотя локальных ip в районе 250. К примеру за один день на мой комп из вне было 19532 подключений, т.е. это даунлоад трафик, где с одного, где с разных ip.
Задача:
Нарисовать на php какой нибудь сервис статистики, дабы можно было глянуть и увидеть с каких ip более всего трафика ушло/пришло, т.е. кто больше всего грузит канал. Но есть одна проблема.
Проблема:
Проблема в том что база растёт на глазах. Запрос с выборкой по конкретному ip и дате выполняется около минуты. А через n месяцев табличка будет весить n Гб и обрабатываться неизвестно как долго. Поэтому от такого количества данных необходимо избавляться!
Решение:
То что первое пришло в голову. К примеру, кроном будет запускаться раз в сутки какой нибудь скрипт, который будет выбирать данные по каждому локальному ip, суммировать их и класть в другую таблицу, где вместо тысяч строк из старой таблицы, будет одна, а обработанные строки в старой таблице будут удаляться.
Вопрос:
Посоветуйте пожалуйста, как можно поступить в данной ситуации более гибко/правильно/грамотно? Спрашиваю ибо мало опыта. Предлагать настроить по человечески тот сервис который сбрасывает статистику бесполезно.

miksoft1) Покажите настоящий DDL таблицы.

miksoftДвижок таблицы какой?

MyISAM если об этом речь.

MasterZivДа ничего там особенно сложного нет. Берёшь данные, выкидываешь ненужные параметры...
Я было подумал что может в природе есть решения, кроме как написать скрипт.

tanglirsdfghsdfh,

ну какие могут "в природе" быть "решения" для вашей частной задачи?

Я решил что задача с уменьшением объёма таблицы не такая уж и редкая.

miksoftsdfghsdfhпропущено...

Я было подумал что может в природе есть решения, кроме как написать скрипт.Классических решений два:
1) Писать данные в промежуточную таблицу. По расписанию/периодически читать данные из это таблицы, агрегировать их и писать в таблицы-агрегаты, затем удалять обработанный фрагмент из исходной таблицы.
2) Писать данные в промежуточную таблицу (на всякий случай, или даже не писать вовсе) и одновременно писать/обновлять в таблицы-агрегаты.

Оба варианта имеют подварианты и свои плюсы/минусы.

Спасибо огромное!

Други! Огромное вам спасибо! По сути вопрос закрыт. Спасибо всем так оперативно откликнувшимся! Всем лучи добра!

miksoftsdfghsdfh,

Почему doctets int(11) ? А если сессия больше 4 Гб будет?



Вот максимальное значение (SELECT MAX( doctets ) FROM raw) этого поля со всей таблицы: 88956519 за 2 месяца наблюдения. Тут я тоже не пойму как так, по идее тут должна быть цифра объёма переданных данных за одну сессию, т.е. числа должны быть большими, хоть гигабайты. Есть идеи почему так?