Вот уже долгое время хочу сделать систему интернет статистики.
Но вот количество данных и сложность организации меня смущают. Среди технологии - PHP & mySQL. Вроде ничего особого, но SpyLog крутиться на них и не жалуется.
Машинка - 2 x XEON, 1GB памяти. (для начала).

Помогите, друзья, поделитесь идеями, как организовать структуру БД.
Расскажу что имеется и что надо обрабатывать. Суть такова - пользователь ставит на свою страницу счетчик. Счетчик собирает инфу по каждому посетителю и передает ее на сервер. Сервер сохраняет инфу, после чего по ней необходимо строить отчеты.

Организация:

Собственно, таблица "users". В ней все как обычно - email, данные юзера и т.п. Здесь нам нужно только поле uid (user id).

Далее - статистика собирается счетчиком в таком виде (основное):

uid - ID пользователя, чей счетчик показался.
posted - время когда засчитан хит
page - страница где показан счетчик
referer - ссылающаяся страница
ip - IP посетителя
browser - параметры и настройки броузера посетителя.
os - параметры и настройки операционной системы посетителя.

Это те основные поля. Инфа пишется, допустим, в таблицу "log".
По ней можно строить сколь угодно разнообразные отчеты.
Но здесь вылазят проблемы.

Смотрим практически - система обрабатывает миллион запросов в сутки.
Это миллион новых строк. Или 30 млн. в месяц. Или, примерно, 6 Гб в таблице.
Согласитесь, немало.

При таких масштабах сервер поднатужиться не по детски.
Вопросы - как можно оптизировать такую нагрузку? Какие есть методы хранения/обработки такого кол-ва инфы?

Надеюсь вас заинтересует такая задача. Заранее всем спасибо.

Использовать Analisys Services (OLAP кубы)
инфа - www.olap.ru
у нас эта система реализована, объёмы лога примерно такие же
работает нормально

Но это работает под Win? А нам нужны решения под Linux, плюс бесплатные...

а ты уверен, что MySQL - хороший выбор?
мне кажется, что тут попахивает Оркалом, да еще с секционированием таблиц...

Опять же, Oracle - дорогое удовольствие, тем более никто у нас с ним не работает.

Будь бы Oracle, можно было бы сделать секционирование по диапазону дат, а так - делайте таблицы на каждый период, например log_120305. Встает вопрос - как определить период?

Это интересно. Уже разделение данных. Я так и понимаю, что некоторое разделение необходимо. Опять же, это можно размазать и по разных БД и даже машинам. Плюс нагрузка опять же снижается - при выборе по параметрам (по которым разделение) не затрагиваются другие данные.

Даты определять достаточно просто, можно писать в общий лог а потом раз в сутки скидывать в разные таблицы. НО! При выборке данных, например за полгода - будет большое объединение. Черезчур, имхо, большое.

Нужно как-то по другому разделять инфу....