Имеется быстрорастущая таблица
500 строк в секунду
таблица innodb состоит из 4 столбцов
id(int),id_tag(int),date(int),value(float)
индексы по четырем колонкам.
Если прикинуть размеры через год
500*3600*24*30*12=15 552 000 000 строк
Цифра внушительная.
Как мне в будущем работать с таким объемом?
Необходимо же не только считывать, но и записывать, а это постоянный пересчет индексов.
Во первых, если не ошибаюсь, необходимо будет делать Партицирование.
Никогда с ним еще не работал. вопрос тогда, как происходит вставка, пересчет идет только партиции?
Еще один вопрос, чем старше данные, тем реже используются для выборки, какие есть инструменты чтоб сжимать данные старые или еще что то, чтоб при необходимости только разворачивались?
Еще вопрос по объему, сейчас 7,5 млн сторк, весит таблица 700 МБ, если примерно прикинуть это получается при 15 552 000 000 строк = 1 451 520 МБ = 1.384277 ТБ Это получается на второй год эксплуатации файловая систем NTFS переполнится.
Эх, помогите советами, опыт еще маленький.

krevedko13,Спасибо. как я понял каждая партиция mysql воспринимает как отдельную таблицу. Скажите тогда оптимальный размер строк или объем партиции И можно ли будет удалять данные по партициям, к примеру партицирование за месяц, другой месяц начался, партиция последняя удалилась вместе с данными, без указывания диапазонов и id, просто указать партиция и DELETE. Блин удаление вообще дорогое удовольствие будет, ведь после удаления надо еще оптимизировать таблицу.

miksoft, Ну больше года наверно и уже после подсчетов скорей всего не будет. Ну а данные за год нужны. Это получается 15 миллиардов.

Спасибо за советы. Данные эти, это показание различных датчиков с дискретностью секунда. Насчет создание таблиц надо подумать, разделить их по месяцу это получится миллиард, если по дням уже лучше, но тогда получится немерено таблиц. 365 таблиц в год. Это нормально?

miksoft, 500 это я взял максимальное количество уникальных датчиков, на данный момент их около 200. Спасибо за совет по поводу создание таблиц, наверно так и поступлю.

miksoft, да, желательно в отдельные записи. Потом я провожу агрегацию данных для быстроты выборки в таблицы с дискретностью минута, час, день.

miksoft, а можно поподробней.

miksoft, я понимаю вы такую таблицу предлагаете?

Ну да, объем существенно снизится и скорость выборки увеличится, только как я понимаю эту таблицу нужно делать с уже фиксированным количеством столбцов и в случае необходимости добавления датчика, это уже будет невозможным, если только не создавать еще одну таблицу.
Пока остановился на версии создания на каждый день таблицы, но это надо для начала поэксперементировать, чтоб убедится в эффективности.

javajdbc,
Спасибо за наводку, теперь есть о чем поразмыслить и почитать.
Еще хотел спросить, из свободных SQL баз какая лучше подойдет для этих целей?

miksoft, tanglir , Понял я вас, хорошая идея, а десериализировать (структурировать) данные из поля BLOB только средствами сторонних языков программирования или имеются что то в mysql?