powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Размер партицированной таблицы?
15 сообщений из 15, страница 1 из 1
Размер партицированной таблицы?
    #39917309
teCa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Всем привет. Подскажите следующее.
Была таблица history в которой данные хранились с 2010го года, размер таблицы составлял 150Гб, для более эффективного процесса удаления старых данных эту таблицу я разбил на партиции, 1 партиция равна 1 неделе. Данные операции я проводил месяц назад, старую таблицу отправили в архив, а новая начала заполняться заново, часть данных перелили из старой, но не много. В итоге, в данный момент таблица снова занимает 150 гигов, хотя времени прошло немного. Неужели партицированная таблица занимает настолько больше места или причина может быть в чем то другом?
...
Рейтинг: 0 / 0
Размер партицированной таблицы?
    #39917321
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
teCa,

А старую таблицу как очищали?
Попробуйте сделать ей Optimize.
...
Рейтинг: 0 / 0
Размер партицированной таблицы?
    #39917364
teCa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoft,

В таблице нет индекса на поле время события, а очищать данные приходится как раз по этому полю. В таблице было 1.2млрд записей. Можете поподробнее, что за optimaze?
...
Рейтинг: 0 / 0
Размер партицированной таблицы?
    #39917423
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Размер партицированной таблицы?
    #39924554
teCa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Парни, есть еще идеи? Таблица уже 210Гб, напомню, что непартицированная таблица хранившая данные за несколько лет весла 150Гб, партицированная за несколько месяцев - 210Гб.
...
Рейтинг: 0 / 0
Размер партицированной таблицы?
    #39924643
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А партиционирование, стесняюсь спросить, по какому выражению делалось? всё вроде намекает, что по дате, и вдруг дата - не индексирована... нипанимаю.
...
Рейтинг: 0 / 0
Размер партицированной таблицы?
    #39924681
teCa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Akina,
авторPARTITION BY RANGE ( clock)
(PARTITION p20150101 VALUES LESS THAN (1420059600) ENGINE = InnoDB,

Партицировал по полю CLOCK, вот сама структура таблицы:

авторCREATE TABLE `history` (
`itemid` BIGINT(20) UNSIGNED NOT NULL,
`clock` INT(11) NOT NULL DEFAULT '0',
`value` DOUBLE(19,4) NULL DEFAULT NULL,
`ns` INT(11) NOT NULL DEFAULT '0',
INDEX `history_1` (`itemid`, `clock`)
)
COLLATE='utf8_bin'
...
Рейтинг: 0 / 0
Размер партицированной таблицы?
    #39924685
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
teCa,

А первичный ключ куда потерялся?
...
Рейтинг: 0 / 0
Размер партицированной таблицы?
    #39924713
teCa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoft,

Это дефолтная таблица заббикса, она содержала только данные ключи.
...
Рейтинг: 0 / 0
Размер партицированной таблицы?
    #39924907
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
1) Партиционирование может только увеличить расход дискового пространства (точнее, он гарантированно увеличится - просто иногда это может быть практически незаметно).

2) Наилучшая борьба с распуханием таблицы - вменяемый снос части данных в архив. Если это невозможно - иногда помогает оптимизация. Но на таблице с лярдом записей я бы не стал...

teCa
Таблица уже 210Гб

Навскидку расход пространства на запись для показанной структуры составляет 30 байтов на запись, и в индексе 18 байт на запись, но с учётом процента заполнения, я думаю, будет порядка 80-100 (а то и все 150) байт на запись.

Покажите SHOW TABLE STATUS IN test LIKE 'history'\G .
...
Рейтинг: 0 / 0
Размер партицированной таблицы?
    #39925511
teCa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Akina

Покажите SHOW TABLE STATUS IN test LIKE 'history'\G .
...
Рейтинг: 0 / 0
Размер партицированной таблицы?
    #39925515
teCa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Akina
Если это невозможно - иногда помогает оптимизация. Но на таблице с лярдом записей я бы не стал...


А нельзя провести оптимизацию в рамках одной партиции?
...
Рейтинг: 0 / 0
Размер партицированной таблицы?
    #39925565
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну в принципе data_free практически ниачём - 10 гиг против 160 гиг данных и 75 гиг индексов.
...
Рейтинг: 0 / 0
Размер партицированной таблицы?
    #39925594
teCa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Akina
Ну в принципе data_free практически ниачём - 10 гиг против 160 гиг данных и 75 гиг индексов.


Те, с оптимизацией можно даже не заморачиваться, на всю БД, после оптимизации, я смогу освободить не более этих 10Гб?
...
Рейтинг: 0 / 0
Размер партицированной таблицы?
    #39925815
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну если в настройках поджать от души процент свободного пространства для расщепления - может, ещё десяточку выиграешь... а вот где проиграешь и сколько - даже гадать не возьмусь.
...
Рейтинг: 0 / 0
15 сообщений из 15, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Размер партицированной таблицы?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]