|
Размер партицированной таблицы?
|
|||
---|---|---|---|
#18+
Всем привет. Подскажите следующее. Была таблица history в которой данные хранились с 2010го года, размер таблицы составлял 150Гб, для более эффективного процесса удаления старых данных эту таблицу я разбил на партиции, 1 партиция равна 1 неделе. Данные операции я проводил месяц назад, старую таблицу отправили в архив, а новая начала заполняться заново, часть данных перелили из старой, но не много. В итоге, в данный момент таблица снова занимает 150 гигов, хотя времени прошло немного. Неужели партицированная таблица занимает настолько больше места или причина может быть в чем то другом? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.01.2020, 14:22 |
|
Размер партицированной таблицы?
|
|||
---|---|---|---|
#18+
teCa, А старую таблицу как очищали? Попробуйте сделать ей Optimize. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.01.2020, 14:34 |
|
Размер партицированной таблицы?
|
|||
---|---|---|---|
#18+
miksoft, В таблице нет индекса на поле время события, а очищать данные приходится как раз по этому полю. В таблице было 1.2млрд записей. Можете поподробнее, что за optimaze? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.01.2020, 15:18 |
|
Размер партицированной таблицы?
|
|||
---|---|---|---|
#18+
teCa что за optimaze? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.01.2020, 16:17 |
|
Размер партицированной таблицы?
|
|||
---|---|---|---|
#18+
Парни, есть еще идеи? Таблица уже 210Гб, напомню, что непартицированная таблица хранившая данные за несколько лет весла 150Гб, партицированная за несколько месяцев - 210Гб. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2020, 10:25 |
|
Размер партицированной таблицы?
|
|||
---|---|---|---|
#18+
А партиционирование, стесняюсь спросить, по какому выражению делалось? всё вроде намекает, что по дате, и вдруг дата - не индексирована... нипанимаю. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2020, 12:53 |
|
Размер партицированной таблицы?
|
|||
---|---|---|---|
#18+
Akina, авторPARTITION BY RANGE ( clock) (PARTITION p20150101 VALUES LESS THAN (1420059600) ENGINE = InnoDB, Партицировал по полю CLOCK, вот сама структура таблицы: авторCREATE TABLE `history` ( `itemid` BIGINT(20) UNSIGNED NOT NULL, `clock` INT(11) NOT NULL DEFAULT '0', `value` DOUBLE(19,4) NULL DEFAULT NULL, `ns` INT(11) NOT NULL DEFAULT '0', INDEX `history_1` (`itemid`, `clock`) ) COLLATE='utf8_bin' ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2020, 14:39 |
|
Размер партицированной таблицы?
|
|||
---|---|---|---|
#18+
teCa, А первичный ключ куда потерялся? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2020, 14:46 |
|
Размер партицированной таблицы?
|
|||
---|---|---|---|
#18+
miksoft, Это дефолтная таблица заббикса, она содержала только данные ключи. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2020, 15:51 |
|
Размер партицированной таблицы?
|
|||
---|---|---|---|
#18+
1) Партиционирование может только увеличить расход дискового пространства (точнее, он гарантированно увеличится - просто иногда это может быть практически незаметно). 2) Наилучшая борьба с распуханием таблицы - вменяемый снос части данных в архив. Если это невозможно - иногда помогает оптимизация. Но на таблице с лярдом записей я бы не стал... teCa Таблица уже 210Гб Навскидку расход пространства на запись для показанной структуры составляет 30 байтов на запись, и в индексе 18 байт на запись, но с учётом процента заполнения, я думаю, будет порядка 80-100 (а то и все 150) байт на запись. Покажите SHOW TABLE STATUS IN test LIKE 'history'\G . ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2020, 19:39 |
|
Размер партицированной таблицы?
|
|||
---|---|---|---|
#18+
Akina Покажите SHOW TABLE STATUS IN test LIKE 'history'\G . ... |
|||
:
Нравится:
Не нравится:
|
|||
12.02.2020, 10:56 |
|
Размер партицированной таблицы?
|
|||
---|---|---|---|
#18+
Akina Если это невозможно - иногда помогает оптимизация. Но на таблице с лярдом записей я бы не стал... А нельзя провести оптимизацию в рамках одной партиции? ... |
|||
:
Нравится:
Не нравится:
|
|||
12.02.2020, 11:03 |
|
Размер партицированной таблицы?
|
|||
---|---|---|---|
#18+
Ну в принципе data_free практически ниачём - 10 гиг против 160 гиг данных и 75 гиг индексов. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.02.2020, 12:15 |
|
Размер партицированной таблицы?
|
|||
---|---|---|---|
#18+
Akina Ну в принципе data_free практически ниачём - 10 гиг против 160 гиг данных и 75 гиг индексов. Те, с оптимизацией можно даже не заморачиваться, на всю БД, после оптимизации, я смогу освободить не более этих 10Гб? ... |
|||
:
Нравится:
Не нравится:
|
|||
12.02.2020, 12:49 |
|
|
start [/forum/topic.php?fid=47&msg=39925515&tid=1828749]: |
0ms |
get settings: |
8ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
93ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
49ms |
get tp. blocked users: |
1ms |
others: | 333ms |
total: | 517ms |
0 / 0 |