|
|
|
Использование диска на 100% после удаления записей
|
|||
|---|---|---|---|
|
#18+
Здравствуйте, у нас есть таблица более 500 миллионов записей (логи), которую нужно периодически чистить. Часть полей проиндексированы. Проблема в том, что после удаления, например, 2 миллионов записей в течение трёх часов (регулируется скриптом) движок базы начинает перезаписывать файлы на диске и таким образом использование диска (disk utilization) вырастает почти до 100% (см. приложенный график Munin, в конце графика видно увеличение нагрузки). Становится невозможно работать с сервером. Вопрос: есть ли какая-нибудь настройка MySQL, позволяющая снизить или замедлить пересборку файлов на диске, чтобы нагрузка не возрастала до 100%? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.05.2016, 11:01 |
|
||
|
Использование диска на 100% после удаления записей
|
|||
|---|---|---|---|
|
#18+
сделать партиции по дате и дропать партиции. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.05.2016, 11:55 |
|
||
|
Использование диска на 100% после удаления записей
|
|||
|---|---|---|---|
|
#18+
Sean YorkВопрос: есть ли какая-нибудь настройка MySQL, позволяющая снизить или замедлить пересборку файлов на диске, чтобы нагрузка не возрастала до 100%? Вы отправляете задания и mysql в ходе выполнения задачи нагружает диск на 100% Этот вопрос задается в разных формах, но почему люди не понимают что настройки нет и быть не может ? - отправляйте задания медленнее и меньше, чтобы более важные задания успевали проскочить - увеличивайте ресурсы ввода-вывода - закупайте ssd - попробуйте использовать что-нибудь, чтобы удаление приводило к меньшему числу операций - те самые партиции. - выполняйте первичных фактов логов сразу же и храните только агрегированные значения - вообще не храните логи в базе, а обрабатывайте как-нибудь еще ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.05.2016, 17:00 |
|
||
|
Использование диска на 100% после удаления записей
|
|||
|---|---|---|---|
|
#18+
Sean York. Вопрос: есть ли какая-нибудь настройка MySQL, позволяющая снизить или замедлить пересборку файлов на диске, чтобы нагрузка не возрастала до 100%? объясни, что такое "пересборка файлов на диске". нагрузка на диск - это io utilization? если да, то это нормально, это СУБД, она работает с диском, когда просят, и абсолютно нормально, что io прыгает вверх. что же ей, ждать что ли? хочешь меньше io - делай больше кэш данных, но и тогда io иногда будет прыгать, совсем без него нельзя, это СУБД, а не in memory db. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.05.2016, 22:57 |
|
||
|
|

start [/forum/topic.php?fid=47&msg=39233174&tid=1831814]: |
0ms |
get settings: |
7ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
157ms |
get topic data: |
6ms |
get forum data: |
1ms |
get page messages: |
27ms |
get tp. blocked users: |
1ms |
| others: | 241ms |
| total: | 458ms |

| 0 / 0 |
