На одной из центральных таблиц (немного больше 200000 строк) начали тормозить запросы с использованием FullText индексов.
Подняли размер кешей innodb_ft_cache_size и innodb_ft_total_cache_size - не помогло.
Рестарт сервера не менял ситуацию.
После раскопок посмотрели количество удалённых в FT_DELETED:


Выдало > 13000000.
Причём оптимизация FT индекса не меняет это число.
Меняется только после полной оптимизации таблицы или truncate .

Собственно вопрос: это штатная ситуация и нужно предусматривать периодическую полную оптимизацию или это что-то на сервере залипло/недонастроено.

Второй вопрос - эти 13 млн. - это зависшие удалённые версии в основной таблице или только мусор в индексе?

И если это зависшие версии, то как посмотреть есть ли подобное для остальных таблиц?

ScareCrow,

Это читал.
И даже это читал:
https://dev.mysql.com/doc/refman/5.7/en/fulltext-fine-tuning.html#fulltext-optimize Running OPTIMIZE TABLE on a table with a full-text index rebuilds the full-text index, removing deleted Document IDs and consolidating multiple entries for the same word, where possible.
Но, по факту OPTIMIZE TABLE для FULLTEXT в нашей ситуации никак не влияет на этот файл.

Влияет только после TRUNCATE . И при полном OPTIMIZE TABLE он обнуляется.

Соответственно встают вопросы: почему OPTIMIZE TABLE для FULLTEXT не влияет на INNODB_FT_DELETED ?
Можно ли из этого сделать вывод, что мусор (строки помеченные как удалённые) из таблицы не собирается?
И если да, то как посмотреть ситуацию для остальных таблиц - вдруг там тоже не собирается?

ScareCrow,

После выполнения OPTIMIZE TABLE с выставленным флагом innodb_optimize_fulltext_only=ON
Значение возвращаемое запросом


не меняется. И размер соответствующего файла не изменяется.

Если же OPTIMIZE TABLE выполнять без выставления флага innodb_optimize_fulltext_only ,
Запрос возвращает 0. И размер соответствующего файла существенно уменьшается.

Да опция innodb_file_per_table=1
Сервер Percona 5.7.16

Разобрались в чём дело.
Один из демонов постоянно держал соединение с открытой транзакцией - недоглядели.
Соответственно эта транзакция не давала работать потокам сборщика мусора из за чего удалённые записи не чистились а так и оставались в базе.
В результате они накапливались в FT_DELETED, и обработка запросов с FullText поиском вызывала конкретные тормоза.