Приветствую, сообщество!

Недавно узнал про partition, "спинным мозгом" чуствую, что должно помочь мне. Но для экспериментов нужно джать админам задание по агрейду старого сервера с версии 5.0.45. Поэтому нужен совет - нужно ли вообще этим заниматься, чтоб админов загружать за зря. Итак постановка задачи.

Таблица MyIsam - 20 млн. строк, 12 Гб, нагрузка - до 100K запросов в сутки.
Для простоты некоторые дублирующие поля убрал (индексов и полей чуть больше).




Обновление происходит блоками по ключу iduser по следующему алгоритму:
1. Делается копия таблица tov_1, спасает INSERT ... SELECT, неплохо работает и таблица не лочится.
2. Все скрипты (и нагрузка) на сайте переключаются на копию tov_1, я назвал это псевдо-репликация smile самопально, но реально работает smile
3. Снимаются индексы
4. Последовательно обновляются блоками по полю iduser = N (размеры блоков от 100 до 1,5 млн строк)
4.1. Удаляются строки iduser = N (если не снимать индексы, удаляются долго)
4.2. Вставляются новые iduser = N
5. OPTIMIZE tov
6. Активируем ключи tov
7. Переводим скрипты сайта опять на tov

Засада, в принципе, может быть в двух местах:
1. Поиск на сайте (обычно по fulltext на 20 млн.строках)
2. Обновление данных. Вот тут в настоящее время и есть засада- т.к. вся процедура даже не по всей таблице может занять сутки. если сократить до нексольких часов- врполне приемлемо.

Итак, основная задача - сокращение времени обновления при неухудшении времени выполнения полнотекстового поиска на сайте.

Обновление происходит блоками iduser = N. Уникальное кол-во iduser = 50-100. Новые значение iduser вводятся редко, вполне возможно применение "ручного" труда, хотя конечно лучше автоматом. Большая часть из таблицы: около 10 iduser размером 12 млн. строк из 20 вообще обновляются очень редко. Остальные iduser (около 50) в настоящее время по причине длительности процесса обновляются раз в неделю, но хотелось бы ежедневно.

Основной вопрос: поможет ли кардинально применение секционирования (а имено по полю iduser)?

Я так понял, что секционирование разбивает один файл (таблицу) на части, причем поиск по всей таблице, как утверждается, не ухудшается. Ну, а если не вдаваться в подробности, для моего случая работа с частями - гораздо удобнее, получается своего рода возможности по масштабированию. А сейчас, у меня очень громоздкая структура: для замены даже одного блока iduser приходится лопатить всю таблицу с вытекающими последствиями по времени ее обработки.

Спасибо заранее всем откликнувшимся.

Aleksandr KuzminskyВы бы о проблемах рассказали сначала. А то непонятно какую задачу пытаетесь решить.


Страно, вроде пытался все обстоятельно нарисовать. Разве неясно про задачу?

Итак, основная задача - сокращение времени обновления при неухудшении времени выполнения полнотекстового поиска на сайте.


И подробности вроде есть. Что еще добавить?

Мда, а жаль...
Я бы сам также ответил, так как это вроде очевидно для нескольких файлов.
Но меня ввела в заблуждение (я только знакомлюсь с партициями) следущая запись:
авторБолее того, ускорение достигается даже в случае выполнения запросов, затрагивающих все данные во всех партициях — ведь в этом случае сначала происходит первичная «обработка» таблиц по меньше, потом данные объединяются и производятся финальные вычисления. Так вот как раз «первые» этапы, в данном случае будут происходить гораздо быстрее.

на http://habrahabr.ru/post/66151/

А что Вы имеете под оверхедом в данном контексте, можно подробнее?