Здравствуйте! Есть таблица, состоящая из 6 млрд записей. Нужно добавить индекс по одному из столбцов (тип integer). Пробовал делать

MySQL задумался на неделю, в итоге ничего не сделал (наверное, таймаут какой-то вышел, хз).
Нагуглил "Fast Index Creation". Подскажите, пожалуйста, пример, как в моем случае можно этот подход применить.

Заранее большое спасибо!

Движок InnoDB.

CREATE TABLE `raw_data` (
`id` bigint(11) NOT NULL AUTO_INCREMENT,
`case_index` int(10) DEFAULT NULL,
`index_in_case` tinyint(3) unsigned DEFAULT NULL,
`ampl` float DEFAULT NULL,
`ph` float DEFAULT NULL,
PRIMARY KEY (`id`),
UNIQUE KEY `id_UNIQUE` (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=6614310478 DEFAULT CHARSET=latin1$$

Это вывод MySQL Workbench на запрос ПК по таблице - Copy to Clipboard - Create Statement.

Во время создания индекса не было никакой нагрузки, ничего не выполнялось (смотрел при помощи show processlist, хотя я и без него знаю, что я ничего не запускал).

Этор данные моделирования работы электрической схемы, я их храню в MySQL, потом - обрабатываю с помощью скриптов на Python'e. В них уже ничего не вносится, только выборка данных по определённым критериям. Вот для одной из выборок тут предложили создать индекс по полю "case_index". Вот я и пытаюсь это сделать.
Насчёт MyISAM или InnoDB - я с БД новичёк, подскажите почему в данном случае лучше MyISAM.

Да, система однопользовательская.
Насчёт размера - в БД хранятся частотные характеристики (графики АЧХ и ФЧХ) схемы из 48 элементов, номиналы которых варьировались независимо один от другого, методом перебора. Всего получилось 65 млн комбинаций номиналов элементов схемы. Для каждой комбинации хранятся значения модуля и фазы для 101 частоты. Итого имеем более 6 млрд строк в таблице. Тут можно примерно в 4 раза уменьшить кол-во данных (есть повторяющиеся из-за симметричности схемы), но для того чтоб с такой огромной таблицей получалось работать и пытаюсь создать индекс. Примерно так.
Ладно, буду пробовать перейти на MyISAM, попробую там.
З.Ы. это часть научного исследования в университете, аспирантура.

Ответ для tanglir :
Сейчас пока не могу это проверить, запустил команду преобразования таблицы из InnoDB в MyISAM.
Да, а подскажите ещё,


Сначала создаст новую таблицу с движком MyISAM, а потом скопирует все из старой таблицы в новую, удалит старую и переименует новую в tbl1? Т.е. если моя таблица весит 365 Гб, то для операции смены движка мне нужно ещё хотя бы 365 Гб пустого пространства на диске?

О, выдало ошибку:

netwindkt368, мне кажется такие задачи не решаются с помощью python и mysql. Как-то же проектируют схемы с гораздо большим числом элементов. Наверняка, такие САПР все в памяти держат и используют какие-то алгоритмы для исключения полного перебора.
Может быть, не уверен. Мне нужно исследовать форму АЧХ и ФЧХ большого количества вариантов комбинаций, я как мог минимизировал кол-во этих комбинаций при создании на питоне списка комбинаций параметров элементов, но всё учесть не смог. Считал в Micro-Cap, запуская его питоном через интерфейс командной строки, при этом подсовывал Micro-Cap'у файлик с параметрами. Микрокап генерировал текстовые файлы с численными значениями АЧХ и ФЧХ, которые питон вводил в БД MySQL. Вот теперь у меня такая огромная таблица.
[quot tanglir]Cygapb-007
то же самое выдаёт, или там всё же этого "unique key" нет?Вот что он выдает:


netwindвозможно немного меньше, ведь это myisam, но порядки примерно те же. я думаю никак не меньше 300 гб.Вот чёрт, надо где-то места раздобыть...

Arhat109kt368,
1. 65млн комбинаций параметров к 48 элементам... может быть... но сразу возникает вопрос: а метод "градиентного спуска" не применим совсем или это после него столько осталось?Незнаю как его прикрутить к моей задаче. Мне нужно именно иметь на винчестере все таблицы с данными АЧХ и ФЧХ, чтоб потом можно было их по-разному исследовать, например определить минимальное количество частот, на которых нужно провести измерение частотной характеристики для того, чтоб по полученным данным можно с заданной погрешностью аппроксимировать эту частотную характеристику, чтоб не пропустить на частотной характеристики какие-то "интересные" моменты, перегибы, и т.д.
Arhat1092. надо исследовать форму АЧХ и ФЧХ ... это понятно, но сразу возникает другой вопрос: их надо исследовать во взаимосвязи или это можно делать последовательно?Можно последовательно
Arhat109если да, тогда непонятен предыдущий вопрос по выборке по 101 записи... взаимосвязи исследуются "поперек" частотного разреза - по параметрам... и потребуется "другой" индекс.Вы меня не так поняли, каждая частотная характеристика (для каждой комбинации параметров элементов схемы) состоит из 101-го значения, вот их я и выбираю. Все это в одной таблице, поле case_index содержит счётчик комбинаций, т.е. для определённой комбинации (например номер 1) есть 101 строка со значением case_index=1. Для комбинации номер 2, соответственно есть 101 строка с case_index=2. и т.д.
Arhat109если нет - то зачем пихать все АЧХ и ФЧХ в одну таблицу? Получили в микрокапе результат - исследовали, получаем следующий... он вроде как на это даже заточен... нет? Если надо "потом" сравнивать результаты, то опятьже правильнее их и собирать в одну таблицу... да и сравнивать проще, нет?Потому что пока моделировалось я придумывал алгоритмы, по которым можно исследовать эти частотные характеристики. Теперь у меня есть база с АЧХ и ФЧХ, и я хочу над ними проводить разные "эксперименты" - получать разные интегральные параметры.
Arhat1093. запустить и пересчитать через тот же скрипт на Питоне - дорого и невозможно? Если это можно повторить, то создайте табличку со всеми нужными индексами сразу в MyISAM и "в путь"... по второму разу. Это по-крайней мере не потребует реконфигурации всей системы (я так понимаю, что "лишних" 300-700 гектаров в ней нет)...Ой, не хочу, больше месяца считало...лучше где-нибудь раздобуду ещё один винчестер, места есть где его добыть.