Коллеги, добрый день.
Нужна помощь...
Данные:
34млн записей в таблице




Как видно запрос просто ужасный, выполняется 6-8 секунд... Это просто кошмар.
Смысл в том что у нас есть целочисленый хеш определенной длинный и нам нужно найти все товары у которых совпадает к примеру больше 59 битов. Сврего рода нечеткйи поиск, но со своей спецификой.
Как хранятся данные.
1ин хеш это n записей в таблице hashes где n - колличество бит в хеше, в колонке hash хранится значение одного разряда, т.е если значение опложительное и находится в первом разряде значит будет '1', если 5ый разряд будет '5', если в 6ом разряде ноль, значит будет '-6'.
Понятно что при запросе у нас и full scan и file sort и все все что тольк может быть...
Подскажет как можно поменять структуру таблицы, или использовать что то отличное от MySQL myisam, пока посматриваем в сторону mongoDB с ее Map/Reduce, но может есть еще что более подходящее...

Чуть не забыл вот структура таблицы.

madbear,
Интересно, но всеравно full scan... Но есть решения поинтереснее
Metric tree
BK-tree
M-tree
VP-tree
Cover tree

Еще бы понять как это прикрутить к БД

chabapok,
все намного проще.
Пришлось отказатся от такого способа хранения данных. Решили просто ложить хеши как есть, в виде чисел, а потом просто используя битовые операции выполняем запрос.
Даже с учетом того что мускуль делает фулл скан, пробежатся по 500тыщам записей проще чем по 32ум милионам (500*мерность хеша), т.е из 2ух зол выбрали наименьшее. Это дало прирост в скорости на порядок.