sekosЕсть строки типа

ez548-sek1
UZ53310SK20

БД с серийниками некого оборудования. Серийники могут быть любыми. Данных порядка 70 млн. Пользователь вводит запросв и надо что бы ему вывелось всё оборудование серийники которых содержат данный запрос. Запрос минимум 2 символа.

Вот такая вот задача.Сделать собственный "полнотекстовый поиск".
Разделить серийник на элементы и искать среди этих элементов. поиск тогда будет по прямому соответствию, т.е. используется индекс.

Но нужна денормализация БД - это вызовет сильный рост объемов данных + алгоритм актуализации.

sekosДело в том что серийники абсолютно разные, разных видов и т.д. как таковой фикс.структуры у них нет.По условиям задачи поиск минимум по 2-м символам.
Берем UZ53310SK20
и превращаем в набор:
UZ
Z5
53
33
31
10
0S
SK
K2
20
Это - поиск по 2-м символам.

Аналогично по 3-м и более:
UZ5
Z53
533
и т.п.

Дальше строится индекс по этому полю. и ищется по ПОЛНОМУ совпадению, что быстрее LIKE "%something%"
минусы я описал выше.

sekosНе совсем понял, получается 64 таблицы (длина 2..64) дублирующие данные много раз из основной таблицы?
Какие конкретно минусы?Действительно не поняли.

Нужна еще одна таблица-справочник для индекса,в которую гонятся все возможные поисковые варианты. + талбица связей из каких серийников получено данное поисковое выражение.

c127Или решение аналогичное тому, которое предлагал Sergei Obrastsov, но для СКЛ сервера (sybase ASA). Пример переделан из работающего более сложного путем выбрасывания лишнего, поэтому запрос по-видимому можно еще упростить/соптимизировать.

Не знаю как МуСКЛ справится с таким запросом, у сайбейз АСА проблем не замечено.group by - обычно тыжеловат.
да и - having count(*) = (select count(*) from #w); ИМХО тоже дает нагрузку на систему.

наверное быстрее будет так:

CREATE TABLE [dbo].[Connect] (
[Connect_ID] [int] IDENTITY (1, 1) NOT NULL ,
[ID] [int] NOT NULL ,
[text_id] [int] NOT NULL
) ON [PRIMARY]
GO

CREATE TABLE [dbo].[serial] (
[ID] [int] IDENTITY (1, 1) NOT NULL ,
[Serial] [varchar] (80) COLLATE Cyrillic_General_CI_AS NOT NULL
) ON [PRIMARY]
GO

CREATE TABLE [dbo].[text_search] (
[Text_id] [int] IDENTITY (1, 1) NOT NULL ,
[Text_part] [varchar] (80) COLLATE Cyrillic_General_CI_AS NOT NULL
) ON [PRIMARY]
GO

CREATE INDEX [IX_Connect] ON [dbo].[Connect]([ID]) ON [PRIMARY]
GO

CREATE INDEX [IX_Connect_1] ON [dbo].[Connect]([text_id]) ON [PRIMARY]
GO

CREATE INDEX [IX_text_search] ON [dbo].[text_search]([Text_part]) ON [PRIMARY]
GO

создаем таблицы

[dbo].[serial] - таблица значений
[dbo].[Connect] - показывает что их словаря какому серийнику соответствует
[dbo].[text_search] - таблица- СЛОВАРЬ серийных комбинаций

заполняем:
insert into serial (serial) values ('texting')
insert into serial (serial) values ('ez548-sek1')

только для ez548-sek1 (лениво делать для других, принцип и так понятен)

INSERT INTO text_search (Text_part) VALUES ('ez')
INSERT INTO [Connect] (ID, text_id) VALUES (2,46)
INSERT INTO text_search (Text_part) VALUES ('z5')
INSERT INTO [Connect] (ID, text_id) VALUES (2,47)
INSERT INTO text_search (Text_part) VALUES ('54')
INSERT INTO [Connect] (ID, text_id) VALUES (2,48)
INSERT INTO text_search (Text_part) VALUES ('48')
INSERT INTO [Connect] (ID, text_id) VALUES (2,49)
INSERT INTO text_search (Text_part) VALUES ('8-')
INSERT INTO [Connect] (ID, text_id) VALUES (2,50)
INSERT INTO text_search (Text_part) VALUES ('-s')
INSERT INTO [Connect] (ID, text_id) VALUES (2,51)
INSERT INTO text_search (Text_part) VALUES ('se')
INSERT INTO [Connect] (ID, text_id) VALUES (2,52)
INSERT INTO text_search (Text_part) VALUES ('ek')
INSERT INTO [Connect] (ID, text_id) VALUES (2,53)
INSERT INTO text_search (Text_part) VALUES ('k1')
INSERT INTO [Connect] (ID, text_id) VALUES (2,54)
INSERT INTO text_search (Text_part) VALUES ('ez5')
INSERT INTO [Connect] (ID, text_id) VALUES (2,55)
INSERT INTO text_search (Text_part) VALUES ('z54')
INSERT INTO [Connect] (ID, text_id) VALUES (2,56)
INSERT INTO text_search (Text_part) VALUES ('548')
INSERT INTO [Connect] (ID, text_id) VALUES (2,57)
INSERT INTO text_search (Text_part) VALUES ('48-')
INSERT INTO [Connect] (ID, text_id) VALUES (2,58)
INSERT INTO text_search (Text_part) VALUES ('8-s')
INSERT INTO [Connect] (ID, text_id) VALUES (2,59)
INSERT INTO text_search (Text_part) VALUES ('-se')
INSERT INTO [Connect] (ID, text_id) VALUES (2,60)
INSERT INTO text_search (Text_part) VALUES ('sek')
INSERT INTO [Connect] (ID, text_id) VALUES (2,61)
INSERT INTO text_search (Text_part) VALUES ('ek1')
INSERT INTO [Connect] (ID, text_id) VALUES (2,62)
INSERT INTO text_search (Text_part) VALUES ('ez54')
INSERT INTO [Connect] (ID, text_id) VALUES (2,63)
INSERT INTO text_search (Text_part) VALUES ('z548')
INSERT INTO [Connect] (ID, text_id) VALUES (2,64)
INSERT INTO text_search (Text_part) VALUES ('548-')
INSERT INTO [Connect] (ID, text_id) VALUES (2,65)
INSERT INTO text_search (Text_part) VALUES ('48-s')
INSERT INTO [Connect] (ID, text_id) VALUES (2,66)
INSERT INTO text_search (Text_part) VALUES ('8-se')
INSERT INTO [Connect] (ID, text_id) VALUES (2,67)
INSERT INTO text_search (Text_part) VALUES ('-sek')
INSERT INTO [Connect] (ID, text_id) VALUES (2,68)
INSERT INTO text_search (Text_part) VALUES ('sek1')
INSERT INTO [Connect] (ID, text_id) VALUES (2,69)
INSERT INTO text_search (Text_part) VALUES ('ez548')
INSERT INTO [Connect] (ID, text_id) VALUES (2,70)
INSERT INTO text_search (Text_part) VALUES ('z548-')
INSERT INTO [Connect] (ID, text_id) VALUES (2,71)
INSERT INTO text_search (Text_part) VALUES ('548-s')
INSERT INTO [Connect] (ID, text_id) VALUES (2,72)
INSERT INTO text_search (Text_part) VALUES ('48-se')
INSERT INTO [Connect] (ID, text_id) VALUES (2,73)
INSERT INTO text_search (Text_part) VALUES ('8-sek')
INSERT INTO [Connect] (ID, text_id) VALUES (2,74)
INSERT INTO text_search (Text_part) VALUES ('-sek1')
INSERT INTO [Connect] (ID, text_id) VALUES (2,75)
INSERT INTO text_search (Text_part) VALUES ('ez548-')
INSERT INTO [Connect] (ID, text_id) VALUES (2,76)
INSERT INTO text_search (Text_part) VALUES ('z548-s')
INSERT INTO [Connect] (ID, text_id) VALUES (2,77)
INSERT INTO text_search (Text_part) VALUES ('548-se')
INSERT INTO [Connect] (ID, text_id) VALUES (2,78)
INSERT INTO text_search (Text_part) VALUES ('48-sek')
INSERT INTO [Connect] (ID, text_id) VALUES (2,79)
INSERT INTO text_search (Text_part) VALUES ('8-sek1')
INSERT INTO [Connect] (ID, text_id) VALUES (2,80)
INSERT INTO text_search (Text_part) VALUES ('ez548-s')
INSERT INTO [Connect] (ID, text_id) VALUES (2,81)
INSERT INTO text_search (Text_part) VALUES ('z548-se')
INSERT INTO [Connect] (ID, text_id) VALUES (2,82)
INSERT INTO text_search (Text_part) VALUES ('548-sek')
INSERT INTO [Connect] (ID, text_id) VALUES (2,83)
INSERT INTO text_search (Text_part) VALUES ('48-sek1')
INSERT INTO [Connect] (ID, text_id) VALUES (2,84)
INSERT INTO text_search (Text_part) VALUES ('ez548-se')
INSERT INTO [Connect] (ID, text_id) VALUES (2,85)
INSERT INTO text_search (Text_part) VALUES ('z548-sek')
INSERT INTO [Connect] (ID, text_id) VALUES (2,86)
INSERT INTO text_search (Text_part) VALUES ('548-sek1')
INSERT INTO [Connect] (ID, text_id) VALUES (2,87)
INSERT INTO text_search (Text_part) VALUES ('ez548-sek')
INSERT INTO [Connect] (ID, text_id) VALUES (2,88)
INSERT INTO text_search (Text_part) VALUES ('z548-sek1')
INSERT INTO [Connect] (ID, text_id) VALUES (2,89)
INSERT INTO text_search (Text_part) VALUES ('ez548-sek1')
INSERT INTO [Connect] (ID, text_id) VALUES (2,90)

поиск:

select s.id
from serial s
join connect c on s.id = c.id
join text_search t on t.text_id = c.text_id
where text_part = 'sek1'

= - самое главное для чего вся возня и была. т.е. не идет сканов и сравнений по like. просто прямая выборка по индексу.

проблемы с размером text_search быть не должно, если делать её уникальным словарем данных.
Хотя объем будет больше чем у исходных данных. Ну так его мы и меняем на скорость.

Выбегаллоесли вы внимательно прочитаете условие, то заметите фразу "Fulltext search и "something%" не предлагать плз". То, что вы предлагаете, и есть "something%". Попробуйте прикинуть количество строк в вашей таблице, если искомая строка начинается не с первой позиции.
Читаем внимательно:
sekosВ данных момент есть поиск в бд LIKE "%something%". Тормозит на больших обьемах данных. Fulltext search и "something%" не предлагать плз. В данном случае всё написано на MySQL 4.0.

Другие БД могут справиться с этой задачей лучше?

Нужно искать именно n-ое кол-во букв в строке. Длина - 2..64 символа.

Может есть варианты что-то кардинально изменить, улучшив скорость?
Мое предложение это НЕ использует Fulltext search и НЕ использует выражения "something%" .

PS предложения?

ВыбегаллоСколько потребуется insert-ов для 64-байтного идентификатора ?Отвечаю: много, но основной вопрос не как съэкономить место, а Может есть варианты что-то кардинально изменить, улучшив скорость? .

Если есть вариант лучше - предложите!