kolioподскажите плиз кто в этом знает больше

можно ли как-то настроить индексатор FTS,чтобы он не индексировал HTML ?
либо может как-то задать список исключаемых слов, чтобы не индексировало?

заливаю в поле html странички. и оно индексирует не только сам текст, но и HTML теги :(
они ненужны ни капли эти индексы тегов

Этот вопрос постоянно повторяют в рассылке SQLite. Ответ простой - следует написать нужный токенайзер, который будет игнорировать html-тэги. Смотрите исходники модуля fts3, там есть примеры и комментарии.

kolioMBG
Этот вопрос постоянно повторяют в рассылке SQLite. Ответ простой - следует написать нужный токенайзер, который будет игнорировать html-тэги. Смотрите исходники модуля fts3, там есть примеры и комментарии.

понял. спасиб
я так понимаю это будет dll файлик, который подключить потом и будет счастье :)
вроде всё верно понял



Да, нужно сделать токенайзер и подключить. В свое время я разбирался с этим вопросом, оказалось, что если браться, то нужно делать поддержку юникода плюс стеммер и морфологический поиск. Сам токенайзер лишь разбивает текст на лексемы, а вот для поиска по словоформам, а тем более для нечеткого поиска еще многое сделать нужно. В итоге поддержку юникода я в свою сборку SQLite добавил, а за остальное не стал браться (libICU мне не подходит, т.к. в несколько раз снижает быстродействие системы, а на моих базах в гигабайты и десятки гигабайт это критично). Можете в репозитории эту сборку взять

http://mobigroup.ru/page/debian

По умолчанию включен unaccent, т.е. при поиске и сортировке буквы ё==е и й==и, таким образом решается проблема различия в написании слов. Стеммер можно реализовать двумя способами - как функцию преобразования словоформы к базовой форме, или как таблицу возможных словоформ. Существуют скрипты, которые создают словари на основе правил ispell и пр. Я рассматривал именно такой вариант, т.к. он позволяет использовать сразу несколько словарей, в то время как использование нескольких последовательных стеммеров может привести к ошибкам и существенно повлиять на быстродействие. Что касается устойчивого к ошибкам написания поиска, можно использовать хэш soundex или триграммы. Алгоритм soundex в SQLite уже реализован, следует лишь активировать его поддержку при сборке. На практике soundex весьма эффективен для транслитерированных русских слов.

Можете посмотреть дискуссию с разработчиками FTS, как раз здесь я про стеммеры, морфологию и нечеткий поиск спрашивал:
http://www.nabble.com/FTS-statistics-and-stemming-td18298526.html

Так и не добрался посмотреть, как в PostgreSQL сделан полнотекстовый поиск, может быть, имеет смысл его портировать, если он достаточно эффективен (замечу, что для SQLite-ориентированного решения требования по быстродействию минимум на порядок выше, чем для клиент-серверных СУБД).

Существуют и открытые системы морфологического поиска для русского языка, но с ними я не разбирался. Ссылки сейчас не назову, но мне их подсказали с полгода-год назад в рассылке debian-russian, можете поискать в архивах.