я делал только частичные чисто технические подзадачи в пж:
парсить (токенайзить) можно токенайзером пж.
лемматировать токен встроенной ф-ей , по тому или иному словарю
совпадения с ключевыми мультивордами по сноуболу -- чисто на регекспах
по ханспелу -- на пересечении массивов-токенов (медленнее), с порядком, с совпадением хоть чего-то /на токен
ну и т.п.
понавертеть своих ф--й, по ним и индексировать (лучше -- с материализацией)


я обхожусь обычным тф-идф в той или иной интерпретации (смотрю на некую вытяжку из объекта как на поисковый запрос , а на какую-либо (вытяжку из) коллекцию/рубрикатор/иное -- как на набор искомых документов). одним запросом.


а всякие "кластеризации" -- это из разновидности натягивания сов на глобусы.
-- "они растягиваются".
для пж можно пайтоновские брать. (в пайтоне их есть)
тут пока больше искусство , чем строгая арифметика, имхо.
но задача маячит.

хотя если считать по отдельному док-ту много, а док-ты неизменны -- то вылезать надо из субд наружу.