|
|
|
Быстрий trigram поиск на миллионах строк
|
|||
|---|---|---|---|
|
#18+
Или, еще лучше - поиск ближайших соседей в векторном пространстве, конверсию строки -> триграм-вектора я сам сделаю. Есть что? В postgresql есть такой поиск, но он работает только до сотен тысяч а если больше начинает тормозить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2017, 22:33 |
|
||
|
Быстрий trigram поиск на миллионах строк
|
|||
|---|---|---|---|
|
#18+
Вроде "триграмм" для текстов используют. trigrammnyy-poisk Что за пространство будет? с целочисленными координатами ? Поиск в векторном пространстве зависит от метрики. Метрика выбирается из адекватности физики данных ментальному представлению. Для текстовых соображений используют аналоги расстояния редактирования, но можно и самописное. Из альтернативного в голову приходит что-то вроде квадратно-гнездового метода на целочисленной решётке. Например покоординатный интервальный уточняющий поиск, или половинного деления. В принципе всё равно те же индексы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.06.2017, 17:42 |
|
||
|
Быстрий trigram поиск на миллионах строк
|
|||
|---|---|---|---|
|
#18+
Например множество векторов флоат -1..1 с размерностью 100 элементов. Дистанция - косинус или евклидова. Ага, есть множество подходов - все так или иначе сводится - грубо разбить пространство на бакеты и уже вести точный поиск только внутри нужного бакета. Но хотелось бы что-то готовое из коробки... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.06.2017, 20:32 |
|
||
|
|
start [/forum/topic.php?fid=16&fpage=20&tid=1340353]: |
0ms |
get settings: |
9ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
40ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
43ms |
get tp. blocked users: |
1ms |
| others: | 209ms |
| total: | 336ms |
| 0 / 0 |
