Думал, что это FAQ, но мало чего нашел.

Кто как делает - поделитесь.

Есть задача - найти в таблице строку похожую на заданную (она из другой
таблицы берется)
Окончательное решение о похожести принимает пользователь, но ввсе-таки
хотелось бы максимально облегчить ему задачу:
- вывести список имеющихся похожих строк
- указать ту, которая более всего похожа
- позволить, все же выбрать из расширяющегося множества (все менее и менее
похожих) вплоть до всех.

Пока ничего не придумал, кроме вычленения и проверки на совпадение
нескольких подстрок из начала и из конца, но результат не устраивает - много
мусора и "наиболее похожий вариант" указать невозможно.

Подкинте идею, пожалуйста.


Posted via ActualForum NNTP Server 1.3

Спасибо, пойду - застрелюсь :-)


Posted via ActualForum NNTP Server 1.3

Не, я не думал, что все так просто.
Но я и не думал, что кусок из ядра Яндекса придется вставлять в программку,
которая улицы с КЛАДР'ом сверяет. :-o


Posted via ActualForum NNTP Server 1.3

Что значит адекватный?
Собственно это, на самом деле, в некотором роде система поддержки принятия
решений с задачей оценки релевантности строк.
Морфология тут, вроде не причем, но без Яндекса - точно никуда :-).


Posted via ActualForum NNTP Server 1.3

Работало оно до меня ЛАЙКом долго и неточно, поэтому задача и возникла. А
порядок слов... лучше не вспоминать как издеваются над улицами.
Хотел уж написать нормально, чтобы в новую базу, с КЛАДРом связанную
переносить.


Posted via ActualForum NNTP Server 1.3

to Shoora:
Такая схема частично уже и есть, а вот алгоритм релевантного поиска - самое
интересное. Я его и изобретаю.
Спасибо.

to ModelR:
Не хотелось бы прикручивать то, чем раньше не пользовался, а что это сильно
может помочь?


Posted via ActualForum NNTP Server 1.3

Сделал сечас так:

Из КЛАДРа выбираю простым селектом все улицы из населенного пункта. Если
нас.пункт еще не определен, то пользователь выбирает его из КЛАДРА. Потом
смотрим на название улицы, которое в старой базе и фильтруем непохожие
локально с помощью некой оценки похожести.
Т.е. показываем список оцененных выше определенного порога (если чего -
порог можно поднять или опустить). Пользователь выбирает истинный и в
специальной табличке фиксируется сопоставление. Если в следующий раз
встречается та же улица в том же нас.пункте - сопоставление происходит
автоматом.

Оценку выбрал такую:

Для каждого символа из эталонной строки ищу для каждой строки списка все его
вхождения.
Каждое вхождение каждого символа оценивается как:
1/exp(abs(<расстояние>)/2), где
1 = 1
exp - функция экспоненты
abs - абсолютное значение
<расстояние> - расстояние между одинаковыми символами в эталонной строке и
в оцениваемой строке.
Все оценки суммируются.
При значении порога прибл 6-7 отбирается от 3 до 10 похожих названий, из
которых легко выбрать.

Была еще идея - посчитать расстояния между одинаковыми символами и собрать
типа в гистограмму, выбрать максимальную частоту (сумму нескольких
максимальных) и сравнить с порогом. Но реализовывать не стал, ибо и то вроде
неплохо помогает.

Готов на вопросы ответить.


Posted via ActualForum NNTP Server 1.3

>И это быстро работает? Хотя, конечно, в пределах одного населенного пункта
>улиц немного... А населенный пункт пользователь выбирает из > списка?
Сказать сколько улиц (проспектов, переулков) в населенном пункте под
названием Санкт-Петербург?
И тем не менее скорость фильтрации приемлимая - сопоставимая с временем
реакции пользователя

>Основная проблема - это найти нормальную форму слова.
Это опять морфология. Морфологии нету у меня. У меня ошибки при вводе.


Posted via ActualForum NNTP Server 1.3

To Jimmy:
Спасибо за интересную ссылку, только поздно уже :-).


Posted via ActualForum NNTP Server 1.3

> Помниться, в одной базе наименования городов вводились ручками, а не
> выбирались из справочника, как это положено. Так вот, написание >
> наименования города "Санкт-Петербург" было в 11 вариантах

Английские учёные доказали, что неважно, в каком порядке расположены буквы в
слове, главное, чтобы первая и последняя были на месте, тогда текст будет
читаться, потому что мы читаем не по слогам, а воспринимаем слова целиком.

Алйгиксние унычёе дзолакаи, что нажнево, в коакм пкдояре рласнжопоеы бвкуы в
совле, гвонлае, чобты пвеаря и пясленодя блыи на мтсее, тдога тсект бедут
чьсиаття, помтоу что мы чеиатм не по сгалом, а висомнеприам свола цкиеолм
Источник: http://www.newslab.ru/review/171928
Никогда, никогда, никогда не разрешайте пользователям редактировать
справочники!!!


Posted via ActualForum NNTP Server 1.3