gpРезультат с soundex примерно такой же как с difference, разницы я не увидел, только к тому же нету нормы, разве что считать soundex(a), soundex(b))
Это как раз математически принципиально. soundex(a) = soundex(b) задает отношение эквивалентности на множестве проверяемых элементов, а difference(a,b) < Limit - отношение толератности, не транзитивное.
Практически это может вести к коллизиям типа:

ABCD
ABCY
АВXD
ABXY

и сколько элементов оставлять?

gpА кто говорил об эквивалентности?
Она то как раз и противопоказана.
Главное - не пытаться заставить машину делать то, что ей не противопоказано делать, а именно - принимать решения.
Дубликат == эквивалент: Если А дубликат Б и Б дубликат В то А дубликат В. gp Как вам вот это:
select soundex('sushi') == S200
select soundex('sashimi') == S250
select soundex('susha') == S200
С отношением эквивалентности я гарантировано теряю синонимы sushi != sashimi, и получаю бредовое sushi == sushaТеряете, ибо неподходяще выбран критерий дублирования, вот и все. gp

Задача стоит не в том, чтобы машина принимала решение, а в том, чтобы свести перебор пользователем N^2 записей перебору значительно меньшего колличества, предположительно
C N ln(N).Именно. Тупой алгоритм понимает, что это одно и тоже, но не спобен понять тонкой разницы - кого же оставить.
З.Ы. Зачем N^2 ? Чтобы действительно (N-1)*N/2 :
gp
При этом, я сортирую дубликаты в порядке злостности, для этого я использую пространство с метрикой (5 - difference(a,b) - case when lower(a)=lower(b) then 1 else 0 end), а отношение эквивалентности будет задано пользователем, уже в другом пространстве.
Вообще говоря, метрика может быть более адекватной, но это не суть.

PS
Я знаю разницу между суши и сашими :)
Разница как раз в объеме работы для юзера.
Если есть критерий дублирования, то юзеру (ЛПР) можно вывалить всю очередную пачку эквивалентов чтобы он выбрал один из них как правильный. При этом один элемент будет предявлен ЛПР максимум один раз. Если есть только критерий схожести, то придется идти по парам, и один элемент может быть предъявлен ЛПР несколько раз.

Типа

Комп: Берем ABCD. На него похожи ABCY и АВXD.
ЛПР: Это все разные вещи.
Комп: Берем ABCY. На него похожи ABCD (ой , ЛПР уже сказал что они разные - не буду переспрашивать), ну хорошо, а ABXY?
ЛПР: ABCY фтопку, ABXY оставить.
Комп: Берем АВXD. На него похож ABXY.
ЛПР: Это все разные вещи.
Комп: ГОТОВО.

7 предъявлений при 4х элементах.



ABXY

gp ModelR
Комп: Берем ABCD. На него похожи ABCY и АВXD.
ЛПР: Это все разные вещи.
Комп: Берем ABCY. На него похожи ABCD (ой , ЛПР уже сказал что они разные - не буду переспрашивать), ну хорошо, а ABXY?
ЛПР: ABCY фтопку, ABXY оставить.
Комп: Берем АВXD. На него похож ABXY.
ЛПР: Это все разные вещи.
Комп: ГОТОВО.


Сдесь у Вас ошибка.
Дело в том, что с отношением эквивалентности вы не получите пары {ABCY,ABXY}
потому что из свойства транзитивности:
Из ABCY = ABXY следует ABXY = ABCD и ABXY = АВXD, тогда почему в первой строчке вы не указали ABXY?

И ошибка эта именно из за того, что отношение эквивалентности не позволяет построить такой алгоритм.Конечно не позволяет.
Дык написано же - похожи . Т.е. это как раз не для случая эквивалентности, а для толерантности (схожести).

drev
1. это не всегда возможно, например, в случае независимого ввода и слияния
2. это не всегда удобно, например, в случае большого количества возможных дубликатов
3. это не всегда осмысленно, например, в случае ввода данных человеком, который не сможет распознать дубликат
Ну да, и вообще степень запущенности может быть такой, что проще создать заново чем править:)