Столкнулся с задачкой, с ходу не знаю с какого места подступиться, так что интересуют ключевые слова (может названия каких либо общеизвестных алгоритмов, которые я видимо не знаю) по которым гуглить и т.д. Какие-нибудь предложения алгоритмов по наитию тоже приветствуются.
Есть некое множество текстов, каждый текст состоит из некого набора токенов, в качестве токенов могут быть русские слова, английские слова и просто наборы слитно набранных букв и цифр. И среди всех этих текстов необходимо найти такие тексты, в которых есть русские слова, при наборе которых использовались латинские символы, похожие на кириллические (х - x, о - o, р - p, с - c, т - T, к - k и так далее).

Если вдруг есть какие-нибудь классные библиотеки в этой области, то ссылки на них тоже приветствуются.

Фразу разбили на токены, оставили только те токены, в которых одновременно используются кириллические и латинские символы, а вот дальше вопрос, как отличить случайных набор букв от реального слова, на сколько понимаю только по словарю? То есть пытаемся заменить все символы по таблице подстановок и пытаемся найти получившееся слово в словаре, с учетом возможной морфологии?

Blazkowicz,
Спасибо!

Atum1,
объемы приличные, но никакие хадупы не нужны, да и это дело десятое, главное алгоритм правильный подобрать.
Про коды символов, имхо, перегиб, я думаю что-нибудь регулярное хорошо подойдет для этих целей.
Словарь с ошибками не очень канает, т.к. в моем случае ищутся не ошибки, а злонамеренное искажение текста, с целью сокрытия информации в поиске, заранее сложно угадать в каком слове это будет делаться.

Atum1,
данные большие, но это не хадуп, если взять с очень большим запасом, то пусть будет 10 млн текстов по 1КБ в день, это нужно с процессить до 10ГБ в день, все лежит на одном сервере и профит от растаскивания на кластер быстрее перекроется оверхедом на сетевые упражнения, да и нет у меня этого кластера :)

За ссылки спасибо!

ЗЫ: не на органы, но догадка близкая ))

Usman,
если заранее знать, какое должно быть слово, то да, edit distance это то что нужно, но я заранее какое это слово не знаю. Думаю без словаря никак.

Сергей АрсеньевИли при разбитии на слова проверяем наличие букв двух алфавитов. Если такое есть, то приводим к русскому, если успешно проверяем по словарю русских слов.
Примерно по такому варианту я и пошел, только после стадии "приводим к русскому" нужна стадия приведения слова в нормальную форму, а потом уже лезть в словарь, либо нужно иметь словарь со всеми возможными словоформами, тоже вариант.