Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Программирование [игнор отключен] [закрыт для гостей] / База ошибок и опечаток при написании русских слов / 19 сообщений из 19, страница 1 из 1
09.12.2013, 13:55
    #38494045
DontAskMe
DontAskMe
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
Всем доброго дня!

Работаю над модулем, который ищет и исправляет ошибки в написании рускоязычных слов. Для корректной работы модуля его нужно обучить на тестовых данных. Данные необходимы в формате:

- слово, написанное с ошибой
- корректное написание данного слова
- частота данной ошибки (опционально)

К сожалению, базу ошибок и опечаток в подобном формате мне найти не удалось. Если кто-нибудь может поделиться ссылкой на такую базу, буду премного благодарен.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.12.2013, 14:02
    #38494064
ПЕНСИОНЕРКА
ПЕНСИОНЕРКА
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
DontAskMe,

правильных слов --100т
сочетаний букв ----миллионы

стон
стол
стул

здесь опечатка или все норма
только человек угадает какое слово надо, по контексту
и то не всегда
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.12.2013, 15:21
    #38494199
DontAskMe
DontAskMe
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
ПЕНСИОНЕРКА,

Исправление ошибок, конечно, будет идти по контесту. Используется Language model + Error model. Однако нужно машину обучить, что скажем перепутать "а" с "о" более вероятно, чем перепутать "а" с "х". Для этого нужны примеры __реальных__ ошибок.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.12.2013, 15:27
    #38494208
IgorNG
IgorNG
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
Форум почитай - вагон ошибок найдешь :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.12.2013, 15:33
    #38494218
DontAskMe
DontAskMe
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
IgorNG,

Думаю, нужна статистика на несколько миллионов случаев. Желательно, в удобно-читаемом для машины виде.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.12.2013, 15:54
    #38494250
TJ001
TJ001
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
DontAskMe,

обычный словарь правильных слов найти легко
далее берешь и начинаешь тянуть, как уже сказали, с того же форума текст
все слова которые есть в словаре выкидываешь, т.е. они правильные
оставшиеся либо отсутствуют в словаре (что решается его расширением), либо с ошибкой
вот и получишь словарь статистики от разных людей, за разное время и огромное количество повторений ;)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.12.2013, 15:59
    #38494255
DontAskMe
DontAskMe
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
TJ001,

Здесь есть много проблем. Если слово написанно в контексте ошибочно, но в словаре присутствует ("в течении", вместо "в течение", например), мы его таким образом не поймаем. Если мы нашли слово с ошибкой - как узнать корректное его исправление? Проблемы по большому счету решаются, но способ трудоемкий. Наверняка есть где-то уже готовая база. Корпусов русского языка, например, полно.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.12.2013, 17:02
    #38494365
Basil A. Sidorov
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
"в течении" и "в течение" - две правильные формы.
Непонятно, почему вы считаете одну из них ошибкой.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.12.2013, 19:02
    #38494547
Usman
Usman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
DontAskMe,

http://habrahabr.ru/post/114997/
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.12.2013, 19:18
    #38494557
DontAskMe
DontAskMe
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
Basil A. Sidorov,

Потому, что в предложение
"в течении последнего времени" "в течении" написано с ошибкой. Я как раз и говорю о так называемых real-word errors - в результате совершения ошибки мы получаем словарное слово.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.12.2013, 19:38
    #38494578
miksoft
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
DontAskMeК сожалению, базу ошибок и опечаток в подобном формате мне найти не удалось.А словарь "правильных" слов у вас есть? Тогда ошибочные нагенерите сами. Типичные ошибки - набор соседней по клавиатуре буквы вместо нужной, перестановка двух букв местами, пропуск буквы, лишняя буква. Более редкие - отдельные буквы не в той раскладке, задваивание не той буквы. А еще в одном слове может быть более одной ошибки.
Правда, таких слов будут не миллионы, а многие миллиарды.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.12.2013, 19:39
    #38494583
miksoft
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
DontAskMeBasil A. Sidorov,

Потому, что в предложение
"в течении последнего времени" "в течении" написано с ошибкой. Я как раз и говорю о так называемых real-word errors - в результате совершения ошибки мы получаем словарное слово.А "в течении реки времени" будет правильно. Так что одним словарем тут не обойдешься...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.12.2013, 21:57
    #38494687
stuffhappens
stuffhappens
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
Usman,

Спасибо за ссылку, однако представленные там методы имеют ряд недостатков. В частности, я пытался использовать метрику Дамерау-Левешнтейна. Получается, например, следующее (на примере наименования улицы):
для слова "совецкая" вариант "сопецкая" подходит больше, чем "советская", что очевидно неправильно. Для исправления ситуации необходимо обучить алгоритм весам замены символов и немного обобщить алгоритм. Для этого мне нужна база.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.12.2013, 00:07
    #38494800
TJ001
TJ001
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
...

Чтоб дорога прямая
Привела их к рублю,
Я им руки ломаю,
Я им ноги рублю...

осталось только научить машину отличать слово "рублю" от слова "рублю"
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.12.2013, 00:15
    #38494804
Torre
Torre
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
Задача несложная, программизма не хватает. В Word такой же функционал работает, ну, какие проблемы, даже пример есть...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.12.2013, 01:03
    #38494825
DontAskMe
DontAskMe
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
Torre,

Кто говорит о сложности задачи? Я лишь прошу линк на базу ошибок/опечаток.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.12.2013, 01:06
    #38494827
DontAskMe
DontAskMe
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
Torre,

Вообще, по данной задаче ни одну PhD диссертацию защитили. А так, конечно, не сложная.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.12.2013, 01:50
    #38494842
Torre
Torre
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
DontAskMe Я лишь прошу линк на базу ошибок/опечаток.Зачем он тебе? Ошибок больше, чем морфем, мысли рационально. Проверяй введенные слова на соответствие морфемам, этого достаточно.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.12.2013, 01:51
    #38494843
Torre
Torre
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База ошибок и опечаток при написании русских слов
DontAskMeВообще, по данной задаче ни одну PhD диссертацию защитили. А так, конечно, не сложная.В этом мире совершенства нет, но в частном случае решение находиться.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Программирование [игнор отключен] [закрыт для гостей] / База ошибок и опечаток при написании русских слов / 19 сообщений из 19, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 454ms
Закрыть
start [/forum/topic.php?fid=16&tablet=1&tid=1341546]:
 0ms
get settings:
 7ms
get forum list:
 16ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 142ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 62ms
get tp. blocked users:
 1ms
others: 204ms
total:  454ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]