ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Программирование [игнор отключен] [закрыт для гостей] / База ошибок и опечаток при написании русских слов
19 сообщений из 19, страница 1 из 1
База ошибок и опечаток при написании русских слов
    #38494045
DontAskMe
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DontAskMe
Гость
Всем доброго дня!

Работаю над модулем, который ищет и исправляет ошибки в написании рускоязычных слов. Для корректной работы модуля его нужно обучить на тестовых данных. Данные необходимы в формате:

- слово, написанное с ошибой
- корректное написание данного слова
- частота данной ошибки (опционально)

К сожалению, базу ошибок и опечаток в подобном формате мне найти не удалось. Если кто-нибудь может поделиться ссылкой на такую базу, буду премного благодарен.
...
Рейтинг: 0 / 0
09.12.2013, 13:55
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494064
Фотография ПЕНСИОНЕРКА
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ПЕНСИОНЕРКА
Участник
DontAskMe,

правильных слов --100т
сочетаний букв ----миллионы

стон
стол
стул

здесь опечатка или все норма
только человек угадает какое слово надо, по контексту
и то не всегда
...
Рейтинг: 0 / 0
09.12.2013, 14:02
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494199
DontAskMe
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DontAskMe
Гость
ПЕНСИОНЕРКА,

Исправление ошибок, конечно, будет идти по контесту. Используется Language model + Error model. Однако нужно машину обучить, что скажем перепутать "а" с "о" более вероятно, чем перепутать "а" с "х". Для этого нужны примеры __реальных__ ошибок.
...
Рейтинг: 0 / 0
09.12.2013, 15:21
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494208
IgorNG
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IgorNG
Участник
Форум почитай - вагон ошибок найдешь :)
...
Рейтинг: 0 / 0
09.12.2013, 15:27
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494218
DontAskMe
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DontAskMe
Гость
IgorNG,

Думаю, нужна статистика на несколько миллионов случаев. Желательно, в удобно-читаемом для машины виде.
...
Рейтинг: 0 / 0
09.12.2013, 15:33
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494250
TJ001
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
TJ001
Участник
DontAskMe,

обычный словарь правильных слов найти легко
далее берешь и начинаешь тянуть, как уже сказали, с того же форума текст
все слова которые есть в словаре выкидываешь, т.е. они правильные
оставшиеся либо отсутствуют в словаре (что решается его расширением), либо с ошибкой
вот и получишь словарь статистики от разных людей, за разное время и огромное количество повторений ;)
...
Рейтинг: 0 / 0
09.12.2013, 15:54
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494255
DontAskMe
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DontAskMe
Гость
TJ001,

Здесь есть много проблем. Если слово написанно в контексте ошибочно, но в словаре присутствует ("в течении", вместо "в течение", например), мы его таким образом не поймаем. Если мы нашли слово с ошибкой - как узнать корректное его исправление? Проблемы по большому счету решаются, но способ трудоемкий. Наверняка есть где-то уже готовая база. Корпусов русского языка, например, полно.
...
Рейтинг: 0 / 0
09.12.2013, 15:59
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494365
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
"в течении" и "в течение" - две правильные формы.
Непонятно, почему вы считаете одну из них ошибкой.
...
Рейтинг: 0 / 0
09.12.2013, 17:02
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494547
Фотография Usman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Usman
Участник
DontAskMe,

http://habrahabr.ru/post/114997/
...
Рейтинг: 0 / 0
09.12.2013, 19:02
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494557
DontAskMe
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DontAskMe
Гость
Basil A. Sidorov,

Потому, что в предложение
"в течении последнего времени" "в течении" написано с ошибкой. Я как раз и говорю о так называемых real-word errors - в результате совершения ошибки мы получаем словарное слово.
...
Рейтинг: 0 / 0
09.12.2013, 19:18
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494578
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
DontAskMeК сожалению, базу ошибок и опечаток в подобном формате мне найти не удалось.А словарь "правильных" слов у вас есть? Тогда ошибочные нагенерите сами. Типичные ошибки - набор соседней по клавиатуре буквы вместо нужной, перестановка двух букв местами, пропуск буквы, лишняя буква. Более редкие - отдельные буквы не в той раскладке, задваивание не той буквы. А еще в одном слове может быть более одной ошибки.
Правда, таких слов будут не миллионы, а многие миллиарды.
...
Рейтинг: 0 / 0
09.12.2013, 19:38
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494583
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
DontAskMeBasil A. Sidorov,

Потому, что в предложение
"в течении последнего времени" "в течении" написано с ошибкой. Я как раз и говорю о так называемых real-word errors - в результате совершения ошибки мы получаем словарное слово.А "в течении реки времени" будет правильно. Так что одним словарем тут не обойдешься...
...
Рейтинг: 0 / 0
09.12.2013, 19:39
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494687
stuffhappens
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
stuffhappens
Гость
Usman,

Спасибо за ссылку, однако представленные там методы имеют ряд недостатков. В частности, я пытался использовать метрику Дамерау-Левешнтейна. Получается, например, следующее (на примере наименования улицы):
для слова "совецкая" вариант "сопецкая" подходит больше, чем "советская", что очевидно неправильно. Для исправления ситуации необходимо обучить алгоритм весам замены символов и немного обобщить алгоритм. Для этого мне нужна база.
...
Рейтинг: 0 / 0
09.12.2013, 21:57
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494800
TJ001
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
TJ001
Участник
...

Чтоб дорога прямая
Привела их к рублю,
Я им руки ломаю,
Я им ноги рублю...

осталось только научить машину отличать слово "рублю" от слова "рублю"
...
Рейтинг: 0 / 0
10.12.2013, 00:07
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494804
Фотография Torre
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Torre
Участник
Задача несложная, программизма не хватает. В Word такой же функционал работает, ну, какие проблемы, даже пример есть...
...
Рейтинг: 0 / 0
10.12.2013, 00:15
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494825
DontAskMe
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DontAskMe
Гость
Torre,

Кто говорит о сложности задачи? Я лишь прошу линк на базу ошибок/опечаток.
...
Рейтинг: 0 / 0
10.12.2013, 01:03
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494827
DontAskMe
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DontAskMe
Гость
Torre,

Вообще, по данной задаче ни одну PhD диссертацию защитили. А так, конечно, не сложная.
...
Рейтинг: 0 / 0
10.12.2013, 01:06
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494842
Фотография Torre
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Torre
Участник
DontAskMe Я лишь прошу линк на базу ошибок/опечаток.Зачем он тебе? Ошибок больше, чем морфем, мысли рационально. Проверяй введенные слова на соответствие морфемам, этого достаточно.
...
Рейтинг: 0 / 0
10.12.2013, 01:50
| Ответить | Цитировать | Написать  
База ошибок и опечаток при написании русских слов
    #38494843
Фотография Torre
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Torre
Участник
DontAskMeВообще, по данной задаче ни одну PhD диссертацию защитили. А так, конечно, не сложная.В этом мире совершенства нет, но в частном случае решение находиться.
...
Рейтинг: 0 / 0
10.12.2013, 01:51
| Ответить | Цитировать | Написать  
19 сообщений из 19, страница 1 из 1
Форумы / Программирование [игнор отключен] [закрыт для гостей] / База ошибок и опечаток при написании русских слов
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=16&msg=38494800&tid=1341546]:
 0ms
get settings:
 9ms
get forum list:
 14ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 196ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 63ms
get tp. blocked users:
 2ms
others: 247ms
total:  548ms
созд. / загр.: 548ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]