Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Программирование [игнор отключен] [закрыт для гостей] / NLP - Парсинг (Earley) предложений с большим количеством ошибок / 6 сообщений из 6, страница 1 из 1
11.09.2012, 16:42
    #37952986
DontAskMe
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NLP - Парсинг (Earley) предложений с большим количеством ошибок
Задача заключается в том, что нужно распарсить предложение, которое содержит кучу ошибок и сокращений + ошибки в слитно-раздельном написании (представте себе лекции студента).
Есть готовая реализация парсера и грамматика. На предложениях, которые написаны без ошибок, все отлично отрабатывает.
А вот как бороться с ошибками не совсем понятно. Я так понимаю, есть стандартный подход к исправлению ошибок:
error model (скажем, расстояние Дамерау-Левенштейна) + language model (скажем, n-gram'ы с каким-нибудь backoff-ом). В моем случае language model построить сложно, а где взять готовую тоже не ясно в силу специфики предметной области текстов.

Вопрос: есть ли какие-нибудь алгоритмы, позволяющие исправлять ошибки по ходу парсинга?
Какие алгоритмы эффективно применять к данной задаче?
...
Рейтинг: 0 / 0
11.09.2012, 16:45
    #37953001
Khod
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NLP - Парсинг (Earley) предложений с большим количеством ошибок
DontAskMe,

Составить словарь.
...
Рейтинг: 0 / 0
11.09.2012, 17:29
    #37953108
DontAskMe
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NLP - Парсинг (Earley) предложений с большим количеством ошибок
Khod,

Словарь всех корректных слов есть. Что делать дальше?
...
Рейтинг: 0 / 0
11.09.2012, 18:19
    #37953225
tepka
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NLP - Парсинг (Earley) предложений с большим количеством ошибок
...
Рейтинг: 0 / 0
11.09.2012, 18:28
    #37953242
tepka
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NLP - Парсинг (Earley) предложений с большим количеством ошибок
Вы случайно омонимию своим парсером не снимаете?
...
Рейтинг: 0 / 0
12.09.2012, 09:56
    #37953820
DontAskMe
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NLP - Парсинг (Earley) предложений с большим количеством ошибок
tepka,

Деомонимизацией не занимаюсь. За статью спасибо. Поизучаю. Если есть еще какие-нибудь интересные материалы на эту тему, поделитесь, пожалуйста, буду благодарен.
...
Рейтинг: 0 / 0
Форумы / Программирование [игнор отключен] [закрыт для гостей] / NLP - Парсинг (Earley) предложений с большим количеством ошибок / 6 сообщений из 6, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]