powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Программирование [игнор отключен] [закрыт для гостей] / NLP - Парсинг (Earley) предложений с большим количеством ошибок
6 сообщений из 6, страница 1 из 1
NLP - Парсинг (Earley) предложений с большим количеством ошибок
    #37952986
DontAskMe
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Задача заключается в том, что нужно распарсить предложение, которое содержит кучу ошибок и сокращений + ошибки в слитно-раздельном написании (представте себе лекции студента).
Есть готовая реализация парсера и грамматика. На предложениях, которые написаны без ошибок, все отлично отрабатывает.
А вот как бороться с ошибками не совсем понятно. Я так понимаю, есть стандартный подход к исправлению ошибок:
error model (скажем, расстояние Дамерау-Левенштейна) + language model (скажем, n-gram'ы с каким-нибудь backoff-ом). В моем случае language model построить сложно, а где взять готовую тоже не ясно в силу специфики предметной области текстов.

Вопрос: есть ли какие-нибудь алгоритмы, позволяющие исправлять ошибки по ходу парсинга?
Какие алгоритмы эффективно применять к данной задаче?
...
Рейтинг: 0 / 0
NLP - Парсинг (Earley) предложений с большим количеством ошибок
    #37953001
Khod
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DontAskMe,

Составить словарь.
...
Рейтинг: 0 / 0
NLP - Парсинг (Earley) предложений с большим количеством ошибок
    #37953108
DontAskMe
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Khod,

Словарь всех корректных слов есть. Что делать дальше?
...
Рейтинг: 0 / 0
NLP - Парсинг (Earley) предложений с большим количеством ошибок
    #37953225
tepka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
...
Рейтинг: 0 / 0
NLP - Парсинг (Earley) предложений с большим количеством ошибок
    #37953242
tepka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Вы случайно омонимию своим парсером не снимаете?
...
Рейтинг: 0 / 0
NLP - Парсинг (Earley) предложений с большим количеством ошибок
    #37953820
DontAskMe
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
tepka,

Деомонимизацией не занимаюсь. За статью спасибо. Поизучаю. Если есть еще какие-нибудь интересные материалы на эту тему, поделитесь, пожалуйста, буду благодарен.
...
Рейтинг: 0 / 0
6 сообщений из 6, страница 1 из 1
Форумы / Программирование [игнор отключен] [закрыт для гостей] / NLP - Парсинг (Earley) предложений с большим количеством ошибок
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]