Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Определение настроения текста. / 20 сообщений из 20, страница 1 из 1
26.07.2011, 11:42
    #37367054
dmitriyche
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
Доброый день!

Стала задача определения настроения текста.
На входе имею сам текст и язык этого текста.
Подскажите пожалуйста куда смотреть по поводу самообучающихся систем, реализующих данную задачу?

Спасибо.
...
Рейтинг: 0 / 0
26.07.2011, 11:44
    #37367060
dmitriyche
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
Дополнение

На выходе желательно получать: позитивно, нейтрально или негативно.
...
Рейтинг: 0 / 0
26.07.2011, 12:00
    #37367090
DENIS_CHEL
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
Хм... Огласите критерии разбивки на группы...
...
Рейтинг: 0 / 0
26.07.2011, 12:37
    #37367156
ALKIR
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
просто размышления вслух...

1. написать анализатор соответствия текста словарю, например, на выходе такой анализатор должен получить % соответствия текста к словарю (оценок может быть гораздо больше, зависит от вашей фантазии и знаний в области статистики)

2. написать генератор словарей, согласно оценке позитивно/нейтрально/негативно - это может быть 2 (позитивный/негативный) или 3 словаря (или даже 4 - по одному для каждого типа и один вне типовой), по желанию ... Словари можно будет генерировать по текстам с соответствующим содержанием, но для этого будет нужен эксперт, который отнесет тот или иной текст к соответствующему словарю (в процессе обучения)... Вероятно, что часть лексем попадет сразу в несколько словарей... по желанию можно оптимизировать словари оставив только (уникальные) не пересекающиеся лексемы (процесс обучения здесь - это самый творческий процесс)...

- в качестве лексем (необходим эксперимент) могут быть выбраны не только слова, но и словосочетания (да и вообще любой набор символов специфической длины)...

3. Описать (вероятностную) систему оценки для текста. Например на выходе хочется получить: позитивно, нейтрально или негативно, тогда как анализатор соответствия текста словарю даст нам например 3% соответствия позитивному словарю, 70 % нейтральному, 1% негативному (остальное не соответствует...) - из этого нужно как-то :) сделать вывод о том, что текст например, позитивный...

можно фантазировать дальше, так как плотность распределения критериев по тексту будет неравномерной...
...
Рейтинг: 0 / 0
26.07.2011, 12:53
    #37367192
mad_nazgul
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
dmitriyche,

Давно читал детскую книжку, где как раз рассматривалась данная задача.
Начинали с ранжирования слов, закончили ранжированием слогов и букв.
Потом приводили пример, что таком образом можно оценить слова которые не известные системе.
...
Рейтинг: 0 / 0
26.07.2011, 13:00
    #37367216
refreg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
mad_nazgul,

ага, была такая книжка.
Думаю это оттуда, по крайней мере идея...
...
Рейтинг: 0 / 0
26.07.2011, 19:24
    #37368043
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
Можно поробовать применить Байесовские фильтры текста по аналогии
со спам-фильтрацией. Другое дело что совсем уж самообучающиеся
системы построить на таком критерии трудно. Всё равно нужно
участие человека. И постановка немного расплывчата. Если текст
содержит два обзаца, первый из который ну уж очень позитивный,
а второй открыто-негативный (почему-бы нет? - Диалог двух
персонажей или просто литературный приём, на резкую смену
настроения) то как выносить общую оценку - непонятно.
...
Рейтинг: 0 / 0
26.07.2011, 19:31
    #37368048
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
dmitriycheДополнение

На выходе желательно получать: позитивно, нейтрально или негативно.Позитивно или негативно для кого?
Возьмите практически любую новость с новостного сайта - почти наверняка она окажется для кого-то позитивной, для кого-то - негативной.
...
Рейтинг: 0 / 0
27.07.2011, 08:19
    #37368337
YarmakIN
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
Это про смысл - кому то хорошо, кому то - нет. А ТС про настроение толкует. Эта задача же относится к классу DataMining. Вот его методы и используйте.
...
Рейтинг: 0 / 0
27.07.2011, 08:23
    #37368338
YarmakIN
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
...
Рейтинг: 0 / 0
27.07.2011, 08:25
    #37368339
DENIS_CHEL
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
YarmakINЭто про смысл - кому то хорошо, кому то - нет. А ТС про настроение толкует. Эта задача же относится к классу DataMining. Вот его методы и используйте.

Хм...

Иногда грустная музыка вызывает улыбку и поднимает настроение, но обычно наводит тоску, депрессию...

ИМХО с текстам бывает так же...

Настроение - это нечеткая логика, потому я и поинтересовался у ТС каковы критерии...
...
Рейтинг: 0 / 0
27.07.2011, 15:34
    #37369090
Ренат
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
dmitriycheДоброый день!

Стала задача определения настроения текста.
На входе имею сам текст и язык этого текста.
Подскажите пожалуйста куда смотреть по поводу самообучающихся систем, реализующих данную задачу?

Спасибо.
СПлавить текст озучке в гугл переводчике и по интонации озвучки понять какое настроение)

http://sport.iisci.ru/negative.php
Попытался реализоовать самый простой саморазвивающийся анализатор текста.
Правда из за неравномерности начальных данных гдето меньше 75% это хороший текст, более 75% негативный)
...
Рейтинг: 0 / 0
01.08.2011, 14:06
    #37375217
dmitriyche
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
Нашёл вот такой вариант http://www.uclassify.com/browse/prfekt/Mood
...
Рейтинг: 0 / 0
01.08.2011, 14:39
    #37375274
Ренат
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
dmitriyche,

Вбил Ромео и Жульету
Результат:
1. upset (99.9 %)
2. happy (0.1 %)
...
Рейтинг: 0 / 0
01.08.2011, 15:00
    #37375321
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
Нет повести печальнее на свете ...
...
Рейтинг: 0 / 0
01.08.2011, 15:17
    #37375364
ZyK_BotaN
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
dmitriycheДополнение

На выходе желательно получать: позитивно, нейтрально или негативно.

боюсь будет трудно научить, что-бы сарказм и иронию понимал.

а то некоторых людей, до сих пор этому не научили. да, да, я про хабр.
...
Рейтинг: 0 / 0
01.08.2011, 18:24
    #37375781
adv
adv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
Может не в тему, но вот более сложный анализ.
...
Рейтинг: 0 / 0
08.08.2011, 15:45
    #37385428
dmitriyche
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
Найден ещё один вариант - http://alias-i.com/lingpipe/demos/tutorial/sentiment/read-me.html
...
Рейтинг: 0 / 0
11.08.2011, 17:35
    #37391476
dmitriyche
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
...
Рейтинг: 0 / 0
12.08.2011, 12:27
    #37392427
Uzurpatre
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Определение настроения текста.
dmitriycheДополнение

На выходе желательно получать: позитивно, нейтрально или негативно.копай в сторону частотности использования букв и слогов.

есть буквы и слоги позитивные есть негативные. восприятие в первую очередь от них идёт.
...
Рейтинг: 0 / 0
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Определение настроения текста. / 20 сообщений из 20, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]