пролетевшийVetal,
Можно попробовать примитивный Баесовский анализ:
- для начала вручную отмечать посты с матом и без, для набора обучающих данных. Ну или найти готовое, например насобирать из интернета матерных текстов и нейтральных.
- для обеих последовательностей рассчитать вероятность по парам или тройкам слов, например "еп твою мать" добавит по единичке к "eп твою" и "твою мать" .
- каждый пост разбивается на пары или тройки слов, и по ним через формулу баеса считается вероятность мат/не мат. Что больше, то и будет признаком.
- Для упрощения, вероятность считается просто как произведение вероятностей для всех пар ( еще точнее, сумма логарифмов во избежание слишком малых чисел ). чтобы не получать нулевую вероятность на незнакомых словах, используется лапласовское дополнение.
Даже на несколко сотен обучающих предложений можно получить 70 % точности, чем больше база тем лучше будет работать.
Если с английским нормально, можно погуглить на Naive Bayes Sentiment Analyses на предмет кода.
Или послушать лекции отсюда
С задачей ТС и таким решением надо бы осторожнее, имхо. Классификатор поможет отделить потенциально негативные записи от позитивных и нейтральных, но конкретно мат он выделить не сможет. Для улучшения результата придётся выделять каждое матерное предложение вручную. Но и то будет очень много шума - характерных для негативных постов слов. Например: "Не очень умная статья, б**ть" и "е**я статья". "Статья" - попадёт в фильтр, так как будет часто повторяться во всех негативных постах. А sentiment analyses - вообще тема очень сложная. Чтобы уменьшить количество шума нужно дополнительно к негативному классификатору добавить позитивный, тогда слово "статья" - выпадет.
Думаю, что тут поможет подобранный вручную словарь из пары десятков матерных слов (думаю каждый знает хотя бы 10))) ). Даже учитывая всю мощь русского языка, вырезание по корню слов полученного словаря - отсечёт очень многие варианты. Ну и попробовать стемминг слов, это лишним не будет. У Lucene есть стеммеры для многих языков, в том числе для русского. (см. RussianStemmer)
А если всё-таки захочется писать простой классификатор-определятор - лично мне больше понравился delta tf-idf + n-граммы + стемминг слов. Но, опять же, не думаю, что он с матом хорошо совладает... хороший вопросец, кстати...
