Добрый день, коллеги

Сегодня всё-таки поборол лень и начал использовать mahout, но результат провален. Хочу попробовать классификатор SGD на текстовых данных.

Вводные такие:
- Данные для обучения - 13 тысяч небольших текстовых документов. 2 класса - 8000 на 5000.

- Сначала я взял пример из книги Mahout in action. Скопипастил практически полностью оттуда, но модель ошибается даже на элементарных текстах, в которых точно содержатся ключевые слова, влияющие на результат классификации. При сохранении модели и последующей загрузке - результат любой классификации - всегда 1, то есть класс 1.

- Скопипастил тест TestNewsGroups из mahout-examples и перевёл их на мои текстовые данные, результат тот же.

- на этой же модели я обучаю: delta tf-idf, naive bayes, svm. Первые 2 вообще написаны мной, с кластеризацией на hadoop'e, svm - это liblinear. Все трое работают прекрасно. То есть вроде бы как с вопросом знаком.

Если у кого-нибудь завалялся рабочий пример мультиклассового классификатора SGD на mahout'e или есть любые комментарии на эту тему - просьба помочь. Возможно SGD вообще для классификации текстов не очень то и подходит? Пока увлёкся SVM, но пожалуй надо больше почитать о SGD.

Спасибо

P.S. Ну и API у mahout'a.... пейсатели они, блин.

Да, кстати, SGD мне нужен для классификации по 4+ классам. Поэтому delta tf-idf - пролетает, остаются svm и naive bayes, но мне нужен третий алгоритм, для точности.

Если у вас есть мысли на тему, ссылки на java код - буду благодарен. Интересуют любые приличные реализации классификаторов на java.

Уф, что ж это я спамю и спамю. Ночь.

В общем тут - "- на этой же модели я обучаю: delta tf-idf, naive bayes, svm.", под моделью я имел в виду тестовые данные.

Leonidv,

Вот точно, про Weka то я и забыл. Игрался с его GUI как-то, но у него же и java реализация доступна. Спасибо.

Дело в том, что mahout мне понадобится в любом случае. Объём данных - 20 млн. документов на данный момент. Есть план увеличить в 4 раза. Уже сейчас над документами работает несколько алгоритмов, большая часть из них на хадупе. Соответственно чем меньше завязок у меня на Weka, liblinear и.т.п некластеризуемые решения - тем лучше. Я решил попробовать mahout в области, которая мной изучена уже вдоль и поперёк, но обломался. Сейчас я хочу понять - в чём проблема. Цель - попробовать mahout и если всё будет хорошо, заиспользовать его возможности для разных задач. Если не понравится, то придётся мутить по-другому.

Leonidv,

В том то и дело, я пообщался с людьми, которые пробовали на вкус mahout - говорят, что алгоритмы там переработаны во имя производительности. Но скорее всего и правда дело не в mahout, а во мне.

Другой вопрос, что вообще непонятно как этим api воспользоваться так, чтобы оно научилось на моих данных. То есть оно вроде как работает, вроде как учится, но результат сильно похож на плохой рандом. Я мог бы попробовать другие алгоритмы, которых там вагон и маленькая тележка. Но я бы хотел добиться работоспособности SGD. Тратить время на mahout'овского байеса я бы не хотел, так как он у меня уже есть. Деревья - пока не хочу использовать, а кластеризация мне не нужна. Коллаборативная фильтрация пригодится, но пока не до этого.

Leonidv,

В общем в этом и есть мои вопросы - насколько хорош SGD для текстовых данных и есть ли работоспособные примеры кода на mahout?

Впрочем я попробую SGD от Weka, чтобы убедиться в качестве этого алгоритма для моих данных. Но mahout всё-равно хочется завести... при всём недовольстве