Некоторые коллеги, в том числе не безвестный г-н Шемякин, просили меня привести примеры практического применения Data Mining. Вот матриал.
Для тех у кого аллергия на рекламу, советую не читать или прикрывать цены ладошкой.
Тем более что материал в значительной степени рекламирует наших конкурентов – SAS.
http://www.microsoftproject.ru/articles.phtml?aid=36

2Birkhoff

Из этого высказывания "Разложить в дерево известные риски ничего не стоит" коллега, я могу сделать только вывод, что вы ни разу ни пытались внедрить средства DM, даже на уровне пилота. Decision Tree только кажется элементарным, а на практике превращается в сложный во внедрении комплекс. Я с интересом посмотрю как вы "легко" разложите в дерево риск лист, где 50-200 атрибутов и где часть атрибутов дробная величина. О необходимости критеризации и ее постановочной сложности вероятно помолчим.
Кластер конечно было не разглядеть?

2Константин Лисянский
Коллега, позвольте мне тоже отметить, что DM внедрить вы не пытались иначе фраза "В общем, не очень понятно, кому и для чего это нужно" звучит странно. У DM довольно четкая ниша.

Ранее у нас работал Андрей Малов (сейчас в ушел в Ford), инженер с кандидатской степенью по исследованию данных. К этой работе он тоже приложил руки, так что ваша критика мне кажется просто неинтересной, т.к. действительно скользкие места вы даже не отметили и не заметили. Потом Константин, после "не любит выборок маленьких размеров" мне не очень интересно это даже все обсуждать. Иногда стоит от книжек отрываться к практике. Выборка не должна быть меньше чем требует хи-квадрат, т.е. приличная статистика может уже быть с 30 фактов. Вопрос что в выборке.

А алгоритмы DM далеко не просты, а главное стандартны. К слову любителей экзотики в DM ждет печальная участь. Вчера был свидетелем как ученый совет завалил молодого человека, который решил изобрести свой метод кластеризации.

А SAS действительно пришлось столкнуться. Правда клиент решил, что MS это самая крупная софтверная компания и на этом тендер кончился. Что SAS заявляет, то и пишу.

PS. Единственно что интересно. В Oracle есть модуль DM, вроде называется Darvin. По описанию мне очень понравился. В целом аналогичен MS, т.е. дерево и кластер, но вроде сервиса больше. Интересно кто пробовал его в деле?

PSS. Интересно пробовал ли кто еще DM на практике?

PSS. Отмечу, внедрение кластерных моделей иногда позволяет убежать от distinct count кубов.

Тоже поддержим Лисянского. :)
На самом деле Лисянский у меня плотно ассоциируется с Микростратегией, как и Бикхоф с Oracle.
Если был резок sorry, тем более у меня странное дежавю.
Мне кажется Биркоф это МТС или Талгар. Как странно гундосить с партнерами и клиентами. Это о вреде ников. :)

backfire ты конечно прав в том, что корреляция падает при уменьшении выборки. Но это поверхностный взгляд без учета практики и теории. Дерево быстро жрет корреляцию расходясь ветвями, поэтому главное это уже критеризация, которая на 100% зависит от аналитика. Весь DM построен на "тренировке" моделей, поэтому по определению не может работать с такими выборками как OLAP. Выборка в 5000-20000 уже ульта презентативна и теории не может иметь отклонений более чем на 1% от генеральной последовательности. Слышали о primaries? Это оно и есть.
Вопрос опять же как выбрать из всего DWH это кусочек. Опять это к аналитику.

Мне жаль, что обсуждение закончилось так. Приведу не аргументы, а полезные замечания для тех кто решился заняться DM и c вашего разрешения покину форум, развлечение развлечением, но пора и работать.
1) Выборки для DM достаточны очень малые для достоверных предсказаний.
Подумайте сами, многие эксперименты в науке можно сделать всего несколько раз, это не значит, что нельзя из них вытащить достоверную зависимость.
Приведу пример проверки решения DM (один узел расщепления), который провел профессиональный математик.
53 факта.
"Был применена новая методика" – Цель достигнута (21 факт), Цель не достигнута (2 факта)
"Новая методика не применялась" - Цель достигнута (8 фактов), Цель не достигнута (22 факта)
Коэф. Корреляции = Ф = (A*D-B*C)/SQR((A+B)*(C+D)*(A+C)*(B+D))
Ф=0.64
ХиКвадрат=Ф^2*Nфактов=0.64*0.64*52=22,11
ХиКвадрат>6.6, следовательно p<1% (см. таблицу проверки гипотез ХиКвадрат)
Иными словами, вероятность того что на 53 факта было верно сделано расщепление в листы достоверно с вероятностью 99%. ХиКвадрат это стандартный метод в научной статистике, вы сможете получить ученую степень используя его в стат. проверке своих гипотез.
Я привел пример из своей практики, но из формул видно, что при не очень сильной корреляции Ф=0,64 для достоверности гипотезы в 99% будет достаточно даже 18 фактов. Теперь понятно почему MS AS накладывает на лист требование "всего 10 фактов"?
Так что Константин я без эмоций вам показываю, что объем выборок не играет решающей роли. Играет роль правильный их выбор, обратите на это внимание.
2) Господа, идите на идентификацию гипотез с малой достоверностью (тенденций).
Полная достоверность далеко не всегда цель, часто важнее быстро обнаруживать тенденции, которые пока еще не имеют много статистики.
Пример из 2х фактов.
Факт 1. Петров в условиях X вляпался в риск и мы получили убыток $3000.
Факт 2. Петров в условиях X снова вляпался в риск и мы получили убыток $4000.
С точки зрения ХиКвадрат вероятность что гипотеза "Петров+X=риск" достоверна примерно 65%, что с научной точки зрения недостаточно, однако с точки зрения менеджера ситуация выглядит иначе. Скорее все будет разумным подумать не попробовать ли Сидорова, когда снова появятся условия X.
Вот почему я снижаю обычно требования DM к границам выявления. Лучше менеджера научить по гистограммам оценивать правдоподобность гипотезы, нежели чем потерять тенденцию.

PS. Жаль, что Бикхов не поделился опытом использования Darvin'a.

Всем до новых встреч. :)