Всем привет.

У меня вопрос по поводу нахождения в больших массивах данных аномальных значений (которые возникли в результате опечаток, неверно сданных отчетов наборщику, или просто по некоторым реальным причинам). Например, если в каком-то киоске в какой-то день было продано сверхбольшое кол-во товара.
Необходимо выделить подобные значения для проведения дальнейшего анализа.

Если кто-нибудь занимался этим (имеется ввиду автоматизирование этого процесса), поделитесь, пожалуйста, опытом. Интересует, как и теоретическая база, так и программная реализация.

p.s. Я решил, написать в данном разделе, так как мне кажется тут большинство людей занимается именно автоматизацией анализа данных

авторпример который вы привели в нормальной системе просто не возможен ,видимо у вас присутствуют нарушения в процессе обработки данных и управления ими (почему к примеру продавцы умедрились продать количество товара больше чем на остатках, что дало сбой при продаже сверх количества)

Имелось ввиду несовсем это.

Бывают случаи, когда действительно продавцы продали большое кол-во товара в том или ином городе и т.д. Возможно это связано с дефицитом этого товара в этом городе (ну это пример из головы), какими-то коррупционными действиями (в случае сверхнизких продаж), или еще какими-то ненормальными явлениями в жизни.

Кстати просто "мусорные" данные также очень часто встречаются в "нормальных" системах, которые очень сложно выявить методами обычного сравнения. Как например выявить, что торговый представитель за день посетил 50 торговых точек, в то время как обычно он и его коллеги посещают не более 10-и на данной территории.

Или например, в каком то одном районе товар расходится сверх быстро. Что это - удачная реклама, или умелая политика местных супервайзеров (в таком случае у них есть чему поучиться) или это простая подгонка для получения бонусов.

Кроме того, очень часто в БД есть данные, которые просто никак нельзя проверить по бухгалтерии или еще по чему-то - те, которые отражаются субъективно.
А теперь представим, что связи центра с регионами весьма слабы.
Единственный способ раглядеть необычные случаи - анализ БД.

автор3. то же что и п.2, но анализ moving или running average
а что это?

авторВам нужно смотреть в сторону DATA MINING систем. Они работают поверх хранилищ данных, на данных хранилища. OLAP это только отчетность.

Да, поиск аномальных данных можно назвать частью Data mining, хотя там больше уклон в поиск зависимостей и закономерностей.

Я не знаю как AS 2000 можно заставить искать аномалии, прямых методов для этого там нет.

Посмотрим, что есть 2005.

Jurii Также у Cognos есть модуль класса data mining - 4Thought - при загрузке в него данных его самообучающаяся нейросетевая модель автоматически выделяет аномальные значения.

Спасибо за информацию. Не знаете, этот модуль имеет возможность подключения не только к Cognos (как COM-объект или типа того)?