sobolev,

Я бы попробовал... :) Такие вещи "на глазок" нельзя оценивать. Колебания, которые на глаз кажутся стохастическими, могут на самом деле содержать существенную часть детерминированных составляющих. Наверняка, имеются детерминированные компоненты с периодичностью в неделю (многие люди делают "генеральную" закупку продуктов в выходные на всю неделю - кстати, эта компонента на Вашем графике очень отчетливо заметна даже "невооруженным глазом"). Наверняка имеются детерминированные компоненты с периодом в месяц (корреляция с покупательной способностью, связанной с днями получки и аванса у основной массы покупателей). Наверняка имеется корреляция с праздниками, и не только с Новым Годом. Я такими вещами когда-то занимался, и получал результаты, выделяя детерминированные компоненты, отделяя их от стохостических. Рекуррентные алгоритмы, которые я использовал, выявляли в первую очередь детерминированные компоненты с наибольшим весом, затем с наименьшим и "на закуску" оставался чисто стохастический остаток.

Самое главное не сказал. :)
В предшествующем посте я сделал несколько предположений (проверять которые должен уже математический рассчет). Однако, могут иметь место детерминированные компоненты, о причинах которых мы даже не догадываемся. Они могут быть связаны, например, со спецификой работы транспорта в данном районе (факторами, влияющими на образование автомобильных пробок, например), с сезонными перепадами настроения у людей, наконец с фазами луны (кроме шуток). Те алгоритмы, которые я использовал, не делали никаких предположений. Они просто выявляли детерминированные компоненты.

sobolev,

Попробуйте сложить хотя бы 3 синусоиды с некратными частотами. Скажем, с периодом T, пи*T и sqrt(3)*T. Уверяю Вас, вы увидите "бесформенную" результирующую кривую, которая на первый взгляд пляшет вверх и вниз совершенно непредсказуемо. Однако, это только на первый взгляд. Если синусид будет не 3, а десяток, то "на глазок" делать какие-то предположения практически невозможно. Тут работает только математика.

sobolev,

Не в обиду... Я уже понял, что в вопросе Вы разбираетесь. Но я тут корячился в Excele и готовил иллюстрацию к сказанному. Просто жалко будет, если мои усилия пропадут даром. Поэтому, извините, решил запостить результат сложения трех синусоид. Может быть, не Вам, так кому-то другому открою глаза. В этой кривой нет ни одного миллиграмма стохастического (случайного):

sobolev,

Кстати, автокорреляционная функция иногда играет злую шутку с теми, кто пытается выявлять детерминированные периодичности именно по ней. Представьте себе автокорреляционную функцию вот этих трех синусоид. Это почти сплошной ноль с очень резкими пичками на конкретных фиксированных частотах. Если шаг выбран не достаточно малый, на автокорреляционной функции можно "проскочить" мимо такого пика, оставив его между точками дискретизации. Когда я занимался выявлением детерминированных периодичностей, сам столкнулся с этой проблемой численных методов. И пришел к выводу, что использовать ее для реальных численных расчетов нельзя. Она хорошо работает только в теории. Я использовал другие, более надежные методы. Грубо говоря, если вы самую малость "промажете" точками дискретизации мимо трех конкретных частот этих синусоид, то расчитанная автокорреляционная функция будет существенно некорректна.

sobolevСсылкой на использованные методы поделитесь.Могу просто рассказать. Увлекся я этой задачей еще до первого курса ВУЗа. У меня с товарищем была идея-фикс найти способ выявлять скрытые закономерности (если они есть) в тиражах спортлото. Постановка задачи звучит несколько забавно для серьезных людей, тем не менее, тогда я был очень увлечен этой задачей, штудировал книжки по терверу и матстатистике, уже учась в ВУЗе терроризировал преподавателей с кафедры математики и даже заразил этой задачей одного из них. И через эту задачу я, кстати, стал программистом, потому что численные методы требовали использования компьютера. Пусть это Вас не пугает. Самое главное, задачу мы в конечном итоге решили, и методы решения впоследствии еще несколько лет совершенствовали. Конкретно в сфере предсказывания выигрышей спортлото я играл в него на протяжении 2-х лет и добился беспроигрошности (выигрыш даже превысил проигрыш). Вообще же матожидание выигрыша равно 1/2 от потраченной на билеты суммы, если играть в спортлото безо всякой системы. Позже игра в спортлото мне надоела, и я ее бросил, но эти методы использовал много раз в разных сферах уже с более серьезными целями. В частности, я загнал в свою несколько модифицированную программу статистику брака одного из заводов, и она тут же разложила по полочкам, какие детерминированные компоненты и с каким весом влияют на брак. Точнее, она вычислила детерминированные периодические компоненты, а их мощность определила их вес. Позже написал программу для лабораторных исследований для программно-аппаратного комплекса, который на полном автомате в онлайн-режиме снимал показания с большого числа датчиков в процессе лабораторных испытаний. Заказчик захотел, чтобы он имел возможность ввести несколько разных формул аналитических кривых, наличие которых подозревается в динамике показаний различных датчиков, а моя программа сама бы выбирала вид кривой и коэффициенты в этих формулах. Чаще всего это были следующие виды кривых - линейные, синусоиды, экспоненты и степенные ряды. Однако, однажды потребовалось аппроксимировать график затухающей синусоидой и апериодической синусоидой (с изменяющейся частотой). Так что программу пришлось усовершенствовать, чтобы огна могла работать с любыми аналитическими зависимостями. Правда, кроме собственно формулы аналитической кривой она требовала еще ввести и формулы частных производных по каждому из искомых параметров, и ответственность за корректность вычисления всех формул частных производных лежала на экспериментаторе. Если хотя бы в одной из них содержалась малейшая ошибка, вычисления тут же "уходили вразнос". Позже эту же методику я применял для прогнозирования спроса, и каждый раз ее результаты всех приводили в восторг. Вот тебе и "спортлото"... :)

Вкратце суть метода:

1. Строится кривая, в которой подозревается наличие детерминированных и стохастических компонент.

2. Выбираются аналитические кривые, наличие которых подозревается в детерминированных компонентах - экспоненты, синусоиды или что-нибудь еще.

3. Кривая по-очереди аппроксимируется каждой из кривой-кандидатов. При этом применяется метод наименьших квадратов + метод градиентного спуска. Побеждает та кривая, среднеквадратическая ошибка по которой наименьшая.

4. Тип кривой фиксируется (например это - "синусоида"), а также вычисленные коэффициенты (постоянная составляющая синусоиды, амплитута, частота, фаза). После чего полученная апроксимирующая аналитическая кривая вычитается из исходной кривой. Остаток от вычитания снова подается на шаг 1.

Если в сигнале присутствуют только детерминированные компоненты, то этот метод позволял их выявить моментально. То есть, график результата сложения трех синусоид с некратными частотами, поданный на вход этого алгоритма, в итоге позволял получить параметры именно трехх синусоид, из которых этот график сложен, после чего оставался остаток слабо отличимый от нуля. При этом синусоиды вычислялись в порядке убывания их мощности.

Если в сигнале присутствовали и детерминированные, и стохастические компоненты, то сначала определялись детерминированные - с быстро убывающим по мощности рядом, затем в сходимости ряда наступал перелом. Стохастические компоненты оставляют его сходящимся, но сходится он медленно.

Прогноз строился сложением полученных аналитических кривых и продлением их по оси времени "в будущее". Прогноз получался на удивление точным. Как оказалось, во многих процессах, которые человек привык воспринимать как преимущественно случайные, присутствует очень существенная доля детерминированных компонентов. И даже в спортлото. :)

sobolevsobolevВ выше привели гармонический ряд. Если об этом знаешь, то автокоррелляцию и применять не зачем. Для этого всякие там дисперсионные анализы есть.Извиняюсь, спектральный анализ.Представте себе сектр такого сигнала. По всем частотам - сплошной ноль, на конкретных частотах резкий пичок (без предупреждения), потом снова глухой ноль. Какова вероятность попасть точно в пичок при любой дискретизации? :)

sobolevGarya, я не специалист по спектральному анализу, но насколько его себе представляю ваш сценарий как раз оно и есть.Нет. Спектральная функция получается с помощью преобразования Лапласа. При использовании метода вычитания аппроксимирующих кривых выбор шага квантования на результат не влияет. Потому что используется метод градиентного спуска с переменным автоматически регулируемым шагом. Частота каждой из трех синусоид в приведенном выше примере определяется довольно точно (а также фаза и амплитуда). При каждом переходе через экстремум целевой функции шаг уменьшается в 3 раза по каждой из частных производных, поэтому точность получается на уровне минимально возможных вычислительных погрешностей, либо определяется предельным количеством итераций или временем рассчета. Когда связываешься с преобразованием Лапласа или с автокорреляционной функцией, то с гребенчатыми спектрами возникают проблемы даже при уменьшении шага квантования "донельзя". Расчет при этом выполняется неимоверно долго, но полученный результат всё равно никуда не годится. Проверено на практике. Попробуйте просто сложить три синусоиды с некратными частотами, а затем определите из результирующей кривой частоту, фазу, амплитуду и постоянную составляющую каждой из них, заведомо не зная, сколько их в результирующем сигнале.

Проблема в том, те ситуации и сигналы, которые мы тут рассматриваем, имеют именно гребенчатый спектр. Каждый пичок на спектральной характеристике имеет нулевую протяженность. И попасть в него нужно просто снайперски.