Мы несколько лет проходили в университете динамические системы, дифф уравнения, стохастические процессы - и все это казалось каким-то адовым бредом.

А оказывается - дифф ур - если выкинуть всю заумь из учебников - это весьма простая и прикольная вещь - это штуки которые описывают процессы которые меняются маленькими шажками, например по времени, как курс акций. Например вот стохастический процесс. Формула одна строчка, пара линий чтобы создать на программе. А попробуй отличи что это не настоящий курс акций.







Сейчас пересматриваю университетскую программу, но уже с другой точки зрения.

Одна из задач - найти компактную аппроксимацию курса акций за 30 лет. Я не знаю как это точно сказать - базис функций, представить это как какую-то систему и т.п. Но - она должна учитывать что у курса акций бывают тренды, повторяющиеся сезонные моменты типа дивидендов или налогов, и т.п. В качестве меры ошибки - можно использовать максимум разницы за 30 лет между аппроксимацией и реальным курсом (максимум, не суму квадратов L2).

Т.е. получается какая-то сложная функция которую не представить ни полиномами, ни синусоидами по отдельности.

Эту аппроксимацию можно будет использовать во-первых чтобы компактно и просто представить скажем топ 100 акций sp500 за последние 30 лет. И в дальнейшем генерировать всевозможные случайные реализации с такими-же параметрами. Получится что-то типа автоэнкодера.

Что-то типа автоэнкодера - в смысле попытаться найти компактное представление, с хорошей точностью описывающее процесс.

Например - у компаний бывает квартальная отчетность, она добровольная, кто-то ее делает кто-то нет, даты тоже точно нет, плюс-минус десять дней туда сюда каждый квартал. И часто по результатам этих отчетов, после публикации - цены либо падают, либо вырастают, либо не меняются.

По идее - алгоритму надо будет скормить СП500 - и он должен каким-то боком определить что существует событие случающееся (не всегда) 4 раза в году, определить примерный диапазон дат которые бывают и т.п.

Или скажем компания репу выращивает, садит весной, копает летом, продает осенью - прибыль осенью, каждый осень рост акций - алгоритм должен как-то понять что у компании есть сезонность.

автор...Поэтому история курса незначительно определяет его будущее

Не согласен. Можно сравнить стабильный Макдональдс, либо быстро-растущий Нвидиа (уже быстро падающий, но год назад он был растущим). Сделать предсказание t+1 значения за последние лет 10 - посчитать ошибку - почти наверняка будет хорошее предсказание по макдональдсу, он даже в кризисы не проваливался. И хуже по Нвидиа. Т.е. по истории одной только волатильности можно сделать некие вывод о будущем компании.

Вобщем изучал материалы несколько дней, пока буду заниматься цепями Маркова и Монте-Карло, оказывается это популярная тема, очень много информации по ним. посмотрю что получается на простых экспериментах, и затем перейду к CNN для числовых рядов.

Нашел классный курс, если кому нужно https://lectures.quantecon.org/jl/

Автоэнкодер - я могу его собрать, но это пока действительно слишком сложно. Математику - боль менее осваиваюсь, я не говорил что плохо знал ее, просто в университете это была какая-то совершенно бессмысленная ерунда - ты собрал какую-то конструкцию, все сдал, и благополучно забыл и выкинул ее не понимая ни что это за конструкция ни какая от нее польза.

авторВ своих предсказаниях ты почему-то не учитывешь такую значимую переменную, как "административное воздействие на цену". Вот щас там презик ввёл пошлины Китаю, так весь юговосточноазиатский валютный рынок просел.

Учитываю. Я поклонник Торпа и Талеба. Предсказать их я не смогу, поэтому буду учитываю за счет допущения таких событий и потерь по ним и ограничения этих потерь.

авторСтартовый вопрос не ясен. Неясна связь дифуров с одномерной регрессией 1-го порядка (что на рисунке).

авторA stochastic differential equation (SDE) is a differential equation in which one or more of the terms is a stochastic process, resulting in a solution which is also a stochastic process. SDEs are used to model various phenomena such as unstable stock prices or physical systems subject to thermal fluctuations.

авторРискну предположить что автору нужна не аппроксимация а прогнозирование. Это другая задача ИМХО.

Это связанные задачи. Чтобы прогнозировать процесс - нужно понимать его природу. Например сделать декомпозицию - выявить тренды, периодичности, и случайную составляющую временного ряда.

Затем ты можешь использовать эту модель для разных задач, например чтобы сгенерировать всевозможные варианты и проверить какие риски - какие потери могут быть в наихудшем случае. Можешь использовать для поиска интересных закономерностей, похожих вариантов - когда у тебя компактное представление - гораздо проще найти похожие компании. И да, можешь еще использовать для прогноза.

Прогноз - лишь малая часть того что нужно. Как верно заметил товарищ выше - проблема которую не решает прогноз - это невозможно учесть редкие непредсказуемые события, они будут. И что хуже - эти события нелинейны, можно выиграть 9 раз из 10 и проиграв лишь раз все потерять. Поэтому прогноз тоже будет, но это не главное. Главное - создать простую модель того что происходит на рынке, чтобы была возможность прогнать симуляции, оценить риски, проверить модель на поведение в непредсказуемых ситуациях.

авторбез всяких намёков на собственно функционирование рынка в его бизнес-смысле.
Да, задача математическая, без бизнес смысла. Интересны только показатели которые можно измерить в цифрах и скормить модели. Никаких других входных данных не интересны.

авторСтартовый вопрос не ясен. Неясна связь дифуров с одномерной регрессией 1-го порядка (что на рисунке). Просто объявить, что возникли такие мысли? Ну, лучше поздно, чем никогда. Судя по всему такие мысли возникают не от хорошей зарплаты. Коли есть время, попробуй - чему-нить научишься.

Про диффуры я ответил в сообшении выше. Что такое одномерная регрессия 1 порядка? Линейная регрессия? Если так - то как ты собираешься аппроксимировать график истории 20 лет цен акций микрософта линейной регрессией, особенно периодические и сезонные события?

Есть еще один момент - прогноз, его хоть и можно измерить ошибку, это как-то не так наглядно, да у тебя есть ошибка - число, но оно не дает ощущения что там происходит.

Совсем другое дело когда ты пытаешься повторить весь график, всю форму - сразу видно получается что-то или нет.

Еще момент почему интересно именно повторение прошлого, а не будущего. Например - работа с текстом - имея предыдущие N букв - надо предсказывать N+1 букву.

Их можно анализировать по ошибке, но это не дает понимания что там происходит, их потом все-равно анализирует человек чтобы понять - реально получилось что-то близкое к реальности или нет. Дают такой нейросети кусок предложения и просят продолжить - и смотрят что получилось, какой-то шум или реально похоже на нормальный текст.

Но с графиками цен - у нас нет такой возможности, мы смотрим на прогноз цены - и не понимаем это что-то осмысленное или просто шум. Поэтому прогноз цены сложно оценивать, а так - ты попытался повторить всю историю - и либо смог либо нет, по форме сразу видно как получилось.

авторавторНо с графиками цен - у нас нет такой возможности, мы смотрим на прогноз цены - и не понимаем это что-то осмысленное или просто шум. Поэтому прогноз цены сложно оценивать, а так - ты попытался повторить всю историю - и либо смог либо нет, по форме сразу видно как получилось.

прогноз собственно и тестят на исторических данных
берут начальный кусок - строят модель и оценивают как сходятся продолжение данных и прогноз из модели

Это понятно - я же написал - мы прогоним по историческим данным и получим некое число - ошибку прогноза. Проблема в том что мы не можем как "эксперт" оценить его.

Например - в обработке текста - при моделировании используется прогноз следующей буквы по предыдущим. И ты тоже можешь посчитать ошибку - будет некое число. Но, еще ты можешь оценить результат как "эксперт" - сгенерировать текст - и прочитать его - и сразу будет видно получилось что-то похожее на осмысленный текст или максимум три-четыре символа предсказываются а дальше идет шум. Прогноз-же числовых рядов мы не можем так проверить, поскольку мы не "эксперты" в этом, мы сами их не понимаем, поэтому как вариант можно попытаться попробовать апроксимировать график за все время и посмотреть похоже или нет.

авторЛинейная = sum(ki*хi**1)
1-й порядок (ну м.б. термин другой, шаг, стадия ...) = зависимость только от предыдущего значения.
одномерная = F(x1) или F(x2) или ...

То что ты написал это некая рекурсия, а не линейная регрессия, посмотри что такое линейная регрессия и сравни со своими формулами. В формуле линейной регрессии нет предыдущих значений, там есть лишь коэффициенты для текущей переменной. Ты вероятно использовал что-то, что внешне похоже на линейную регрессию`sum(ki*хi**1)` - формально выглядит так-же, но в линейной регрессии - xi - будет не предыдущими значениями а элементами вектора текущего значения. У тебя скорей что-то типа движущегося окна с линейной аппроксимацией будущих значений.

Никто не вкурсе - как-то можно сделать чтобы нейросеть выдавала распределение для прогноза? Нейросеть обычно выдает одно число, но хотелось бы получить не одно число а распределение, это как-то можно сделать ?

Как один из вариантов - Нашел что у нейросетей есть "температура" - ее можно "нагреть" и добавить случайностей. По идее на такой "нагретой" сети можно затем сделать 1000 немного отличающихся прогнозов и построить по ним гистограмму. Вопрос - это будет что-то реально похожее на распределение, или просто некий случайный артефакт, имеющий похожий вид?