Короче, задачу аппроксимации рыночных цен, и ряда связанных задач, я таки продолжал решать все это время в фоне. Задача оказалась необъятной, и с каждым шагом ты не приближаешься к решению, а наоборот, возникает все больше и больше вопросов..., поэтому, работа продолжается :)

Как побочный эффект, я сделал продукт для визуализации данных, картинки графиков на фоне, они как раз из этих экспериментов. Думаю опубликовать также и сами документы с расчетами, если будет своб время в след. недели месяцы...

http://pl0t.com

Да Калман интересная вешь. Нет еще не пробовал, но попробовать стоит.

По этой теме есть работы Б. Мандельбротта, "Непослушные рынки" (The (mis)behaviour of markets : a fractal view of risk, ruin, and reward). И Н. Талеба "Statistical Consequences of Fat Tails: Real World Preasymptotics, Epistemology, and Applications"

Сами книги я еще не прочитал (собираюсь), но читал некоторые статьи Б. Мандельбротта и Н. Талеба.

Из того что я понял, построить какие то сложные модели не получится. Может какие хедж фонды с командами докторов и кандидатов и сотней лет истории рынков могут это сделать, но обычные люди не могут.

И это и плюс и минус. Минус понятен, даже сложные расчеты не помогут. Плюс - можно не напрягать мозги и обойтись простыми моделями.

Поэтому я думаю продолжать с простыми, интуитивно понятными моделями, ну и осилить таки эти две книги.

авторА потом очередная пандемия - и все модели летят прахом...Нет. Если модели не работают, это проблемы моделей, а не пандемии.

И вторая проблема, оптимизация делает систему менее устойчивой.

Попытка построить наиболее точную модель и выжать по максимуму, в итоге приведет к тому что она будет менее устойчива и больше пострадает от непредвиденной ситуации.

Поэтому гнаться за сложными моделями получается бессмысленно.

Поэтому я отошел от изначальной задачи как она сформулирована в начале темы, и занимаюсь скорей вопросом создания наиболее устойчивой системы, которая открыта для неожиданных движений рынка и способна захватить эту неожиданную прибыль.

авторА вы собираетесь все рыночные цены разом "аппроксимировать"

Да, я хотел найти "универсальную функцию" (базис функций?) единую для "всех цен", которую можно "параметризовать" и получить аппроксимацию для конкретной "цены" для MSFT или Золота или Нефти.

авторА ещё вот некоторые "рыночные цены" имеют историю в десятки лет (некоторые даже до сотни)... вы их целиком -- разом на всей их истории -- собираетесь "аппроксимировать"?

Да, на максимально доступной истории. С нелинейностями, сменами режимов.

авторА ещё у многих "рыночных цены" история сохраняется (и доступна) начиная с масштаба ... даже не "с масштаба" ни с какого, а просто с тиковых значений. Тут вы как будете определяться?

Это можно рассматривать как сэмплинг с различными интервалами. Но я в первую очередь интересовался долгосрочными предсказаниями, так что там минимум день будет интервал.

Ответ на все вопросы сразу, то что я хотел сделать судя по всему слишком сложно, поэтому я сейчас отказался от изначальной задачи.

Расчет оптимальной ставки, Симуляция Монте Карло

http://files.pl0t.com/experiments/optimal_betting/optimal_betting.html

Оптимальная ставка, также известная как Оптимальный Рост Инвестиций, и что Баффет называет важнейшим правилом N1, а в азартных играх известно как Критерий Келли.

Думаю потихоньку осилить Б. Мандельброта "Непослушный Рынок, фрактальный взгляд на риск, банкротство и прибыль" и Н. Талеба "Статистические последствия не гауссиовских распределений, нелинейности и пре асимптот".

И рассматривать интересные темы из этих книг в виде таких экспериментов.

Видео "Расчет Критерия Келли методом Симуляции Монте Карло"

Нет, это не связано с предсказанием курса, это несколько иное.

tsfresh прикольная штука, спасибо

Поставьте плюсики на StackOverflow у кого есть аккаунты пожалуйста, интересный вопрос, я потом опубликую тут страницу с расчетами

https://stats.stackexchange.com/questions/545371/do-stock-price-changes-follow-pareto-distribution

https://quant.stackexchange.com/questions/68030/why-stock-prices-changes-dont-follow-pareto-distribution

Апдейт, вобщем я думаю попробовать микс из 2х гауссовских моделей как апроксимацию распределения цен (Талеб советует такой подход). И подстраивать его параметры по последней волатильности акций. Опубликую расчеты, что получилось в течении неск дней.

Кстати, в процессе медитаций о распределениях цен я изобрел колесо, придумал 2 теста. Колмогоров-Смирнов (который нельзя использовать в случае с ценами) и Андерсон Дарлинг. Мы наверняка их проходили в университете, но я их забыл и открыл их заново, и потом уже нашел в википедии :).