Взяли заказ на написание эмулятора форекса. Написали генератор свечек, но что-то по внешнему виду как-то неестественно выглядят. Подскажите, может, кто сталкивался, как сгенерировать поток цен, более-менее похожий на реальный форекс.

Суть задачи такая.
Форекс - это торговля валютой. Каждую секунду заключаются сотни и тысячи сделок.
Например, пусть за 1 секунду было совершено 15 сделок по ценам:
105, 106, 104, 103, 108, 109, 112, 106, 105, 103, 100, 102, 107, 109, 108

В этом случае:
цена открытия свечи = 105
цена закрытия свечи = 108
самая высокая цена за прошедшую секунду = 112
самая низкая цена за прошедшую секунду = 100

Сама свеча будет белая (растущая), потому что цена закрытия выше, чем цена открытия.

Вот и получается, что пишем генератор, который генерит последовательность из 4-х цифр: открытие, закрытие, хай и лоу. А будучи составлены вместе получается типичный график форекса.

Фигово то, что получившийся генератор генерит какой-то противоестественный график. Заказчик говорит, что на внешний вид не очень похоже на реальный форекс. Мы смогли улучшить картинку за счет того, что принудительно сделали цену открытия последующей свечи равной цене закрытия предыдущей свечи. Но все равно как-то выглядит ненатурально.

Может есть идеи, как построить алгоритм, чтобы итоговая картинка получалась более-менее похожей на реальный форекс? Разумеется, это задача не на отрисовку свечей, не на работу с графикой, а на генерацию комплектов чисел.

Alexander A. SakНаверное, заказчик хочет разглядеть там тренды, волны Эллиота и прочие магические артефакты из мира технического анализа. Возьмите цены за последние несколько лет и гоняйте их со случайного места.

Заказчик за такое денег не даст.
Скажет, что мы смухлевали.
Он заказывал генератор, а мы ему исторические данные подсовываем.
Нехорошо так делать. Неэтично.

S.G.Тогда вам надо разобраться, какому распределению вероятностей принадлежат реальные потоки цен.

Совет, конечно, хороший. :-)
Но в нашей команде такую задачу осилить некому. Это надо в математике шибко шарить.

x1ca4064Я не разбираюсь в форекс.

У нас тоже никто не разбирается.
Мы взяли задачу как программисты.
Я думал, что можно просто рандомом генерить цифры.
Оказалось, что заказчику это почему-то не подходит.

x1ca4064По хорошему, нужно придумать правильный критерий "похожести" сгенерированных данных на реальные, а можно попробовать нейросети (генератор и дискриминатор).

Проще отказаться от заказа.
Мы программисты, а не финансовые аналитики, не статистики и не математики.

x1ca4064А сейчас как генератор сделан?

Просто рандомом числа генерятся.

open = open ? rand(100, 200) : close;
close = rand(100, 200);
high = rand (max(open, close), max(200, open, close));
low = rand (min(open, close), min(100, open, close));

деятельгенерите случайный гауссовый шум от -1 до 1 суммируете нарастающим итогом потом режете на кусочки по 100 приращений и на каждом считаете первое-макс-мин-последнее

Блин, вот бы ваш совет еще на русский перевести, вообще было бы замечательно...
Если серьзено.
Я не понял, какие конкретно программные операции выполнять, чтобы выполнить ваш совет.




В общем, не смог осилить перевод вашего совета на практику.

kealon(Ruslan),

статью посмотрел. Для меня сложновато-то :-(

Под ваш алгоритм нашел готовую функцию на хабре
Но это лишь генератор случайных чисел.
Как его превратить в свечные комплекты [open, high, low, close] я ума не приложу

Может я что-то не так понимаю, но по-моему это просто очередной навороченный rand() ...
Зачем его самому разрабатывать, если он и так из коробки идет? Math.random();




PS. Для тех, кто не умеет пользоваться яваскриптом, то сообщаю, что достаточно в браузере нажать F12, откроется командная строка, туда просто достаточно скопипастить этот кусок и функция g.next() будет работать генеря новые рандомные значения.

В итоге сегодня сдали решение заказчику.
Рассказываю, как была решена задача.

1) Взяли реальные свечки М30 по евро-доллару, фунто-доллару и долларо-йене за 5 лет.
2) Распилили на куски по 16 свечек.
3) Каждый кусок перевели с коэффициенты




Как строится каждый график

1) перед каждым построением полученный массив шаффлится и рандомом выбираются кусочки для финала




2) строим корректор волатильности скользящей средней с шагом 21 по случайным наборам -50, 100




3) сшиваем кусочки в общую ленту свечек, корректируя на волатильность




Написал заказчику в письме, что это максимум, чем мы можем ему помочь. Если ему не нравится, пусть ищет других исполнителей. Заказчик работу принял. Сказал, что для его целей этого 100% хватит.

PROFIT!!

PS. Thank you всем, кто оказал посильную помощь советами. Благодаря вашей помощи я понял, что искать математическое решение этой задачи - это прострел ноги самим себе, поэтому лучше решить эту задачу стандартными быдлокодерскими методами, что и было сделано. И заказчик доволен и мы денег заработали на ровном месте. Одним словом, гуд, very good!

Arm79Можно для примера взять стратегию ставить все время на красное в казино. С каждым неугаданным разом вероятность выпадения красного увеличивается.

Есть такой анекдот.
Как-то спрашивают блондинку:
- Какова вероятность встретить динозавра на улице?
- 50%
- Почему?
- Ну, либо встречу, либо не встречу.


На самом деле вероятность встретить динозавра на улице приближается к 0%.

Вероятность выпадения как красного, так и черного в рулетке всегда она и та же и равняется 18 / 37 = 48,7%
Математическое преимущество на стороне казино.
Именно поэтому и говорят, что "казино всегда выигрывает".

azsxВсе, кто пишет про математические стратегии в форекс, скажите, что благодаря игре на форекс с мелкими вложениями вы за десять лет купили машину и дом. И я буду знать, что я не прав.

Это абсолютно реально, и не за 10 лет, а за 2-3 года.

Но есть небольшие поправки в ваши формулировки.

1) Математические стратегии используются не для анализа рынка, то есть не для его прогнозирования, а для повышения вероятности выхода на заданную доходность по всей совокупности сделок. Значение имеет не как рынок будет себя вести, а чтобы рынок сохранял свой характер. Программирование робота - это не ответ на вопрос, что будет дальше? Программирование робота - это что делать, если будет ситуация А, что делать если ситуация Б, что делать, если ситуация С и т.д. А какая именно ситуация наступит - это вообще пофигу.

2) Почему вы обязательно ставите условием мелкие вложения?

Разумеется, схема "я вложил $100 долларов и через год торговли на форексе заработал себе на бентли" - это миф.
Приходя на форекс, если вкладываете $100 и рассчитываете сделать $10000 через год - значит вы на голову больной человек.
Даже удвоение капитала за год - это уже игра с огнем, хотя и реально, то есть даже из $100 сделать $200 - это хоть и реально, но по нервам - прощай здоровье. Вероятность вообще остаться без $100 выше, чем сделать $200.

На бентли с помощью форкса деньги делаются по другому, а именно:

задача финансового специалиста построить и протестировать, то есть доказать стабильность работы на реальных деньгах, пусть и небольших, например, сумму $1 тыс. долларов с помощью 300-400 сделок за 60 торговых дней увеличить до $1,4 тыс. долларов, т.е. увеличить на 40%. В этом нет никакой магии - это абсолютно реально, но нервы сильно садятся.

Имея на руках доказательства доходности на реальных деньгах + систему, объясняющую как это было сделано, такого специалиста с распростертыми объятиями примет любой крупный инвестор.
Сначала выделят $100 тыс. долларов, если через 3 мес. все ок, то рабочий депозит увеличат до $1 млн. долларов.
Через 3 года стабильной работы до $10 млн. долларов.
Через 5 лет стабильной работы можно либо свой проп открывать, либо крупный хедж-фонд предложит стать партнером, а это уже торговые балансы от $100 млн. долларов и до $3 млрд. долларов.

Теперь самый главный вопрос: вы думаете, что все дело в математике? В торговой системе?

Ответ: к сожалению, все дело в крепкой нервной системе.
Она составляет 99,99% успеха в мире крупных финансов.

Ну, и наконец самый убойный факт.
На февраль 2017 года на валютных рынках 70% биржевых сделок совершаются роботами.
На американских фондовых рынках 40% сделок совершаются роботами.

В общем форекс, биржа - все это реальная возможность разбогатеть, если у вас крепкая нервная система и вы дружите с математикой и программированием.

Например, я никогда не смогу делать деньги ни на бирже, ни на форексе, ни в казино, ни в покере не потому, что я не могу стратегию построить, а потому, что мне нервов не хватит сидеть и ждать, когда получится результат. Я заработаю язву, потеряю сон и вообще жизнь превратится в дерьмо. Никакие деньги не стоят того, чтобы я жил таким образом жизни.

azsxТакже как в теме ТС, заказчик хочет видеть привычные графики. Которые он, интуитивно, может предсказать, типа такие могут быть, а вот таких не бывает.

Заказчик не дурак.

Речь была не о том, что может он или не может графики предсказать, а о том, что график, который мы ему рисовали сначала действительно не был похож на форекс. Ну не бывает такого на форексе даже теоретически.

Например, если сравнивать с температурой воздуха, мы же тоже не можем предсказать какая будет температура, но мы точно знаем, что не бывает так, что в 12:00 +30*С в 13:00 -40*С в 14:00 +10*С В реальном графике температур все равно есть какая-то плавность.

Вот это и было противоестественно в нашем начальном варианте. Противоестественность касалась разброса верхних и нижних пиков свечей. Случайный генератор был не способен справится с генерацией похожих наборов свечек. Пришлось эти наборы взять из реала, но не в абсолютном значении, а в пропорциональном. На сами тренды, куда пойдет рынок - это влияния не оказывает.

Dima TArm79пропущено...

Верно. Вероятность каждого отдельно взятого выпадения примерно 50%.
А вероятность того, что N раз подряд выпадет красное - соответственно тем меньше, чем больше N. Если не путаю, вероятности перемножаются N раз.
Все равно после N раз подряд красных, равновероятно выпадет или красное, или черное.

На самом деле спор о том, какое выпадет следующее число для построения графика форекса не имеет смысла. Мы только зря воду в ступе толчем.

В ходе решения задачи на отрисовку стало ясно, что тупо через rand() реалистичный график форекса нарисовать не получится. У него внутри все равно какая-то торговая логика есть. Можно было заморочится через rand() эмулировать торговый процесс на форексе, когда каждую секунду совершается 1000 сделок и тогда можно получить более-менее достоверный график, но заморачиваться за такой эмулятор мы бы не стали.

Что касается казино, то считать вероятность следующей фишки, равно как и вероятность составного события, например, 3 раза красное подряд, - бесполезно, потому что в игре участвуют деньги, и каждая ошибка приводит к уменьшению доступных для игры средств. Вероятность имеет смысл только при условии бесконечных денег, а сам факт конечности денег сильно обрезает крылья любой стратегии, основанной на теории вероятностей.

Я не против теории вероятности в казино и на бирже, но я 100% знаю, что от нервных перегрузок не спасет никакая вероятность, особенно, когда ставки крупные.

LRТ.е., этот момент с заказчиком обговаривался и ему нужен именно генератор? Хм...тогда весьма странный заказчик... Никакого логического объяснения такому желанию нет, ведь данные форекса х.з. с каких времен существуют (почти два десятилетия?)

Странный вы какой-то... Зачем заказчику обращаться к программистам? Он и сам может с интернета скачать исторические данные. Он для этого и обратился к программистам, чтобы мы ему генератор случайных данных написали. Мы ему и написали генератор, только слегка через жопу, но все равно получился генератор, а не упакованные исторические данные. То есть этически мы ничего не нарушили. Реально написали ему генератор. Но без математического аппарата, а просто по-быдлокодерски.

LRНу почему/чем я? Это заказчик странный... подумайте сами, зачем ему генератор (при наличии такого массива исторических данных)?

Потому что эти данные отражают лишь часть реальности, а огромное пространство других возможных вариантов от него скрыто. Чтобы получить доступ к остальным вариантам он и заказал генератор.

LRнагенерит лет на сто вперед

К сожалению, вы не понимаете, как работает вероятность, если используете такое понятие, как нагенерить на какой-то промежуток времени. Вы думаете, что мы создали ему модель для прогнозов, но это не так.

Пространство вероятности существует вне времени, оно работает лишь с вариантами. Оно как бы воплощение концепции множественных вселенных в единой точке. Оно не занимается прогнозами, а лишь прогнозами типов вариантов, но не самой конкретной конфигурацией вариантов.

Например, для вероятности важно, что в рулетке не может выпасть число 43, а только числа от 0 до 36, т.е. 37 комбинаций. В форексе невозможно сказать сколько всего выпадет комбинаций, поэтому благодаря генератору заказчик сможет хотя бы примерно прикинуть сколько возможно комбинаций на форексе. А какие именно выпадут комбинации - этого никто не знает, да и для торговой системы это не имеет значение, точно так же как для меня не имеет значения, какая завтра будет погода. Я готов к любой погоде, потому что знаю все варианты какая в принципе может быть погода.

LRLumix, ага, т.е. заказчик использует генератор как "определитель рамок возможного"? ну тогда в этом, конечно, есть здравый смысл.

Yes, sir! That is the whole point!