Гость
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Прогнозирование на 1 шаг: нужны данные для тестирования модели / 21 сообщений из 21, страница 1 из 1
22.11.2012, 14:11
    #38048736
DASTAD
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
Писал для диплома модель, решающую задачу прогнозирования на 1 шаг.
Коротко от задаче:
-наблюдается множество параметров в системе: х1, х2, х3...хn, Y
-предполагаем что параметр Y в будущем: Y(t+1) зависит от текущих значений параметров xi(t)
-модель ищет зависимость Y(t+1)=F(xi(t)) и получает новые значения Y по мере поступления новых значений X

модель строится на принципах МГУА (Методы группового учета аргументов)
базовыми функциями модели являются полиномы 1го-2го порядков

Хотелось бы проверить работу модели при решении реальных задач

Может ли кто подкинуть данных потестировать работу модели?

mail: sis12qw@inbox.ru
...
Рейтинг: 0 / 0
23.11.2012, 09:19
    #38049905
pirovindos
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
Y = random();
...
Рейтинг: 0 / 0
23.11.2012, 20:53
    #38051305
Asm64D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
pirovindosY = random();
МГУА не работает на рандомных данных, и не работает на сильно исправленных (скорректированых) данных, когда я делал реализацию МГУА, то долгое время не мог понять почему он великолепно строить прогноз по урожайности пшеницы и в полной ж""е когда речь идет о рисе, знакомый в возрасте поведал что в свое время рис на Кубани вырастал весьма плохо, и партийные работники выдумывали большую урожайность, посему многие годы урожайность риса на Кубани = random();
Это кстати и тонкий намек где взять данные для тестирования. Кстати алгоритм меня весьма поразил, средняя ошибка прогнозирования у меня была 3%, максимальная 7%, - считаю его одним из самых лучших.
Кстати если ТС сам запрогал этот алгоритм - то ему моя уважуха, у меня на это ушло 3 бессонных ночи и километры отладки, эх были времена...
...
Рейтинг: 0 / 0
26.11.2012, 09:33
    #38052704
DASTAD
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
Asm64DpirovindosY = random();
МГУА не работает на рандомных данных, и не работает на сильно исправленных (скорректированых) данных, когда я делал реализацию МГУА, то долгое время не мог понять почему он великолепно строить прогноз по урожайности пшеницы и в полной ж""е когда речь идет о рисе, знакомый в возрасте поведал что в свое время рис на Кубани вырастал весьма плохо, и партийные работники выдумывали большую урожайность, посему многие годы урожайность риса на Кубани = random();
Это кстати и тонкий намек где взять данные для тестирования. Кстати алгоритм меня весьма поразил, средняя ошибка прогнозирования у меня была 3%, максимальная 7%, - считаю его одним из самых лучших.
Кстати если ТС сам запрогал этот алгоритм - то ему моя уважуха, у меня на это ушло 3 бессонных ночи и километры отладки, эх были времена...

Благодарю за похвалы :) не помню сколько кодил. Вроде от того момента, когда впервые увидел термин, до появления работающего модуля прошло более полугода :)

Может у Вас сохранились данные по которым, вы делали прогноз? Тем более можно будет сравнить результаты работы моделей. (Коэффициенты и\или структура модели не нужны). Погрешность прогноза в 3-7% - это сильно.

Какие базовые функции использовали? Только полиномы? Видел в литературе предлагались в качесве базовых тригонометрические и степенные функции.

Кстати, реализовать полиномы в общем виде не смог :(, оставил только частные случаи для 1й и 2й степени.
...
Рейтинг: 0 / 0
26.11.2012, 09:46
    #38052715
pirovindos
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
DASTADМодель строится на принципах МГУА (Методы группового учета аргументов)
базовыми функциями модели являются полиномы 1го-2го порядков
Хотелось бы проверить работу модели при решении реальных задач
Может ли кто подкинуть данных потестировать работу модели?

Вы просите данных из реальной задачи, в которой (по смыслу задачи) зависимость может выражаться только через полиномы 1го-2го порядков?
...
Рейтинг: 0 / 0
26.11.2012, 11:21
    #38052850
DASTAD
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
pirovindosDASTADМодель строится на принципах МГУА (Методы группового учета аргументов)
базовыми функциями модели являются полиномы 1го-2го порядков
Хотелось бы проверить работу модели при решении реальных задач
Может ли кто подкинуть данных потестировать работу модели?

Вы просите данных из реальной задачи, в которой (по смыслу задачи) зависимость может выражаться только через полиномы 1го-2го порядков?

Да.
Только структура итоговой модели многослойная, полином это лишь базовый элемент.
1 слой - полином 2 степени
2 слоя - уже 2^2 степени
3 слоя - 2^2^2 степень
и тд...
...
Рейтинг: 0 / 0
26.11.2012, 13:02
    #38053076
pirovindos
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
DASTAD,
То есть степень полинома - любая.
Тогда ваша проблема с данными понятна. Найти реальные данные, где точно известны и измерены все факторы, а еще и зависимость от всех факторов непрерывная - не так просто.

Кстати, а как ведет себя модель на примитивных функциях, типа exp(x1*x1+x2*x2+...)?
...
Рейтинг: 0 / 0
26.11.2012, 19:37
    #38053866
DASTAD
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
pirovindosDASTAD,
То есть степень полинома - любая.
Тогда ваша проблема с данными понятна. Найти реальные данные, где точно известны и измерены все факторы, а еще и зависимость от всех факторов непрерывная - не так просто.

Кстати, а как ведет себя модель на примитивных функциях, типа exp(x1*x1+x2*x2+...)?
Примерно так
Взял функцию Y = exp(x1*x1+x2*x2+x3*x3+x4*x4)
Значения хi задавал рандомно,Y вычислял по формуле 110 значений Xi
Модель генерировалась/обучалась на 100 значениях, по остальным 10 значения вычислялись без обучения
Результат на диаграмме
Линии в верхней части
Красная - эталонные значения Y ()
Зеленая - Yмодельное, вычисленные на данных участвующих в генерировании(обучении) модели
Синяя - Y модельное, на данных не участвующих в обучении
В нижней части зеленые и синие бары - относительная погнешность Yмодельного к Yэталонному (в %)
...
Рейтинг: 0 / 0
26.11.2012, 19:39
    #38053870
DASTAD
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
...
Рейтинг: 0 / 0
27.11.2012, 12:10
    #38054524
pirovindos
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
DASTAD,

Спасибо за подробный и иллюстрированный ответ. А какой степени были полиномы (сколько слоев) для которых графики приведены?
...
Рейтинг: 0 / 0
28.11.2012, 06:34
    #38055741
DASTAD
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
pirovindosDASTAD,

Спасибо за подробный и иллюстрированный ответ. А какой степени были полиномы (сколько слоев) для которых графики приведены?

Достаточно оказалось 5 слоев
Без ограничения на количество слоев, генерирование остановилось на 11 (дальше точность не повышается)

Код: pascal
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
Входной слой
Х.0, Х.1, Х.2, Х.3

Слой1
  Y1.0 = -0.0011 +  0.0209*X.0 +  0.0395*X.1 +  0.0233*X.0^2 +  0.0065*X.1^2 +  0.0084*X.0*X.1
  Y1.1 = -0.0022 +  0.0301*X.0 +  0.0092*X.2 +  0.0299*X.0^2 +  0.0505*X.2^2 +  0.0100*X.0*X.2
  Y1.4 = -0.0008  - 0.0134*X.1 +  0.0671*X.3 +  0.0742*X.1^2  - 0.0294*X.3^2 +  0.0064*X.1*X.3
  Y1.5 = -0.0020 +  0.0265*X.2 +  0.1013*X.3 +  0.0565*X.2^2 + -0.0596*X.3^2  - 0.0474*X.2*X.3

Слой2
  Y2.0 = -0.0014 +  0.9426*Y1.0 - 0.2285*Y1.1 - 5.8337*Y1.0^2 +  7.2015*Y1.1^2 +  4.1730*Y1.0*Y1.1
  Y2.3 = -0.0004 - 0.1608*Y1.0 +  0.2854*Y1.5 +  8.5822*Y1.0^2 +  3.0615*Y1.5^2 +  6.0771*Y1.0*Y1.5
  Y2.5 = -0.0004 - 0.0940*Y1.1 +  0.5177*Y1.4 +  6.3222*Y1.1^2 - 0.0729*Y1.4^2 +  5.0663*Y1.1*Y1.4
  Y2.12 = -0.0004 +  0.5177*Y1.4 - 0.0940*Y1.1  - 0.0729*Y1.4^2 +  6.3222*Y1.1^2 +  5.0663*Y1.4*Y1.1

Слой3
  Y3.0 = -0.0006 +  0.1205*Y2.0 +  0.8560*Y2.5 +  5.0913*Y2.0^2 +  9.5806*Y2.5^2 - 14.6987*Y2.0*Y2.5
  Y3.39 = -0.0004 +  0.8387*Y2.12 +  0.2010*Y1.1 +  5.2626*Y2.12^2 +  1.1088*Y1.1^2  - 7.4160*Y2.12*Y1.1

Слой4
  Y4.13 = -0.0004 +  0.7870*Y3.0 +  0.2242*Y3.39 + 188.0210*Y3.0^2 + 201.7165*Y3.39^2 - 389.8716*Y3.0*Y3.39

Слой5 (он же выходной слой модели)
  Y5.65 = -0.0003 +  1.4124*Y4.13 - 0.3746*Y2.3 + 23.9816*Y4.13^2 + 22.8538*Y2.3^2 - 47.6118*Y4.13*Y2.3
...
Рейтинг: 0 / 0
03.12.2012, 23:50
    #38063524
GFX
GFX
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
DASTADПисал для диплома модель, решающую задачу прогнозирования на 1 шаг.
Коротко от задаче:
-наблюдается множество параметров в системе: х1, х2, х3...хn, Y
-предполагаем что параметр Y в будущем: Y(t+1) зависит от текущих значений параметров xi(t)
-модель ищет зависимость Y(t+1)=F(xi(t)) и получает новые значения Y по мере поступления новых значений X

модель строится на принципах МГУА (Методы группового учета аргументов)
базовыми функциями модели являются полиномы 1го-2го порядков

Хотелось бы проверить работу модели при решении реальных задач

Может ли кто подкинуть данных потестировать работу модели?

mail: sis12qw@inbox.ru
Спрогнозируйте курс доллара :)
данные можно взять на cbr.
...
Рейтинг: 0 / 0
12.02.2013, 12:54
    #38147557
defragmentator
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
DASTAD,
а кстати, интересно, прочитал в википедии , что с увеличением сложности модели на определённом уровне начинает расти погрешность.

Это из-за ошибок округления?
...
Рейтинг: 0 / 0
28.03.2013, 17:37
    #38202887
chabapok
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
Полное собрание сочинений кого угодно. Для определенности пускай Льва Толстого.
Пускай по предыдущим буквам (или словам) оно предсказывает следующие.

когда результат будет приемлем, попытайтесь запустить ее дальше на своих же данных. Может че интересное напишет. %)
...
Рейтинг: 0 / 0
30.04.2013, 03:26
    #38244689
iv_an_ru
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
DASTADПисал для диплома модель, решающую задачу прогнозирования на 1 шаг.
Коротко от задаче:
-наблюдается множество параметров в системе: х1, х2, х3...хn, Y
-предполагаем что параметр Y в будущем: Y(t+1) зависит от текущих значений параметров xi(t)
-модель ищет зависимость Y(t+1)=F(xi(t)) и получает новые значения Y по мере поступления новых значений X

модель строится на принципах МГУА (Методы группового учета аргументов)
базовыми функциями модели являются полиномы 1го-2го порядков

Хотелось бы проверить работу модели при решении реальных задач

Может ли кто подкинуть данных потестировать работу модели?

mail: sis12qw@inbox.ruНапустите вашу полиномиальную модель на данные, которые нагенерит подходящая по сложности модель в стиле DYNAMO.
...
Рейтинг: 0 / 0
30.04.2013, 03:32
    #38244695
iv_an_ru
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
chabapokПолное собрание сочинений кого угодно. Для определенности пускай Льва Толстого.
Пускай по предыдущим буквам (или словам) оно предсказывает следующие.

когда результат будет приемлем, попытайтесь запустить ее дальше на своих же данных. Может че интересное напишет. %)Не очень получится: предсказание-то по одной предыдущей букве, ну по двум, к тому же производные отсутствуют.
...
Рейтинг: 0 / 0
06.05.2013, 16:43
    #38249306
dorian grey
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
GFXСпрогнозируйте курс доллара :)
данные можно взять на cbr.

Не пробовали? Или модель не подходит.
Можно котировки акций.
...
Рейтинг: 0 / 0
18.07.2013, 14:00
    #38335574
DASTAD
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
Ушел в дебри долгосрочного прогноза

Пока реализовал гармонический алгоритм, для прогнозирования тренда временного ряда
Общий вид модели: сумма гармоник с некратными частотами
F(T) = A0 + SUM (Ai*sin(O*T) + Bi*cos(O*T))

Пример прогноза солнечной активности (по данным до 2008 года)

На картинке
Красная линия - значения временного ряда
Разноцветная линия - результат работы модели
Зеленая часть - данные по которым модель генерировалась
Синяя - данные на которых тестировались коэффициенты
Фиолетовая - прогноз на новых значениях (которые не использовались при генерировании и тестировании модели)
...
Рейтинг: 0 / 0
18.07.2013, 14:03
    #38335580
DASTAD
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
Период колебаний (1 гребень) - примерно 11 лет
...
Рейтинг: 0 / 0
18.07.2013, 17:51
    #38336032
dvim
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
DASTAD,

Хотелось бы проверить работу модели при решении реальных задач
Может ли кто подкинуть данных потестировать работу модели?
Берем курс валют и (или) цену золота - и вперед!
...
Рейтинг: 0 / 0
22.07.2013, 12:25
    #38338822
DASTAD
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогнозирование на 1 шаг: нужны данные для тестирования модели
Золото. гармонический тренд
...
Рейтинг: 0 / 0
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Прогнозирование на 1 шаг: нужны данные для тестирования модели / 21 сообщений из 21, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]