День добрый.

Задачка на первый взгляд простенькая, но для меня превратилась в сущую проблему ....
Итак, дана некая числовая последовательность из нулей и единиц. Требуется при помощи n метода проанализировать данную последовательность и выдать прогноз на 1 цифру вперёд.
Собственно вопросы :
1) Какой метод прогнозирования в данном случае лучше всего подходит ?
2) С помощью какой программы можно осуществить прогнозирование по этому методу и получить желаемый результат ?
3) Какой метод и какая программа лучше всего подходят для анализ числовых последовательностей В ОБЩЕМ ?

Примечания :
а) Мною были произведены попытки анализа, используя средства excel. Я находил автокорреляцию, с помощью соответствующей надстройки (www.hcxl.ru/af02.html). Однако удовлетворительных результатов я не получил.
б) С математикой, как и с программированием я честно говоря на "Вы" (иначе бы сюда не писал). Поэтому требуется что-то мощное и действенное, но в то же время простое.
в) Я больше склоняюсь к пакету STATISTICA, но как уже упоминалось в программировании я не силён, да и разбираться в самой программе для меня будет трудновато.

Заранее спасибо.

Если в данной последовательности будет смысл её построения, то будет и закономерность, а соответственно зачем её анализировать ? Разве не так ?
Что можно в моём случае предпринять ?

AndreTMKreol64Если в данной последовательности будет смысл её построения, то будет и закономерность, а соответственно зачем её анализировать ?
Ха! Интересно...
Предположим, у вас последовательность - ноль + остальные все - единицы. С другой стороны, "дана некая числовая последовательность из нулей и единиц". И что должен думать алгоритм?
Предположим, что у вас последовательность - 11101001000010000000. И что думает ваш алгоритм по поводу чисел Фибоначчи?
e.t.c.

Немного не понял, что вы хотите этим сказать ? Какое отношение здесь имеют числа Фибоначчи ? Да и алгоритма нету никакого....

Valer
Т.е чисто технически невозможно применить какой либо метод с целью отыскания физики процесса машинно, а после уже прогнозировать ? Разве с помощью компьютера нельзя найти какую либо корреляцию между отдельными кусочками последовательности, а потом уже выдать прогноз, пускай и не 100%ный ?

sasha237Попробуйте написать некий аналог гадалки Шеннона .

Прицип ее работы заключается в анализе реакции человека и попытке предсказать что будет на следующем шаге. Но это можно сделать не только для человека, но и для какого-нибудь процесса. Задачу можно попробовать усложнить, если анализировать например двойные-тройные и прочие цифросочетания. Проблема только в том, что последовательность должна быть довольно длинной. Хотя, если на входе генератор случайных чисел, то есть некая вероятность, что вы ничего не получите, либо обнаружите его некую кривость.

Интересно ... вот как раз самих данных у меня много, только вот моя вражда с программированием боюсь не позволит написать гадалку. Разве что в интернете есть готовая (сейчас погуглю) или тут найдётся добрый человек, который мне напишет прогу (в чём я, честно говоря, сомневаюсь).

если быть точным, то в моей последовательности 2880 цифр. При недостатке данных можно и больше.

sasha237, поверьте, само название области никоим образом не поможет.
Сами данные прислать могу, в xls.
Вот кое-что нарыл в интернете :
http://dxdy.ru/topic30857.html - человек с похожей проблемой, сейчас пока читаю ветку.
http://forum.sources.ru/index.php?showtopic=9959 - исходники гадалки Шеннона.
Более того саму реализацию её я нашёл и даже скачал, НО :
1) Она предназначена для win32, у меня открываться отказывается.
2)Вместо 0 и 1 можно вбивать только "+" или "-"
3) Нельзя в неё загрузить все 2880 значений.

Таким образом, вы считаете, что мне всё таки придётся освоить STATISTICA и уже из неё строить нейронку ?

sasha237Ну, как бы я говорил об аналоге гадалки, о подобном ей алгоритме.

Если Вам не сложно, высылайте на sasha237@gmail.com Попробую что-нибудь нахимичить на праздниках, но ничего не гарантирую - чисто из любви к искусству.

Отослал.
В том то и дело что аналог гадалки. Сама гадалка тоже есть (zalil.ru/29912198). Если интересно, можете глянуть.
Её нужно переделать так, чтобы туда можно было именно загрузить сами значения, по которым она выдаст результат.
По сути та же нейронка, только проще :)

maytonKreol64Итак, дана некая числовая последовательность из нулей и единиц. Требуется при помощи n метода проанализировать данную последовательность и выдать прогноз на 1 цифру вперёд.

Надо хотя-бы приблизительно знать класс задачи. Я могу искусственно создать последовательность целых чисел (1,2,3,4...) в коде Левинштейна (код частично-унарный и имеющий плавающую длину битовой цепочки), к примеру, и поставить в тупик любые самые совершенные методы стат-анализа. Поэтому хорошо-бы уточнить прочие начальные условия.

Я могу ещё уточнить, что в последовательности присутствуют некоторые закономерности. Т.е это не ГСЧ. Например чем больше нулей/единиц подряд, тем больше вероятность, что следующей будет 1/0 соответственно. Вот например небольшой кусок :
0101111011010111000101

Как видите последовательность можно условно разделить на подобные кусочки :
0101010101 и подобные кусочки 000000111111

maytonНейросеть в общем случае решает эту задачу. Но это настолько общая постановка, что думаю вам она не понравится. И если вы решили не кодить а взять готовое решение то statistica - нормальный выбор в данном случае. Успехов.

В смысле общая ?
Я, к сожалению, не решил, а вынужден ...
Что вы думаете насчёт "гадалки" ?

rstudioна счет сабжа решения общего и без предметной области действительно нет. Нужно анализировать визуально ряд и пробовать искать закономерности.

Для начала попробуйте пожать свою последовательность обыкновенным архиватором.
Если пожмется очень хорошо, то шансов у вас на успех много. Если плохо или очень плохо, то почти никаких. Закономерности в последовательности или сложно найти или архиватор их просто не нашел.

Честно говоря немного удивлён, что для обычных числовых последовательностей нет, так скажем, "универсального" анализатора.
Насчёт гадалки. А разве в последовательности нет повторяющихся компонентов ? При таком объёме данных их вполне нетрудно найти даже ручками. Главное "накормить" гадалку самими данными :)
Если я вас правильно понял, я запихнул xls файл в rar с max сжатием. Сжало в 10 раз.

maytonKreol64
В смысле общая ?
Я, к сожалению, не решил, а вынужден ...
Что вы думаете насчёт "гадалки" ?
Общая в смысле что нейросеть решает любые задачи. Единственная сложность - правильно выбрать архитектуру, перечислить все "факторы", отфильтровать их, предобработать и подать на вход НС. И наконец самое главное... "дать смысл" откликам на выходе НС.

Несчет гадалки - не знаю еще нечитал.

Мда... тут либо спец нужен, либо самому изучать.
Посмотрю, может в "статистика" сама может что нибудь с этим сделать.

maytonKreol64Честно говоря немного удивлён, что для обычных числовых последовательностей нет, так скажем, "универсального" анализатора.
Вы ищите серебрянную пулю. Или программный продукт который содержит все-все знания о всех предметных областях прикладных наук!

Есть разные подходы. Смотря что ищем. Если звук - то анализ Фурье. Если период псевдослучайности - то разные автокорреляционные функции. Если шифр - то другие методы сопоставления. Если бинарник кода - то анализаторы (по принципу антивирусных). Если текст - то всякие там лингвистические методы. Графика - всякие там когнитроны на базе НС. И я перечислил только то что смог вспомнить. А сколько еще неизвестного!

Т.е в моём случае из того, что вы вспомнили лучше всего подойдут разные автокорреляционные функции ? В этом случае результат не очень :
http://imagepost.ru/images/269/R5ZCLEp13INgPjOeSzjI.jpg


rstudio , можете сказать название подобной программки ? Поищу в интернете.

BarloneKreol64поверьте, само название области никоим образом не поможет.
пытаемся угадать направление движения цены ? :)

Нет

Так, установил я STATISTICA 8.
Открыл свой файлик, выделил диапазон и зашёл в data meaning > automated neural networks .
Дальше мне предлагают выбрать тип анализа :
Regression
Classification
Time series (regression)
Time series (classification)
Cluster analysis
Какой выбирать то ? К сожалению с дуру выбрал самую новую версию, к которой нет русского руководства.

S.G.Kreol64
Какой выбирать то ? Все по порядку, конечно.
Вкладываете в каждый метод 2879 ваших цифр, получаете следующую, и смотрите, совпадает ли она с вашей 2880-й.
Есть некоторая трудность- не обязательно, что метод который угадывает 2880-ю цифру, угадает 2881-ю.
2881 цифру может угадать другой метод. Сказать заранее, какой из методов угадает 2885 или 2889-ю, нельзя :(

Т.е. методом подбора ? Я вообще думал, что хотя бы из перечня нейросетевых методов можно выбрать тот, который будет наиболее действующий, а оказывается, что даже здесь нельзя точно сказать ?

maytonKreol64Т.е. методом подбора ? Я вообще думал, что хотя бы из перечня нейросетевых методов можно выбрать тот, который будет наиболее действующий, а оказывается, что даже здесь нельзя точно сказать ?
Всё, что можно описать формально, можно запрограммировать. И еще хотелось-бы получить гарантии что решение вообще существует. Поток битов может быть хорошим криптостойким ГПСЧ.

Какова природа потока битов? Откуда он происходит?

Я не могу гарантировать к сожалению. Это не задача с ответом, тут нужно найти путь решения.
Есть тут кто нибудь, знающий специфику нейро сетей ? Я прочитал про методы в вики, но так и не пойму, какой стоит выбрать в STATISTICA.

mikhail_nНе могли бы вы для начала сказать, яляется ли та цепочка нулей и единиц, которой вы располагаете, результатом работы случайного или неслучайного процесса? Проще говоря, если бы у вас была возможность повторить процесс, вы получили бы опять ту же самую последовательность нулей и единиц или другую?

Ммм ... я бы сказал, что это всё таки случайный процесс с небольшими закономерностями, о которых я писал выше.

mikhail_nМмм... а среднее арифметическое у вас какое? Случаем не 0.5? Если да, то попробуйте бросить монетку 2880 раз, выпадет орёл - запишите на бумаге 1, решка - 0. Потом проанализируйте то что получится - обнаружите те же самые небольшие закономерности о которых вы писали выше.

Среднее 0.505

sasha237Немного поэкспериментировал на присланных мне данных.

Попробовал посжимать разными способами. Замечательно сжимает раз в 5-6. Но никаких особых зависимостей оно не нашло.

Попробовал статистику получить, в том числе по подряд идущим группам цифр (от 1 до 20 подряд со сдвигами, с разными шагами). Группы, длиной больше 20 изучать тяжеловато, плюс, начиная с 10 они становятся практически равномерно распределенными.

По результатам экспериментирования у меня процент правильных предсказаний около 50-60% на окне в 500 последовательных точек (угадал или не угадал =) ). Если брать всю последовательность, результат получается в районе 50%, так что, к сожалению, мне не удалось найти какую-либо явную зависимость. Если ее внимательно изучить, то получится на самом деле, что данная последовательность состоит из подпоследовательностей (см картинки ниже) ( приблизительно 0-600, 600-1100, 1100-2200, 2200-2880). Если по группам, то результат дает в районе 60% (что не легче)

Пробовал еще моделировать ядрами Винера-Вольтерра. Но опять же они не для бинарных данных. Еще пробовал по системам с памятью на основах этих ядер - результат аналогичен. Алгоритм Берлекэмпа-Мэсси тоже отправился в топку. Всякие вкусные корреляции поехали следом, так как мы получаем значения вроде 0,05+-0,1. К сожалению больше мне ничего не удалось припомнить.

На закусь.

График 1.
http://i51.tinypic.com/15fksuc.png
Визуализация по данным. Как вы понимаете 0 и 1 показывать на графике бесполезно. Поэтому я сделал небольшое отображение и просуммировал, где 0 это -0,5, а 1 это +0,5.
Получилось интересный график суммы. Можно еще попробовать поисследовать его. Разложить например по частотам, сделать какое-нибудь сглаживание, но тогда мы уже будем не нули и единицы предсказывать, а поведение этого графика, что не есть хорошо.

График 2.
http://i56.tinypic.com/17rfyb.png
Визуализация по первым девяти группам цифр. По оси ординат частота той или иной группы деленная на максимальную, по оси абсцисс, числа, соответствующие последовательностям в двоичной системе счисления (например 23 это 10111).

При взгляде на вторую картинку меня не оставляла мысль, что там фрактал или что-то подобное лежит в основе.

sasha237 , спасибо вам огромное !
Что бы я без вас делал :) Приятно осознавать, что ещё остались люди, которым интересно поковыряться в задачке.
Что ж полагаю осталась только гадалка Шеннона (но что-то мне подсказывает, что у неё тоже не получится) и нейро сеть (впринципе организовать это не так трудно, ибо уже есть программа. Данные то я загрузил, а вот на этом http://pixs.ru/showimage/gjpg_3587348_1154684.jpg шаге тормознул, какой выбирать-то ? ). Есть ещё вариант поиска анализа стохастических процессов (из соседней ветки), но программно это походу никто не реализовывал.

sasha237Kreol64sasha237Немного... ...основе.

sasha237 , спасибо вам огромное !
Что бы я без вас делал :) Приятно осознавать, что ещё остались люди, которым интересно поковыряться в задачке.
Что ж полагаю осталась только гадалка Шеннона (но что-то мне подсказывает, что у неё тоже не получится) и нейро сеть (впринципе организовать это не так трудно, ибо уже есть программа. Данные то я загрузил, а вот на этом http://pixs.ru/showimage/gjpg_3587348_1154684.jpg шаге тормознул, какой выбирать-то ? ). Есть ещё вариант поиска анализа стохастических процессов (из соседней ветки), но программно это походу никто не реализовывал.

Ну благодарить особо не за что, вот если бы получилось... А на основе гадалки я тоже пробовал и тоже не получилось как Вы сказали. На счет выбора, я бы попробовал вначале пункты 3 (регрессию) и 4 (классификацию). Если не получится, то 1,2 и 5. Трудно сказать, что Вам поможет лучше. Еще я там Вам письмо послал на почту, которой Вы посылали. Там небольшое дополнение.

Про анализ стохастических процессов, надо думать, так сразу не смогу сказать, что-то внятное.


Прочитал ваше письмо.
Насчёт кол-ва данных. Могу прислать вам 68772 в том же формате, только завтра, если вы не против.
С нейронкой тоже поковыряюсь. Проблема в том, что я совсем не знаком с программой :(
Я тут кстати увидел в вики картинку, похожу на ту, что вы прислали :
http://ru.wikipedia.org/wiki/Временной_ряд
может это как-то поможет ?