powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Оценить равномерность данных
18 сообщений из 43, страница 2 из 2
Оценить равномерность данных
    #38027487
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я ошибаюсь или для определения зависимости (необязательно периодической) считают автокорреляцию?
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38027601
Фотография AndreTM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TopSpaceAndreTM data2[rand() % SZ] = 1 (а кто сказал, что одно и то же "случайное" число не выпадет несколько раз?)Запросто) Если из 50 значений 10 попадут в те ячейки, которые уже заняты - мы получим случайное распределение 40, а не 50 значений. Особо это ничего не меняет , это ж наколеночный пример.AndreTMЯ просто пытаюсь вам сказать, что ... не учитываете количество самих значений. Например, если из 200 "значений" 198 придутся на индекс 500, одно - на индекс 400, и одно - на индекс 700 (всего индексов - 1000), то, по вашей логике, будут исследованы четыре промежутка - 400, 100, 200, 300... и какое отношение эти промежутки имеют к тому, что "значения" как раз вполне себе "равномерны"..?Вам еще раз повторить? По вашей логике (без накопления информации о количестве значений) - вы в большинстве случаев получите для "исследования" цифры, никакого отношения к исходной последовательности не имеющие.
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38027631
Фотография AndreTM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TopSpaceпредставим датчик, выдающий случайный сигнал - мы его записываем. Потом мы влияем на датчик таким образом, что характер генерации случайного сигнала меняется... Как крайний вариант, он вообще перестает быть случайным, и становится строго периодичным. Задача сравнить 2 эти сигнала , и выявить, произошли ли изменения.Уже ближе к постановке задачи.
Но что вы подразумеваете под "сигналом"? Непрерывный аналоговый поток, который нужно дискретизировать и оцифровать? Тактированные импульсы (возможно, с изменяющейся амплитудой)? Еще что-то?
Нельзя просто сказать "ну вот же я написал в программе, как, типа, выглядит сигнал1, сигнал2 ". Вы должны показать, что по одинаковой методике закодировали параметры исходных сигналов каждого процесса, которые будете исследовать/сравнивать.
"Выявление изменений" какого плана необходимо? Обнаружить "неслучайность" (периодичность) определенного сигнала? Сравнить два сигнала на предмет "большей случайности/периодичности одного из них? Или просто обнаружить, что "сигналы различны" ?
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38027819
TopSpace
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
AndreTMНо что вы подразумеваете под "сигналом"? Непрерывный аналоговый поток, который нужно дискретизировать и оцифровать?

Он уже оцифрован, поступает с датчика через USB с фиксированной частотой. Ну скажем так, программа получает поток даннных, т.е. 10 раз в секунду прилетает массив байтов одной и той же размерности (скажем, 1000 элементов). Большинство элементов в этом сигнале - нули, есть ненулевые.


AndreTM"Выявление изменений" какого плана необходимо? Обнаружить "неслучайность" (периодичность) определенного сигнала? Сравнить два сигнала на предмет "большей случайности/периодичности одного из них?

Пока сложно сказать (тем более, математически грамотно) о каких изменениях идет речь. Если упрощенно, то "неслучайность", да. Записали 3 сигнала, то есть имеем 3 массива по миллиарду байт, и нужно показать (лучше в виде 3-х наложенных графиков) их "коэффициенты упорядоченности", где будет видно, что второй "менее случаен" чем первый, а третий "еще более структурирован" чем второй. Какова природа этой структурированности - неизвестно, да и пока не важно.

Что вообще означает "структурированность"? Я это понимаю так: наличие регулярности в структуре. Поэтому, пока нет желания смотреть сами значения, лежащие в массиве, хочется смотреть их распределение по массиву. Пусть там лежат хоть единички, хоть десятки, хоть 255 - не важно, важно как они распределены "в пространстве". Мы включаем поле, от которого датчик начинает выдавать другой сигнал, и нужно алгоритмом зафиксировать, что да, сигнал стал другим, "менее случайным".
Ситуация осложняется тем, что включение поля повышает плотность сигнала, т.е. количество ненулевых элементов массива. Если бы оно было бы всегда одинаковым, достаточно было бы того кода, что я привел в начале - считаем длины нулевых промежутков, строим их дисперсию. Чем ближе она к нулю - тем сигнал более упорядочен. Ну или строим спектр. У идеального шума он будет просто линией (горизонтальной), при появлении регулярности в структуре, появятся гармоники. Но для разной плотности сигнала это все не работает.
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38028226
Abstraction
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TopSpace Что вообще означает "структурированность"? Я это понимаю так: наличие регулярности в структуре. Поэтому, пока нет желания смотреть сами значения, лежащие в массиве, хочется смотреть их распределение по массиву. Пусть там лежат хоть единички, хоть десятки, хоть 255 - не важно, важно как они распределены "в пространстве". Мы включаем поле, от которого датчик начинает выдавать другой сигнал, и нужно алгоритмом зафиксировать, что да, сигнал стал другим, "менее случайным".
Ситуация осложняется тем, что включение поля повышает плотность сигнала, т.е. количество ненулевых элементов массива. Если бы оно было бы всегда одинаковым, достаточно было бы того кода, что я привел в начале - считаем длины нулевых промежутков, строим их дисперсию. Чем ближе она к нулю - тем сигнал более упорядочен. Ну или строим спектр. У идеального шума он будет просто линией (горизонтальной), при появлении регулярности в структуре, появятся гармоники. Но для разной плотности сигнала это все не работает.Осталось понять, что Вы понимаете под "регулярностью в структуре". Насколько я понимаю, исходная задача - есть два сигнала, шумовой и информационный, "наложенные" друг на друга. По-видимому, шумовой сигнал - белый шум, информационный - равномерные "ступеньки" (известной продолжительности? неизвестной?). Если наложение - простое суммирование, задача вообще хрестоматийная; если XOR - чуть похуже, но те же методы должны сработать.
Если сказанное соответствует Вашей задаче, всё-таки попробуйте Фурье. "Ступеньки" должны быть достаточно хорошо видны: характерными лепестками на диаграмме, "выступающими" из равномерного шума.
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38028655
TopSpace
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Abstractionесть два сигнала, шумовой и информационный, "наложенные" друг на друга. По-видимому, шумовой сигнал - белый шум, информационный - равномерные "ступеньки" (известной продолжительности? неизвестной?).
Ну почти, есть два сигнала: шум, и "модифицированный шум", в котором произошли некие структурные изменения. Это словно взяли сигнал шума, и переставили в нем байты таким образом, чтобы они шли не со случайными промежутками, а с некоторым (неизвестным) шагом. Короче говоря, что-то в шуме изменилось) И нужно оценить (желательно, количественно) что это уже "не совсем шум". Т.е. сигнал уже выходит за рамки того вероятностного закона, которому подчиняется первый.
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38028689
Abstraction
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TopSpaceAbstractionесть два сигнала, шумовой и информационный, "наложенные" друг на друга. По-видимому, шумовой сигнал - белый шум, информационный - равномерные "ступеньки" (известной продолжительности? неизвестной?).
Ну почти, есть два сигнала: шум, и "модифицированный шум", в котором произошли некие структурные изменения. Это словно взяли сигнал шума, и переставили в нем байты таким образом, чтобы они шли не со случайными промежутками, а с некоторым (неизвестным) шагом. Короче говоря, что-то в шуме изменилось) И нужно оценить (желательно, количественно) что это уже "не совсем шум". Т.е. сигнал уже выходит за рамки того вероятностного закона, которому подчиняется первый.Выделенное - очень странная формулировка. Я не представляю себе реальных процессов, способных породить такой эффект. Если имеем сложный случайный процесс, который нельзя (хотя бы приближённо) рассматривать как суперпозицию элементарных, это может быть очень неприятно. Важно понимать, что любые применимые оценки "случайности сигнала" в том или ином виде опираются на некоторые предположения о природе этого самого сигнала. "Чистый" белый шум, как вариант, можно определять как малый разброс по интенсивности различных гармоник (или любого иного разложения по "достаточно хорошему" базису, если на то пошло). Чем больше разброс - тем меньше вероятность получения картины с таким или большим разбросом при условии, что сигнал есть белый шум.
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38028726
TopSpace
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Abstraction,

пример можно привести простой. Есть сложная антенна, состоящая из 1000 небольших принимающих устройств, расположенных последовательно (в виде линии). Сигнал снимается сразу со всех, т.е. приходит в виде массива 1000 байт (если считать, что значение сигнала с одного датчика - 1 байт). Антенна настроена на прием потока энергии, от которого датчики шумят, т.е. выдают 1 (на самом деле 1..255, но это пока не важно) или 0 вне зависимости друг от друга. Следовательно, если нарисовать массив (это как один "кадр" сигнала) в виде 01011101010, то расположение единичек случайное, длины пробелов между ними случайны. Вот антенна уловила такой поток энергии, который заставляет шуметь датчики с фиксированным шагом. Это как крайняя степень влияние потока энергии, возможны и все промежуточные.
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38028774
Abstraction
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TopSpaceAbstraction,

пример можно привести простой. Есть сложная антенна, состоящая из 1000 небольших принимающих устройств, расположенных последовательно (в виде линии). Сигнал снимается сразу со всех, т.е. приходит в виде массива 1000 байт (если считать, что значение сигнала с одного датчика - 1 байт). Антенна настроена на прием потока энергии, от которого датчики шумят, т.е. выдают 1 ( на самом деле 1..255, но это пока не важно ) или 0 вне зависимости друг от друга. Следовательно, если нарисовать массив (это как один "кадр" сигнала) в виде 01011101010, то расположение единичек случайное, длины пробелов между ними случайны. Вот антенна уловила такой поток энергии, который заставляет шуметь датчики с фиксированным шагом . Это как крайняя степень влияние потока энергии, возможны и все промежуточные.Во-первых, важно. Потому что это означает, что до достижения значения 255 интенсивности сигнала и шума будут складываться, что важно для некоторых методов.
Во-вторых, "шуметь с фиксированным шагом" - странный оборот. В описанном эксперименте, если только датчики не какие-то сверхбыстрые, пришедший импульс будет прочитан ими всеми в один и тот же такт. Более того, задача у Вас тогда двумерная: есть 1000 датчиков, которые выдают результаты в моменты времени 0, 1, 2... И задач здесь может быть много разных. К примеру - искать всплески (считаем сумму по всем датчикам в каждый момент времени, рисуем график суммы от времени, видим пики). Или, действительно, приходит нечто хитро распределённое в пространстве и надо отловить это "нечто" на фоне шума - тогда, если "нечто" повторяется, может быть хорошей идеей считать среднее квадратов показаний конкретного датчика по времени. Ну, опять же, можно пробовать Фурье, но надо быть уже очень осторожными, чтобы не получить ошибки первого рода за счёт большого числа испытаний или нечёткой формулировки методики... кажется, кто-то когда-то уже об этом Вам говорил.
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38028978
ДохтаР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TopSpaceAbstraction,

пример можно привести простой. Есть сложная антенна, состоящая из 1000 небольших принимающих устройств, расположенных последовательно (в виде линии). Сигнал снимается сразу со всех, т.е. приходит в виде массива 1000 байт (если считать, что значение сигнала с одного датчика - 1 байт). Антенна настроена на прием потока энергии, от которого датчики шумят, т.е. выдают 1 (на самом деле 1..255, но это пока не важно) или 0 вне зависимости друг от друга. Следовательно, если нарисовать массив (это как один "кадр" сигнала) в виде 01011101010, то расположение единичек случайное, длины пробелов между ними случайны. Вот антенна уловила такой поток энергии, который заставляет шуметь датчики с фиксированным шагом. Это как крайняя степень влияние потока энергии, возможны и все промежуточные.

С этого нужно было начинать .

Этот пример для фундаментальной науки особого интереса не представляет .

Не случайны, а зависят от угла, на который отклонен источник сигнала относительно перпендикуляра
линии датчиков.

Для вычисления направления фиксированного местоположения источника 1 производная.
Для движущегося вторая ( изменение фазы).
Не забудьте учесть растояние между датчиками в пересчете на длину волны :)
Имменно изза несогласованности длины волны и растояния между датчиками вы получаете при неизвестном угле якобы псевдослучайные показания.
Потому как неизвестных в системе уравнений больше чем уравнений.
И это все при условии , что у вас синхронизация измерений правильная.

Ваши датчики будут шуметь с фиксированным шагом , если излучатель находится на
на линии перпендикуляра в средине линии датчиков
, растояния между датчиками согласованы с длинной волны
и вы меряете действительно синхронно относительно длины волны.



Приблизительно так.
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38029021
ДохтаР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник

фундаментальный закон описывающий физику процесса с датчиками и излучателями


Изменение разности амплитуд на датчиках относительно перпендикуляра
дает возможность достаточно просто посчитать угол падения волны на линию датчиков.

зы Я сначала был физиком СВЧ , а потом уже админом стал ввиду отсутствия работы по профилю
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38029232
TopSpace
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я извиняюсь, что излагаю нечетко, и толком не могу обрисовать задачу) Просто, она сугубо исследовательская (фазированная решетка - близко, но немного не то), и многое пока непонятно даже в теории. Но я все-таки придерживаюсь изначальной формулировки: вычисление степени разброса промежутков. Спектр - это пока самое близкое, что нащупывается. Иными словами: как понять, что сигнал случайный? Спектр. Ну или еще "более другими" словами:

Код: c#
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
int[] x1 = {0, 0, 1, 0};
int[] x2 = {0, 0, 0, 0, 1, 0, 0};

bool isTheSameSignalStruct = Math.Abs( f(x1) == f(x2) );

...
double f (int[] data)
{
   вот тут должно быть что-то хитрое
}
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38029235
TopSpace
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ой,
Код: c#
1.
bool isTheSameSignalStruct = Math.Abs( f(x1) - f(x2) ) < epsilon;
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38029245
ДохтаР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TopSpaceЯ извиняюсь, что излагаю нечетко, и толком не могу обрисовать задачу) Просто, она сугубо исследовательская (фазированная решетка - близко, но немного не то), и многое пока непонятно даже в теории. Но я все-таки придерживаюсь изначальной формулировки: вычисление степени разброса промежутков. Спектр - это пока самое близкое, что нащупывается. Иными словами: как понять, что сигнал случайный? Спектр. Ну или еще "более другими" словами:

Код: c#
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
int[] x1 = {0, 0, 1, 0};
int[] x2 = {0, 0, 0, 0, 1, 0, 0};

bool isTheSameSignalStruct = Math.Abs( f(x1) == f(x2) );

...
double f (int[] data)
{
   вот тут должно быть что-то хитрое
}




А вы ученный муж или кодер ( программист) ?
У любой исследовательской задачи есть начальные и граничные условия,
то что вы привели , в качестве исходных данных никак нельзя назвать условиями,
это только факты полученные при непонятных условиях и обстоятельствах.

Решение любой исследовательской задачи сводится к составлению системы уравнений.
У вас хоть одно уравнение из этой системы есть ?

Зы Без обид , но ваш подход мне напоминаяет
действия менеджера чуть выше среднего уровня.
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38029305
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TopSpaceИными словами: как понять, что сигнал случайный?Считайте корреляцию.
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38029312
TopSpace
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
в душе ученый,
по образованию и роду деятельности - программист)

Да, Вы правы, пока это все назвать полноценным исследованием нельзя. Делаю это в свободное от работы время, на коленке, в очень сжатые сроки, не всегда последовательно и обстоятельно.

До уравнений еще не дошел, пока на стадии создания модели процесса. Т.е. чтобы просто получить первый результат на уровне "да, тут что-то происходит интересное". Ну точнее, что оно происходит, я вижу по косвенным признакам, нужно подвести минимальную формальную базу под это. Есть успешный опыт решения исследовательских задач через программирование. Не написание программы, реализующей заданный алгоритм, вышедший из уравнений и модели, а именно взгляд на теоретическую проблему чисто глазами программиста, пусть где-то наивно, но в области совершенно неизученной это даже плюс.
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38029314
TopSpace
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Basil A. SidorovСчитайте корреляцию.
Автокорреляция первого сигнала, или корреляция первого и второго сигнала? И что фактически мне даст коэффициент корреляции, как его использовать?
...
Рейтинг: 0 / 0
Оценить равномерность данных
    #38029638
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TopSpaceАвтокорреляция первого сигнала, или корреляция первого и второго сигнала?Зависит от того, что именно хотите получить.
Если ваши пачки отсчётов снимаются с соответствующего числа физических датчиков, то автокорреляция, скорее всего, выделит "пространственную зависимость", корреляция между соседними отсчётами - "временнУю зависимость".И что фактически мне даст коэффициент корреляции, как его использовать?Если ноль - сигналы датчиков статистически независимы и мы наблюдаем (только) шум.
Кроме того, корреляция позволяет считать не только коэффициенты, но и функции, для которых будет "выброшена" случайная составляющая. То, что получится можно будет анализировать дальше.

P.S. А вообще - пробежался по википедии и понял, что подзабыл то немногое, что знал :)
...
Рейтинг: 0 / 0
18 сообщений из 43, страница 2 из 2
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Оценить равномерность данных
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]