|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Есть N числовых рядов Dk (k=1...N) одинаковой длины L: Dk это dk(1), dk(2)... dk(L). Пусть все эти ряды имеют дисперсию, равную 1 (можно сказать, что они нормализованы по дисперсии). Рассмотрим синтетический ряд ("индекс") Y = Сумма(Ak*Dk) -- с коэффициентами Ak такими, что Сумма( |Ak| ) = 1 (то есть Y это некоторое взвешенное среднее исходных рядов, у некоторых из которых при этом знак поменян на противоположный) Вопрос: как построить ряд Y таким, чтобы у него дисперсия была 1) максимальная из всех возможных (Ymax); 2) минимальная из всех возможных (Ymin)? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 01:33 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
ПризнаЮсь, вопрос интересный. Не вдаваясь в то, для чего, выскажу неск. размышлизмов. 0) Ничего не известно о природе D. 1) Предположим, D как N случчайных величин. Тогда имеем N выборок и переходим от статистик настоящих СВ к оценкам статистик. 2) СлучВел. м.б. зависимы или независимы. 3) Допустим, они все имеют и МатОж (M вектор), Дисп обознач. DD вектор. 4) С одной стороны, при независимости можно максимально раздвигать выборки, тем самым увеличивая Дисп. 5) С другой ст., можно подобрать в конкретном случае {Ak} знакопеременными, чтобы максимально занулить Y. 6) Формула Дисп при п.(3) DD= E(dk^2 - M^2), где E есть L-сумма. DD >=0 если существует продолжу ... ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 12:45 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
не успел .... Возможно я не выдерживаю обозначения, но пока хоть так. к п.(6) для СВ DD(d1+d2)=DD(d1)+DD(d2)+cov(d1, d2), где cov()= ковариационная матрица. Для независимых cov() = 0, а для зависимых <>0. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 13:02 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
exp98 3) Допустим, они все имеют и МатОж (M вектор), 1) у конечных последовательностей, данных нам полностью -- как в задаче -- не "матожидание", конечно, а просто Среднее значение. 2) средние значения последовательностей Dk (и Y) -- вообще никак не влияют на их дисперсии, ибо при вычислении дисперсии среднее значение вычитается из (значений) ряда сразу, на первом же шаге 3) поэтому, собственно, я даже не стал упоминать, что "нормализованность" рядов Dk означает, что их средние равны нулю (ограничившись тем, что их дисперсии равны единице) ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 15:00 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Иван FXS, посмотрите метод наименьших квадратов и обобщенный метод наименьших квадратов ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 15:03 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
exp98 DD(d1+d2)=DD(d1)+DD(d2)+cov(d1, d2) -- бинго! Только там 2*cov(d1, d2), ибо (D1 + D2)^2 = D1^2 + D2^2 + 2*D1*D2 Ну и у нормализованных рядов ковариация совпадает с корреляцией. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 15:05 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Н-да, я слишком диагонально прочитал. Но и вы уж тогда тщательнЕе и без самодеятельных умолчаний. В п.(4) я перемудрил с плотностью распределения. Но надо уточнить и формулу Y = Сумма(Ak*Dk), как именно суммировать. Это сумма по k всех скалярных произведений (Ak*Dk) ? А м.б. Ak не матрица, а N-вектор, и тогда Y есть линейная комбинация векторов Dk? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 18:21 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
exp98 Y есть линейная комбинация векторов Dk "Y это некоторое взвешенное среднее исходных рядов" ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 18:56 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Иван FXS Есть N числовых рядов Dk (k=1...N) одинаковой длины L: Dk это dk(1), dk(2)... dk(L). Пусть все эти ряды имеют дисперсию, равную 1 (можно сказать, что они нормализованы по дисперсии). Рассмотрим синтетический ряд ("индекс") Y = Сумма(Ak*Dk) -- с коэффициентами Ak такими, что Сумма( |Ak| ) = 1 (то есть Y это некоторое взвешенное среднее исходных рядов, у некоторых из которых при этом знак поменян на противоположный) Вопрос: как построить ряд Y таким, чтобы у него дисперсия была 1) максимальная из всех возможных (Ymax); 2) минимальная из всех возможных (Ymin)? Первые везде одинаковые, там варьировать нечего. Вторые можно занулить везде кроме одной группы, и это будет минимум. А в существовании максимума я сильно сомневаюсь. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 19:16 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Соколинский Борис Дисперсия Y равна сумме внутригрупповых и межгрупповых дисперсий. Но в задаче меня сейчас путают Ak<0. B что-то меня тянет в сторону эллипсоида рассеяния в пространстве dim=L, с мыслями не могу собераться. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 20:19 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
exp98 Но в задаче меня сейчас путают Ak<0. -- ряды можно просто переворачивать -- ряд {-1, -1, -1, 1, 1, 1} преобразовать в {1, 1, 1, -1, -1, -1} Не понимаю, чему тут пугаться? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 20:43 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Соколинский Борис А в существовании максимума я сильно сомневаюсь. -- предполагаете, что, комбинируя ряды с единичной дисперсией, можно построить ряд с бесконечной дисперсией? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 20:46 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
пу Т ают Ak<0. От слова пуТанница. Иван FXS -- предполагаете, что, комбинируя ряды с единичной дисперсией, можно построить ряд с бесконечной дисперсией? Мож я до сих пор не всё понял. Можно пойти прямым путём подбора {A}? Пусть M=( D1 D2 ....) матрица состоит из столбцов Dk (A) - вектор-столбец. решаем матричное уравнение M*A=E - единичнй вектор (11111....). Дисперсия минимальна, =0 решаем M*A=X, где X - любой, перпендикуляр к E, напр (-1 1 -1 1 -1 1 ...). Дисперсия максимальна. Фигня пока в том, что я никогда не решал системы приближённо, за исключением метода простых итераций. Но здесь не этот случай. Предполагаю находить A покомпонентно, на основе расчёта какой вектор вносит наибольший вклад в отклонение Ср. арифметического всех Dk от E или X. Пока так. Порядок величин хотябы какой у N и L? и L/N =? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 22:52 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
exp98 решаем матричное уравнение M*A=E - единичный вектор (11111....) Попробуйте решить его даже для N = 2 и рядов: D1 = {1,1,1,1,-1,-1,-1,-1} D2 = {1,-1,1,-1,1,-1,1,-1} exp98 Порядок величин хотябы какой у N и L? и L/N =? а L , наверное, всё-таки больше N (в практическом применении меня интересуют большие L, скажем, тысяча ... а почему, собственно, не миллионы, если алгоритм решения будет построен) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.08.2020, 00:12 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Соколинский Борис Дисперсия Y равна сумме внутригрупповых и межгрупповых дисперсий. Ну вот для начала, группы в этой задаче -- это что? Не в задаче вообще, а конкретно внутри выражения Y = Сумма(Ak*Dk) ? Нас же этого ряда дисперсия интересует! ... |
|||
:
Нравится:
Не нравится:
|
|||
25.08.2020, 00:18 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Иван FXS Соколинский Борис Дисперсия Y равна сумме внутригрупповых и межгрупповых дисперсий. Ну вот для начала, группы в этой задаче -- это что? Не в задаче вообще, а конкретно внутри выражения Y = Сумма(Ak*Dk) ? Нас же этого ряда дисперсия интересует! Я ошибся в том, что множитель аргумента в дисперсии возводится в квадрат, поэтому задача таки не банальная. Но утешает, что искомые множители входят не больше чем во второй степени, поэтому задача имеет точное аналитическое решение - поиск экстремума При ограничениях. Множители Лагранжа и все такое. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.08.2020, 09:51 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Соколинский Борис, вообще-то это "конструктивная задача", в которой часть "аргументов" явно заданы, а другая часть -- коэффициенты Ак -- подлежат подбору. И если под группами мы понимаем ряды Dk, то -- как мы выше договорились -- их можно без потери общности считать ВСЕ "центрованными нулём" (среднее значение, или сумма, равны нулю). А если бы можно было отредактировать исходный пост -- так я бы и явным образом это внес в условие задачи. В таком случае -- какая тут будет "межгруповая дисперсия"? А, понял! Вот это Соколинский Борис Если они независимы, ... |
|||
:
Нравится:
Не нравится:
|
|||
25.08.2020, 10:04 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Иван FXS В таком случае -- какая тут будет "межгруповая дисперсия"? Иван FXS У них ненулевые (парные) корреляции. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.08.2020, 10:44 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Соколинский Борис, кстати, давайте посмотрим, что будет, если у рядов ненулевое среднее/сумма. Вот, например, ряды D1 = {1001,1001,1001, 999, 999, 999} D2 = {2001,1999,2001, 1999,2001,1999} -- у них дисперсии порядка 1... Можно ли "смешивая" их -- беря взвешенное среднее -- получить ряд с дисперсией "порядка тысяч"? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.08.2020, 10:50 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Иван FXS Соколинский Борис, кстати, давайте посмотрим, что будет, если у рядов ненулевое среднее/сумма. Вот, например, ряды Можно ли "смешивая" их -- беря взвешенное среднее -- получить ряд с дисперсией "порядка тысяч"? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.08.2020, 11:16 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Иван FXS exp98 решаем матричное уравнение M*A=E - единичный вектор (11111....) ....... а L , наверное, всё-таки больше N Методы по типу "главных компонент" (уже написано про собственные числа) для вырожденных "вертикальных" матриц -- стоит подумать, это я себе сказал.. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.08.2020, 11:31 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Иван FXS Соколинский Борис, кстати, давайте посмотрим, что будет, если у рядов ненулевое среднее/сумма. Вот, например, ряды D1 = {1001,1001,1001, 999, 999, 999} D2 = {2001,1999,2001, 1999,2001,1999} -- у них дисперсии порядка 1... Можно ли "смешивая" их -- беря взвешенное среднее -- получить ряд с дисперсией "порядка тысяч"? Для минимума надо стремиться "минимаксно" сблизить ряды, заставив меньший диапазон въехать в другой. Для максимума -- "минимаксно" раздвинуть. Как раз принцип внутри- и меж-групповой дисперсии. Конструктивно, я предлагал это через невязки (в геометрической интерпретации). Ннаверное то же самое получим через собственные числа квадратной матрицы. Они поставят координаты векторов в порядке значимости их влияния на суммарную дисперсию. Задействовать из них нужно самые главные. Вычисление собств. значений есть рутинная процедура. Могу завтра алгоритм подогнать. У меня бэйсиковый, для 1000 не сработает, столбцов эксэлке2003 мало. П.С, Кстати метод Лагранжа (упомянутый) как раз подбирает коэф-ты через частные производные по каждому параметру. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.08.2020, 11:42 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Соколинский Борис В таком случае нужно строить ковариационную матрицу и искать ее собственные числа/вектора (гуглим метод Якоби). СВ соответствующий наименьшему по модулю СЧ даст коэффициенты для наименьшей дисперсии (с их нормировкой, полагаю, проблем не будет). Соответственно, СВ для наибольшего по модулю СЧ даст максимум. -- у меня такое ощущение, что это -- или где-то там -- и есть решение задачи. Так что спасибо! ... |
|||
:
Нравится:
Не нравится:
|
|||
25.08.2020, 12:00 |
|
Алгоритм нахождения экстремумов дисперсии
|
|||
---|---|---|---|
#18+
Соколинский Борис, вдогонку: если бы мы не строили индекс из исходных рядов (Dk, как в задаче), а "соединяли" бы их, то есть из рядов D1 = {1001,1001,1001, 999, 999, 999} D2 = {2001,1999,2001, 1999,2001,1999} порождали бы ряд Y = {1001,1001,1001, 999, 999, 999, 2001,1999,2001, 1999,2001,1999} -- вот тогда бы ваша первоначальная концептуализция "Дисперсия Y равна сумме внутригрупповых и межгрупповых дисперсий" -- была бы полезна. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.08.2020, 20:28 |
|
|
start [/forum/topic.php?fid=16&msg=39992187&tid=1339748]: |
0ms |
get settings: |
11ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
161ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
64ms |
get tp. blocked users: |
2ms |
others: | 241ms |
total: | 513ms |
0 / 0 |