Пусть у нас есть N+1 векторов: вектор Y и вектора X1..Xn, и нам нужно построить линейную регрессию первого вектора на остальные

Y = A•X + R = Сумма(Аi*Xi) +R

-- где A = [A1..Аn] -- набор коэффициентов. Здесь я значком "•" обозначаю векторное произведение, а "*" -- обычное, поэлементное.

И мы почему-то не можем (или не хотим) "обращать матрицу", а вместо этого производим такой "первый шаг" нашей будущей (см. дальше) итерационной процедуры:

1) вычисляем Ci= Correlation(Y, Xi) и берём первое приближение А(1) равным С (поэлементно Ai(1) = Ci)

2) вычисляем невязку Z = Y - A(1)•X = Y - Сумма(Аi(1)*Xi) = Y - Сумма(Ci*Xi)

Понятно, что соотношение Y = A(1)•X + Z, вообще говоря, не является искомой нами регрессией (Y = A•X + R), потому что Z, вообще говоря, не "независимо" (в смысле корреляции) от X, а R должно быть независимо.

Однако мы можем на следующем шаге повторить описанную процедуру "удаления корреляций" уже для Z, а не для Y...
________________________________

Иными словами, введём в рассмотрение Z(0)=Y и A(0)=0 (нулевой вектор). Тогда мы можем записать тождество:

Y = Z(0)

и даже

Y = A(0)•X + Z(0)

-- это "нулевой шаг" нашей итерационной процедуры.

Её первый шаг, как написано выше:

Y = A(1)•X + Z(1)

--здесь я только добавил индекс "(1)" к Z. Укажу также, что поэлементно Ai(1) = Correlation(Zi(0), Xi) -- потому что Z(0) есть просто введенное нами обозначение для Y.

Введу также обозначение для операции "коллективной корреляции" С = CORR(Z,X) -- то есть вычисления всех коэффициентов корреляции (чисел Сi) вектора Z с каждым из векторов Xi.
Тогда, ещё раз:

Y = A(0)•X + Z(0) , где A(0)=0 -- нулевой шаг;

Y = (A(0)+A(1))•X + Z(1) , где A(1) = CORR(Z(0),X) -- её первый шаг. Я имею право вписать сюда "A(0)+", потому что A(0) это просто нули.

Если мы -- по индукции -- вычислим A(2) = CORR(Z(1),X) и введём в рассмотрение
следующую невязку Z(2) = Z(1) - A(2)•X, то, подставив отсюда Z(1) в уравнение "первого шага", получим:

Y = (A(0)+A(1))•X + A(2)•X + Z(2) = (A(0)+A(1)+A(2))•X + Z(2) -- второй шаг итерационной процедуры.

Y = (A(0)+A(1)+A(2)+A(3))•X + Z(3) -- третий шаг (где A(3) = CORR(Z(2),X))

и в общем виде:

Y = Сумма{A(j)}•X + Z(K) -- где сумма берётся по j = 0..K -- K-й шаг итерационной процедуры. И A(j) = CORR(Z(j-1),X) .
____________________________

Внимание, вопрос: будет ли Сумма{A(j)} сходится к ("истинным") коэффициентам регрессии Y на X, а Z(K), соответственно, сходиться к ошибке этой регрессии (R в самой первой формуле)?

НаЗабореНаписаноЛинейная регрессия (англ. Linear regression) — используемая в статистике регрессионная модель зависимости одной (объясняемой, зависимой) переменной y от другой или нескольких других переменных (факторов, регрессоров, независимых переменных) x с линейной функцией зависимости ( https://ru.wikipedia.org/wiki/Линейная_регрессия )

-- да, матричное, хорошо. Просто матрицы в моём изложении всегда вырожденные, а именно -- вектора. Вектор это ведь тоже матрица.

Y = A•X означает, что если А есть [1, 2, 3], а Х есть [4, 5, 6], то Y получится [1*4, 2*5, 3*6]

-- про А у меня исчерпывающе написано в третьей строке поста:
-- то есть А - вектор, Ak - компонент вектора, число.

У меня там только буква Х в формуле
не аккуратно употреблена, ибо не сказано явным образом, что Х это ВЕСЬ набор векторов Хi ... то есть, получается, да, Х это матрица.

Соответственно "A•X" это матричное умножение вектора А на матрицу Х.

Именно поэтому оно и расписывается следом как "Сумма(Аi*Xi)" -- то есть (векторная) сумма векторов Хi, каждый из которых умножен на свой коэффициент Аi.
__________________
-- все А без индекса i (A, A(0), A(1) ) -- это "наборы коэффициентов" (как сказано в третьей строчке поста), то есть вектора.

Номера итераций -- (0), (1), (2) и т.д -- специально взяты в скобки, чтобы не смешивать их с индексами компонент векторов -- 1, n, i в A1, An, Ai.

-- да, в классическом пакете SPSS реализована такая процедура -- построение (линейной) регрессии путём пошагового -- по одной --добавления в неё независимых переменных. В вашем описании есть кое-какие неточности, но сейчас не буду придираться.

Я делаю похожее, но другое: сразу запихиваю все переменные в "псевдорегрессию" -- которая сама по себе оказывается плохой реализацией регрессии (поэтому "псевдо-"), и потом делаю (многократно) то же самое с невязками, возникающими в этом итеративном ряду псевдорегрессий на каждой итерации.

Соколинский Борис, "из векторов {Xi} сделать {Y}" -- это и есть регрессия Y на (или "к") {Xi}. Слово "регрессия" означает "сведение к".

Я понимаю, что линейная регрессия разрешается путём диагонализации матрицы (в школе все учились, и я тоже). Но иногда это бывает тяжело, а иногда у людей бывает (извращенное) любопытство.

И посчитать N корреляций векторов всё-таки заметно легче, чем диагонализировать матрицу. Особенно если второе измерение всего этого зоопарка (ни разу не озвученное в исходном посте, а только подразумеваемое словом "вектор") -- например, десятки тысяч...