Иван FXS, это как? то есть нормальность остатков гарантирует оптимальность гиперпрямой, полученной через МНК? То есть сначала много-много раз получали приятные решения, потом решили притянуть к ним теоретич. обоснование?

Иван FXS, эм-мм, не то чтобы недостаточно. Скажу по-свойски.
Когда предполагается нормальность совместного распр. X и Y, тогда одновременно она же получается и для остатков.
Но у нас при отклике Y(х)=M(Y|x)= m(x) - неизвестная ф-ция от х, имеем только её ту или иную оценку. Что проще: узнать мат.ож. отклика или предположить нормальность? Вот и выбираем последнее. Притом уже предполагаем существование M(Y|x) и D(Y|x).

И тогда, захотев, чтобы линейное приближение не увеличивало дисперсию Y , D(Y|x)=M(Y - a*x-b)^2= M(Y - m(x))^2 + M(m(x) - a*x-b)^2 формальное + и - слагаемого. И D=min(a, b), когда оба слагаемых минимальны одновременно. Для этого пытаемся, чтобы a*x-b ==m(x). Достаточно максимально правдоподобных параметров a и b. Ан нет, мы не знаем m(x) точно. Зато знаем левую часть.

Поэтому решаем оптимизационную задачу M(Y - a*x-b)^2 -->min(a,b), (фактически метрика взвешенная L2). Всё бы хорошо, да что-то нехорошо. Ах, да, мы же вероятность не знаем в формуле матож. И существет ли оно само. Придётся сделать предположения о распределении (X, Y), причём о совместном.

Проще всего, если оно норм, exp(t^2/2) максимума при t=0. Эта же точка будет и наиболее вероятной. Академический подход - метод макс. правдоподобия. А без этих вероятностных предположений и интерпретаций кто такой МНК? всего лишь гиперкривулька, проходящая ближе всего от заданных точек в метрике почти L2? заодно проходящая в некой "близости" от Y, и чё дальше? почему именно такая метрика? МНК об этом знает? И главное - есть приемственность результата в будущих экспериментах (т.е. вопрос устойчивости, хотя и у гаусса она чувствительна к аномалиям)?

Может можно короче или яснее (или даже правильнее), но как смог.

П.с. Интересно другое, раньше я не задумывался, можно ли предполагать, к примеру что-нибудь одномодовое кроме Гаусса. Например, более крутое. Симметричное? А при 2-х модовом усложнится МНК. Я не вкурсе, может и доказано было, что Гаусс даёт наилучшие несмещённые оценки и т.п.

чтобы меньше нареканий

вместо (a*x-b)
следует читать (a*X-b) здесь СВ как линейная ф-ция от СВ X.

Иван FXS, вы должны понимать, что я не подвергаю сомнению МНК.
Но кроме того, прекращаю дальнейшие пикирования, потому что до ночи читал матэнциклопедию Виноградова на эти темы (тт. III и IV). Даже учитывая краткость энцикл-ких изложений, это заняло много времени, до МНК дошёл под конец. Там ему много страниц (для энц. много) посвящено, диагонально прочёл, но не всё осилил.

Главный же мой вывод из чтива такой.
С Р. у меня достаточно хорошо, не стану уже исправлять позднюю опечатку (aX+b).

С МНК у меня однобоко. Вы правы с термином "обосновывать". Действительно, согласно истории Гаусс и Лежандр считаются основателями МНК. И, опровергая мои рассуждения, руководствовались именно метрическими соображениеми, к-рые затем подтверждались на практике. Впрочем недаром МО, Д и т.д. называют моментами энного порядка, взято из механики. Вероятностная подоплёка, наверняка, сложилась позднее и для части ситуаций, где её можно обоснованно ввести. А нормальность распределений для части этой части. И именно для предположений нормальности в МНК я не ошибался.

"Остатки" и их нормальность в МНК не увидел. Машинально относил это понятие к Р. , а в МНК другой термин: об Х предлагают думать как о сумме (m+eps), где eps - случ. величина. Но тогда автоматическки и (m+eps) СВ. Но ведь eps в наблюдениях - терминологически никак не остаток, а всего лишь "предполагаемая ошибка фактического наблюдения". Правильно? Ну и тогда ваши слова были о том же, что и я.

И, собственно метод макс. правдоподобия в современном изложении значительно шире предположений о нормальности распр.
Я думаю, мы каждый при своих остались, типа ничья.