Свойства оценок на основе метода наименьших квадратов

Введение 3
1. Сущность метода наименьших квадратов 4
2. Свойства оценок на основе метода наименьших квадратов 8
2.1 Несмещенность оценок 9
2.2 Оптимальность оценок 10
Заключение 11
Список используемой литературы 12
...

Введение 3
1. Сущность метода наименьших квадратов 4
2. Свойства оценок на основе метода наименьших квадратов 8
2.1 Несмещенность оценок 9
2.2 Оптимальность оценок 10
Заключение 11
Список используемой литературы 12

До начала XIX в. учёные не имели опредёленных правил для решения системы уравнений, в которой число неизвестных менее числа уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам.
Метод получил название метода наименьших квадратов, потому что после подстановки в начальные уравнения неизвестных величин, выведенных этим способом, в правых частях уравнений получаются если и не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков, после подстановки каких бы то ни было других значений неизвестных. Помимо этого, решение уравнений по способу наименьших квадратов даёт возможность выв одить вероятные ошибки неизвестных, то есть даёт величины, по которым судят о степени точности выводов.
В связи с этим рассматриваемая проблема представляется актуальной и заслуживающей изучения.
Целью данной работы является изучение свойств оценок на основе метода наименьших квадратов.
Для этого необходимо решить следующие задачи:
- рассмотреть сущность метода наименьших квадратов;
- изучить несмещенность МНК-оценок;
- исследовать оптимальность МНК-оценок.

1. Сущность метода наименьших квадратов
Метод наименьших квадратов (МНК) — один из методов теории ошибок для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки.1
МНК применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при наблюдений обработке. Метод предложен К. Гауссом (1794-95) и А. Лежандром (1805-06). Первоначально он использовался для обработки результатов астрономических и геодезических наблюдений. Строгое математическое обоснование и установление границ содержательной применимости Н. к. м. даны А. А. Марковым (старшим) и А. Н. Колмогоровым. Ныне МНК представляет собой один из важнейших разделов математической статистики и широко используется для статистических выводов в различных областях науки и техники.2
Сущность обоснования МНК (по Гауссу) заключается в допущении, что "убыток" от замены точного (неизвестного) значения физической величины и её приближённым значением X, вычисленным по результатам наблюдений, пропорционален квадрату ошибки: (X - m)2. В этих условиях оптимальной оценкой естественно признать такую лишённую систематической ошибки величину X, для которой среднее значение "убытка" минимально. Именно это требование и составляет основу МНК. В общем случае отыскание оптимальной оценки Х - задача весьма сложная, поэтому практически эту задачу сужают и в качестве Х выбирают линейную функцию от результатов наблюдений, лишённую систематической ошибки, и такую, для которой среднее значение "убытка" минимально в классе всех линейных функций. Если случайные ошибки наблюдений подчиняются нормальному распределению и оцениваемая величина m зависит от средних значений результатов наблюдений линейно, то решение этой задачи будет одновременно являться и решением общей задачи. При этом оптимальная оценка Х также подчиняется нормальному распределению со средним значением m.3
Пусть для оценки значения неизвестной величины m произведено n независимых наблюдений, давших результаты Y1, Y2,..., Yn, т. е. Y1 = m + d1, Y2 = m + d2,..., Yn = m + dn, где d1, d2,..., dn — случайные ошибки (по определению, принятому в классической теории ошибок, случайные ошибки — независимые случайные величины с нулевым математическим ожиданием: Еdi = 0; если же Edi ¹ 0, то Еdi, называются систематическими ошибками). Согласно Наименьших квадратов метод, в качестве оценки величины m принимают такое X, для которого будет наименьшей сумма квадратов (отсюда и само название метода):
где pi = k/si2 и si2 = Ddi = Edi2
(коэффициент k > 0 можно выбирать произвольно). Величину pi называют весом, a si — квадратичным отклонением измерения с номером i. В частности, если все измерения равноточны, то s1 = s2 =... = sn, и в этом случае можно положить p1 = p2 =... = pn = 1; если же каждое Yi, — арифметическое среднее из ni, равноточных измерений, то полагают pi = ni.
Сумма S (X) будет наименьшей, если в качестве Х выбрать взвешенное среднее:
Оценка величины m лишена систематической ошибки, имеет вес Р и дисперсию
В частности, если все измерения равноточны, то Y — арифметическое среднее результатов измерений:
При некоторых общих предположениях можно показать, что если количество наблюдений n достаточно велико, то распределение оценки мало отличается от нормального с математическим ожиданием m и дисперсией k/P.
Согласно МНК, качестве оценок для неизвестных xj применяют такие величины Xj, для которых сумма квадратов отклонений
будет наименьшей (как и в предыдущем случае, pi — вес измерения Yi, — величина, обратно пропорциональная дисперсии случайной ошибки di). Условные уравнения, как правило, несовместны, т. е. при любых значениях Xj разности
не могут, вообще говоря, все обратиться в нуль, и в этом случае
также не может обратиться в нуль. Наименьших квадратов метод предписывает в качестве оценок выбрать такие значения Xj, которые минимизируют сумму S. В тех исключительных случаях, когда условные уравнения совместны и, значит, обладают решением, это решение совпадает с оценками, полученными согласно МНК.
Сумма квадратов S представляет собой квадратичный многочлен относительно переменных Xj; этот многочлен достигает минимума при таких значениях X1, X2,..., Хm, при которых обращаются в нуль все первые частные производные.
Оценки Xj, получающиеся в результате решения системы нормальных уравнений, лишены систематических ошибок (Exj = xj); дисперсии Dxj; величин Xj равны kdjj/d, где d — определитель системы (5), а djj — минор, соответствующий диагональному элементу [раjaj] (иными словами, djj/d — вес оценки Xj). Если множитель пропорциональности k (k называется дисперсией на единицу веса) заранее неизвестен, то для его оценки, а также для оценки дисперсии Dxj служат формулы.
2. Свойства оценок на основе метода наименьших квадратов