Нелинейный метод наименьших квадратов

Оглавление
Введение
1.Метод градиентного спуска
2.Метод Ньютона
3.Метод Ньютона-Гаусса
4.Методы, не использующие вычисления производных
5.Способы нахождения начального приближения
6.Вопросы существования и единственности МНК-оценки
Заключение
Литература

Нелинейный метод наименьших квадратов

Такой подход к оценке коэффициентов уравнения регрессии получил название нелинейного метода наименьших квадратов.
Наибольшее распространение в настоящее время получили алгоритмы итерационного типа
, (3)
где s  номер итерации; ds  вектор, определяющий направление движения на s-й итерации; rs  длина шага; bs  оцениваемый параметр уравнения регрессии.
Идея, лежащая в основе этих алгоритмов, очень проста: на каждом шаге двигаться в направлении минимума функции J. Различные алгоритмы отличаются способом выбора это­го направления и правилами выбора длины шага.
Т.о. целью работы является рассмотрение основ нелинейного метода наименьших квадратов и особенностей его применения. Для достижения цели работы необходимо решить следующие задачи:
 охарактеризовать нелинейные методы используемыедля нахождения оценок коэффициентов уравнения регрессии;
 охарактеризовать способы нахождения начального приближения оценок коэффициентов уравнения регрессии;
 рассмотреть условия существования и единственности МНК-оценок Заключение
1. При исследовании параметрических моделей регрессии наи­более распространенным типом оптимизируемого (с целью нахождения оценок неизвестных значений параметров рег­рессии) критерия адекватности модели является взвешенный (или обобщенный) критерий наименьших квадратов (см. (1), (2)). Следует стремиться к построению таких вычислитель­ных алгоритмов решения оптимизационных задач, которые наряду с решениями этих задач  значениями оценок в не­известных параметров b, давали бы необходимые харак­теристики их точности (оценки элементов ковариационных матриц, доверительные области и т. п.).
2. Наибольшее распространение среди методов поиска оценок наименьших квадратов получили алгоритмы итерационного типа, позволяющие на каждой следующей ((s + 1)-й) итера­ции получать приближенные значения bS+1 искомых оценок параметров, лежащие «ближе» к истинному решению b* соот­ветствующей оптимизационной задачи, чем значения bs пре­дыдущей итерации. Если движение осуществ­ляется в направлении под острым углом к антиградиенту оптимизируемой функции, то алгоритм относится к классу ал­горитмов квазиградиентного типа.
3. Если движение в итерационной процедуре уточнения зна­чений оценок параметров осуществляется непосредственно в направлении антиградиента, то процедуру относят к алгорит­мам градиентного спуска. Подобные алгоритмы обеспечивают (при определенных ограничениях на минимизируемую функ­цию) сходимость последовательности Gs со скоростью геомет­рической прогрессии (линейная сходимость). Из-за того, что реальная скорость сходимости таких алгоритмов резко сни­жается при приближении 6S к предельному значению b*, градиентный спуск целесообразно применять лишь на началь­ных этапах минимизации, используя найденные в результате сравнительно небольшого числа итераций величины bS в качестве начальных приближений для более сложных мето­дов, обладающих большей скоростью сходимости.