Вход

Нелинейный метод наименьших квадратов

Рекомендуемая категория для самостоятельной подготовки:
Реферат*
Код 148737
Дата создания 2008
Страниц 17
Источников 7
Мы сможем обработать ваш заказ 19 апреля в 10:00 [мск]
Файлы будут доступны для скачивания только после обработки заказа.
560руб.
КУПИТЬ

Содержание

Оглавление
Введение
1.Метод градиентного спуска
2.Метод Ньютона
3.Метод Ньютона-Гаусса
4.Методы, не использующие вычисления производных
5.Способы нахождения начального приближения
6.Вопросы существования и единственности МНК-оценки
Заключение
Литература

Фрагмент работы для ознакомления

Если движение осуществляется в направлении под острым углом к антиградиенту оптимизируемой функции, то алгоритм относится к классу алгоритмов квазиградиентного типа.
3. Если движение в итерационной процедуре уточнения значений оценок параметров осуществляется непосредственно в направлении антиградиента, то процедуру относят к алгоритмам градиентного спуска. Подобные алгоритмы обеспечивают (при определенных ограничениях на минимизируемую функцию) сходимость последовательности Gs со скоростью геометрической прогрессии (линейная сходимость). Из-за того, что реальная скорость сходимости таких алгоритмов резко снижается при приближении 6S к предельному значению b*, градиентный спуск целесообразно применять лишь на начальных этапах минимизации, используя найденные в результате сравнительно небольшого числа итераций величины bS в качестве начальных приближений для более сложных методов, обладающих большей скоростью сходимости.
4. В методе Ньютона значения неизвестных параметров на каждой следующей итерации bS+1 находятся из условия минимума квадратичного полинома, аппроксимирующего исходную критериальную функцию в окрестности точки bS. При этом соответствующая процедура будет менее чувствительна к выбору начального приближения (в частности, будет менее подвержена эффекту «раскачки» при его неудачном выборе), если использовать ее вариант с регулировкой шага. При определенных условиях метод Ньютона обеспечивает квадратичную скорость сходимости последовательности bS к b*.
5. Используя линейную (по параметрам) аппроксимацию исследуемой функции регрессии в окрестности точки bS, можно прийти к модификации метода Ньютона ( методу Ньютона-Гаусса. Он существенно проще в вычислительном плане, однако бывает слишком чувствительным к эффекту слабой обусловленности используемых в нем матриц Ms. Скорость сходимости этого метода в зависимости от условий, накладываемых на регрессионную функцию и свободные параметры алгоритма, может быть линейной, сверхлинейной или квадратичной.
6. Существенным недостатком методов квазиградиентного типа, в том числе метода Ньютона, метода Ньютона—Гаусса и других, является необходимость подсчета производных от искомых регрессионных функций на каждой итерации. Основная идея, на которую опираются методы, позволяющие обходиться без подсчета производных, заключается в использований на (s+1-й итерации информации, полученной на предыдущих s итерациях, для построения разумных аппроксимаций для элементов матриц, определяющих выбор направления и шаг движения к решению b*.
7. Первостепенное значение для скорости сходимости используемых итерационных процедур решения оптимизационной задачи метода наименьших квадратов имеет удачный выбор начального приближения b0, Для реализации этого выбора используется ряд приемов: «поиск на сетке», вспомогательное преобразование (линеаризующее) модели, разбиение имеющейся выборки на подвыборки, разложение регрессионной функции в ряд Тейлора.
8. При вычислительной реализации метода наименьших квадратов в нелинейном (по оцениваемым параметрам) случае приходится исследовать вопросы существования и единственности решения. Необходимо помнить, что используемые (в том числе все описанные выше) методы оптимизации приводят в лучшем случае лишь к локальному минимуму критериальной функции. Проверка того, является ли этот минимуму глобальным, является следующей, зачастую не менее трудоемкой, вычислительной операцией.
Литература
Айвазян С.А., Мхитарян B.C. Прикладная статистика и основы эконометрики. ( М.: ЮНИТИ, 1998.
Демиденко Е. 3. Линейная и нелинейная регрессии. — М.: Финансы и статистика, 1981. ( 302 с.
Доугерти К. Введение в эконометрику: Пер. с англ. ( М.: Инфра-М, 1997.
Кремер Н.Ш., Путко Б.А. Эконометрика: Учебник для вузов // Под ред. проф. Н.Ш. Кремера. ( М.: Юнити-Дана, 2005. ( 311 с.
Магнус Я.Р., Катышев Л.К., Пересецкий А.А. Эконометрика. Начальный курс. ( М.: Дело, 2000.
Прикладная статистика: Исследование зависимостей: Справ, изд. / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин; Под ред. С. А. Айвазяна. ( М.: Финансы и статистика, 1985. — 487 с.
Успенский А. Б., Федоров В. В. Вычислительные аспекты метода наименьших квадратов при анализе и планировании регрессионных экспериментов. ( М.: МГУ, 1975. ( 168 с.
Демиденко Е. 3. Линейная и нелинейная регрессии. — М.: Финансы и статистика, 1981. ( 302 с.
Антиградиент ( это направление, противоположное градиенту
Прикладная статистика: Исследование зависимостей: Справ, изд. / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин; Под ред. С. А. Айвазяна. ( М.: Финансы и статистика, 1985. — 487 с.
;
Успенский А. Б., Федоров В. В. Вычислительные аспекты метода наименьших квадратов при анализе и планировании регрессионных экспериментов. ( М.: МГУ, 1975. ( 168 с.
Доугерти К. Введение в эконометрику: Пер. с англ. ( М.: Инфра-М, 1997
Прикладная статистика: Исследование зависимостей: Справ, изд. / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин; Под ред. С. А. Айвазяна. ( М.: Финансы и статистика, 1985. — 487 с.
4

Список литературы

Литература
1.Айвазян С.А., Мхитарян B.C. Прикладная статистика и основы эконометрики. ? М.: ЮНИТИ, 1998.
2.Демиденко Е. 3. Линейная и нелинейная регрессии. — М.: Финансы и статистика, 1981. ? 302 с.
3.Доугерти К. Введение в эконометрику: Пер. с англ. ? М.: Инфра-М, 1997.
4.Кремер Н.Ш., Путко Б.А. Эконометрика: Учебник для вузов // Под ред. проф. Н.Ш. Кремера. ? М.: Юнити-Дана, 2005. ? 311 с.
5.Магнус Я.Р., Катышев Л.К., Пересецкий А.А. Эконометрика. Начальный курс. ? М.: Дело, 2000.
6.Прикладная статистика: Исследование зависи¬мостей: Справ, изд. / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин; Под ред. С. А. Айвазяна. ? М.: Финансы и статистика, 1985. — 487 с.
7.Успенский А. Б., Федоров В. В. Вычислительные аспекты метода наименьших квадратов при анализе и планировании регрессионных экспериментов. ? М.: МГУ, 1975. ? 168 с.
Пожалуйста, внимательно изучайте содержание и фрагменты работы. Деньги за приобретённые готовые работы по причине несоответствия данной работы вашим требованиям или её уникальности не возвращаются.
* Категория работы носит оценочный характер в соответствии с качественными и количественными параметрами предоставляемого материала. Данный материал ни целиком, ни любая из его частей не является готовым научным трудом, выпускной квалификационной работой, научным докладом или иной работой, предусмотренной государственной системой научной аттестации или необходимой для прохождения промежуточной или итоговой аттестации. Данный материал представляет собой субъективный результат обработки, структурирования и форматирования собранной его автором информации и предназначен, прежде всего, для использования в качестве источника для самостоятельной подготовки работы указанной тематики.
© Рефератбанк, 2002 - 2019