Тема : Марковский процесс 1 рода и его применение для нахождения правила оптимальной остановки.

1.Введение
2.Анализ методов решения задачи
3.Методы решения задачи
4. Алгоритм решения и пример решения
5. Заключение
Список литературы

Тема : Марковский процесс 1 рода и его применение для нахождения правила оптимальной остановки.

Цепь Маркова называется неприводимой, если каждое ее состояние может быть достигнуто из любого другого состояния, т.е. для каждой пары состояний Ei и Ej существует целое число m0 такое, что . Состояние Ei называется поглощающим, если процесс достигнув это состояние, не покидает его. Очевидно, для поглощающего состояния pii=1. Состояние Ei называется невозвратным, если случайный процесс после какого-то числа переходов непременно покидает его.Вернемся к вопросу определения вероятностей состояний Pi(tk), i=0,n, предполагая, что начальные вероятности Pi(t0), i=0,n, при t0=0 известны.Используя доводы, аналогичные тем, что были приведены для обоснования равенства (7), легко определить, что искомые вероятности после первого шага, т.е. на момент времени t1, i=0,n.Вероятности состояний после второго шага на момент времени t2 определяются аналогично:, i=0,n.В общем случае после k-го шага на момент времени tk, k=1, 2,..., вероятности состояний будут равны(5), i=0,n.(6)В векторной форме равенства (6) имеют вид:P(tk)=P(tk-1)T.Если случайный процесс обладает эргодическим свойством, т.е. существуют пределы , i=0,n, то соответствующие предельные значения вероятностей состояний Pi, i=0,n, для стационарного режима определяются из решения системы уравнений:, i=0,n(7)или в векторном видеP=PT.(8)с нормировочным условиемВ системе (7) уравнения являются линейно зависимыми и любое из них можно исключить из нее, а недостающее при этом (для однозначного определения n+1 неизвестных) уравнение составляет условие (8).Методы решения задачиСформулируем теперь правило составления уравнений для стационарных вероятностей состояний марковского процесса с дискретным временем по графу переходов. Для каждого состояния уравнение составляется следующим образом. В левой части уравнения записывается стационарная вероятность рассматриваемого состояния. Правая часть представляет собой сумму членов, число которых равно числу дуг, входящих в рассматриваемое состояние. Каждый член представляет собой произведение вероятности перехода, соответствующей данной дуге, на вероятность состояния, из которого исходит эта дуга. Сформулированное правило позволяет чисто механически записывать уравнения для стационарных вероятностей состояний непосредственно по графу переходов.Пусть - последовательно наблюдаемые случайные величины, где известная детерменированная функция (тренд) и последовательность независимых случайных величин с . Случайная величина может быть интерпретирована как стоимость некоторого актива. Мы наблюдаем последовательность таких величин и должны принять решение, когда остановиться. Первая остановка будет означать покупку актива, а вторая остановка – продажу актива. Наше решение об остановках зависит от сделанных наблюдений и не зависит от наблюдений в будущем. После двух остановок по времени и , , мы получаем . Если мы не совершили покупку до времени , тогда , и поэтому мы можем положить, что = =+1. Это означает, чтоПусть — последовательность случайных величин с известным совместным распределением. Мы наблюдаем , останавливаясь где-либо по своему усмотрению. Если мы останавливаемся в момент времени после наблюдений , то начинаем наблюдать другую последовательность (зависящую от ) и решаем задачу оптимальной остановки новой последовательности. Если сделано i остановок в моменты , то наблюдаем последовательность случайных величин , распределение которой зависит от .Наше решение остановиться в моменты , зависит лишь отуже наблюдавшихся значений случайной последовательности, но не зависит от будущих значений. После , > 2, остановок получаем выигрыш,где — известная функция. Задача состоит в нахождении правила остановки, которое максимизирует ожидаемый выигрыш.Более формально, будем считать заданными(a) вероятностное пространство ;(b) неубывающую последовательность –подалгебр -алгебры такую, чтодля всех , и наборе целых чисел ;(c) случайный процесс,для фиксированных целых .Определение 1. Набор целочисленных случайных величин назовем правилом - кратной остановки, , если он удовлетворяет следующим условиям:(а) (P-п.н.),(b) , для всех .Правило - кратной остановки с назовем правилом многократной остановки.Определение 2. Функцияназывается m-ценой игры. В частности, если , тогда называется ценой игры.Определение 3.