Об одной задаче оптимальной остановки марковских цепей - page 2

А.В. Анферова, Л.Г. Ветров, А.Л. Сунчалина
2
даемый выигрыш равен нулю; 2) не склонный к риску игрок покупа-
ет актив только в том случае, если ожидаемый выигрыш строго по-
ложителен, и продает, если предложенная цена не меньше средней
ожидаемой цены от продажи в будущем.
Дискретные марковские цепи.
Пусть множество состояний
марковской цепи является дискретным:
{
}
1 2
, , ...,
l
m
X t t
t
(конечное
или счетное). В этом случае поведение марковской цепи описывается
матрицей переходных вероятностей
(
)
1
( , )
l
l
j
l
i
i j
X t X t
+
Ρ = Ρ = =
(для
однородной марковской цепи матрица переходных вероятностей от
l
не зависит). Сначала рассмотрим момент продажи
τ
уже имеюще-
гося актива. Обозначим через
( )
l
S t
средний доход от продажи актива
при условии, что
,
l
X t
=
{
}
1 2
, , ...,
,
m
t
t t
t
1, 2, ..., .
l
N
=
Воспользуем-
ся методом обратной индукции. Ясно, что
( )
.
N
S t t
=
Рассмотрим предыдущий момент времени
1.
l N
= −
Пусть
1
.
N j
X t
=
Решение о том, продавать актив в момент времени
1
l N
= −
или нет, зависит от того, какова цена на него в этот момент:
если ожидаемый доход на следующий момент
( )
1
1
,
m
i N
i
t
j i
=
Ρ
больше,
чем предлагаемая цена
1
N j
X t
=
, то имеет смысл ждать еще один
шаг; в противном случае
1
N
τ = −
и
( )
1
.
N j
j
S t
t
=
Итак, для игрока, не склонного к риску,
( )
( )
1
1
1
1
,
, ;
1,
, .
m
j
i N
i
m
j
i N
i
N t
t
j i
N t
t
j i
=
=
< Ρ
⎪⎪
τ =
− ≥ Ρ
⎪⎩
При этом
( )
( )
( )
( )
1
1
1
1
1
1
1
, ,
, ;
,
, .
m
m
i N
j
i N
i
i
N j
m
j
j
i N
i
t
j i
t
t
j i
S t
t
t
t
j i
=
=
=
Ρ
< Ρ
⎪⎪
=
≥ Ρ
⎪⎩
Для склонного к риску игрока строгие неравенства становятся
нестрогими и, наоборот, нестрогие неравенства следует заменить на
строгие. Это замечание касается всех последующих рассуждений,
поэтому соответствующие формулы приводятся для игрока, не
склонного к риску.
1 3,4,5,6,7,8,9,10,11
Powered by FlippingBook