Уравнения Колмогорова. Предельные вероятности состояний
Рассмотрим математическое описание марковского процесса с дискретными состояниями и непрерывным временем на примере случайного процесса, граф которого изображен на рис. 6.12. Будем
Полагать, что все переходы системы из состояния S. в S. осуществляются под воздействием простейших потоков событий с интенсивно — стями X (г, j ~ 1, 2, 3); так, переход системы из состояния 5(> в произойдет под воздействием потока отказов первох о узла, а обратный переход из состояния S в S0 — под воздействием потока «окончаний ремонтов» первого узла и т. п.
Граф состояний системы с проставленными у стрелок интенсив — ностями будем называть размеченным {си. рис. 6.12) Рассматриваемая система 5 имеет четыре возможных состояния: S0, 5Ч, Sv
Вероятностью г го состояния называется вероятность Px{t) того, что в момент T система будет находиться в состоянии S, Очевидно, что для любого момента / сумма вероятност ей всех состояний равна единице:
3
(6.69)
Г=1
Рассмотрим систему в момент /и, задав малый промежуток At, найдем вероятность P0{T + At) того, что система в момент 1 + At будет находиться в состоянии S Это достигается разными способами.
1. Система в момент t с вероятностью P(j{t) находилась в состоянии SQ и за время At не вышла из него.
Вероятность того, что система будет находиться в состоянии S0 в момент t и не выйдет из него за время At, равна по теореме умножения вероятностей
2. Система в момент t с вероятностями Р {t) или P,{t) находилась в состоянии Si или S. и за время At перешла в состояние S{).
Система перейдет в состояние St] с вероятностью, приближенно равной XU)At или X.„ At. Вероятность того, что система перейдет в состоянии 5(> но этому способу, равна Px{t)X^At или А.1)С1Д L
Применяя теорему сложения вероятностей, получим
/>(« + At) = P0{t){ -{X()l + Л02)Д/) + Px{t)XwAt + P}{t)X20At,
Откуда
Po(< + A0-Po(0 = _Pq {t){K + ^} + p {t)K + p {t)X
Переходя к пределу при At—» 0, получим в левой части уравнения производную V (/):
Т=-(^oi++(о+■
Получили дифференциальное уравнение первого порядка, т. е. уравнение, содержащее как саму неизвестную функцию, так и ее производную первого порядка.
Рассуждая аналогично для других состояний системы S, можно получить систему дифференциальных уравнений Колмогорова для вероятностей состояний:
Т=-л, + к )ро «+Ка (о. Т=лк+К )1 (о+Кл (о+К п », Т=Лк+К щ со+Кл (о+^ (о,
/?(0 = -(Xsl +Хя)Я,(0 + Л12, Pt(t)+X23P2(e), (6.70)
Po(0+Pl(t)+Ps(0 + P3(t) = 1.
Сформулируем правило составления уравнений Колмогорова. J3 Левой части каждого из них стоит производная вероятности I-го состояния. В правой части — сумма произведении вероятностей всех состояний (из которых идут стрелки в данное состояние) на интенсивности соответствующих потоков событий минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность данного (I-го состояния).
Особенность решения дифференциальных уравнений вообще состоит в том, что требуется задать так называемые начальные условия, т. е. в данном случае вероятности состояний системы в начальный момент I — 0. Так, например, систему уравнений (6.70) естественно решать при условии, что в начальный момент оба узла исправны и система находилась в состоянии 50, т. е. при начальных условиях: Р0(0) = 1, Р,(0) = 0, р2(0) = 0, Ръ{0) = 0.
Уравнения Колмогорова дают возможность найти все вероятности состояний как функции времени Особый интерес представляют вероятности системы в предельном стационарном режиме, т. е. при T—» 0, которые называк >тся предельными (или финальными) вероятностями состояний.
Предельная вероятность состояния имеет четкий смысл: она показывает среднее относительное время пребывания системы в этом состоянии.
Так как предельные вероятности постоянны, то, заменяя в уравнениях Колмогорова их производные нулевыми значениями, получим систему линейных алгебраических уравнений, описывающих стационарный режим. Для системы S с графом состояний, изображенным на рис. 6.12, такая система уравнений имеет вид
~(Х31 + Х^)РЯ+Х1ЯР1 +Л23 Р9 = 0. (6.71)
Нормировочное условие: