класс систем, которые меняют свои состояния в случайные моменты времени . Как и в предыдущем случае, в этих системах рассматривается процесс с дискретными состояниями . Например, переход объекта от исправного состояния к неисправному, соотношение сил сторон в ходе боя и т. п. Оценка эффективности таких систем определяется с помощью вероятностей каждого состояния на любой момент времени , .

Чтобы определить вероятности состояния системы для любого момента времени необходимо воспользоваться математическими моделями марковских процессов с непрерывным временем (непрерывных марковских процессов).

При моделировании состояния систем с непрерывными марковскими процессами мы уже не можем воспользоваться переходными вероятностями , так как вероятность "перескока" системы из одного состояния в другое точно в момент времени равна нулю (как вероятность любого отдельного значения непрерывной случайной величины).

Поэтому вместо переходных вероятностей вводятся в рассмотрение плотности вероятностей переходов :

где - вероятность того, что система, находившаяся в момент времени в состоянии за время перейдет в состояние .

С точностью до бесконечно малых второго порядка из приведенной формулы можно представить:

Непрерывный марковский процесс называется однородным ,если плотности вероятностей переходов не зависят от времени (от момента начала промежутка ). В противном случае непрерывный марковский процесс называется неоднородным .

Целью моделирования , как и в случае дискретных процессов, является определение вероятностей состояний системы . Эти вероятности находятся интегрированием системы дифференциальных уравнений Колмогорова.

Сформулируем методику моделирования по схеме непрерывных марковских процессов.

Пример 2.2 . Составить систему дифференциальных уравнений Колмогорова для нахождения вероятностей состояний системы, размеченный граф состояний которой представлен на рис. 2.3 .

Рис. 2.3.

Решение

Очевидно, .

Поэтому любое из первых трех уравнений можно исключить, как линейно зависимое.

Для решения уравнений Колмогорова необходимо задать начальные условия. Для рассмотренного примера 2.2, можно задать такие начальные условия: , .

Однородный марковский процесс с непрерывным временем можно трактовать как процесс смены состояний под влиянием некоторого потока событий. То есть плотность вероятности перехода можно трактовать как интенсивность потока событий, переводящих систему из -го состояния в -е. Такими потоками событий являются отказы техники, вызовы на телефонной станции, рождение и т. п.

При исследовании сложных объектов всегда интересует: возможен ли в исследуемой системе установившейся (стационарный) режим? То есть, как ведет себя система при ? Существуют ли предельные значения ? Как правило, именно эти предельные значения интересуют исследователя.

Ответ на данный вопрос дает теорема Маркова.

Если для однородного дискретного марковского процесса с конечным или счетным числом состояний все , то предельные значения существуют и их значения не зависят от выбранного начального состояния системы.

Применительно к непрерывным марковским процессам теорема Маркова трактуется так: если процесс однородный и из каждого состояния возможен переход за конечное время в любое другое состояние и число состояний счетно или конечно, то предельные значения существуют и их значения не зависят от выбранного начального состояния.

Особенностью модели является наличие прямой и обратной связей с каждым соседним состоянием для всех средних состояний; первое и последнее (крайние) состояния связаны только с одним "соседом" (с последующим и предыдущим состояниями соответственно).

Название модели - "гибель и размножение" - связано с представлением, что стрелки вправо означают переход к состояниям, связанным с ростом номера состояния ("рождение"), а стрелки влево - с убыванием номера состояний ("гибель").

Очевидно, стационарное состояние в этом процессе существует. Составлять уравнения Колмогорова нет необходимости, так как структура регулярна, необходимые формулы приводятся в справочниках, а также в рекомендованной литературе.

Рис. 2.6.

Интенсивности потоков отказов;

Интенсивности потоков восстановлений.

Пусть среднее время безотказной работы каждого компьютера , а среднее время восстановления одного компьютера .

Тогда интенсивность отказов одного компьютера будет равна , а интенсивность восстановления одного компьютера - .

В состоянии работают оба компьютера, следовательно:

В состоянии работает один компьютер , значит:

В состоянии восстанавливается один компьютер , тогда:

В состоянии восстанавливаются оба компьютера:

Используем зависимости (2.2). Вероятность состояния, когда обе машины исправны:

Вероятность второго состояния (работает один компьютер ):

Аналогично вычисляется и . Хотя найти можно и так:

Пример 2.4 . В полосе объединения работают передатчики противника. Подразделение операторов-связистов армейской контрразведки ведет поиск передатчиков по их радиоизлучениям. Каждый оператор, обнаружив передатчик противника, следит за его частотой, при этом новым поиском не занимается. В процессе слежения частота может быть потеряна, после чего оператор снова осуществляет поиск .

Разработать математическую модель для определения эффективности службы подразделения операторов. Под эффективностью понимается среднее число обнаруженных передатчиков за установленный промежуток времени.

Решение

Будем считать, что наши операторы и радисты противника обладают высокой квалификацией, хорошо натренированы. Следовательно, можно принять, что интенсивности обнаружения частот передатчиков противника и потерь слежения - постоянны. Обнаружение частоты и ее потеря зависят только от того, сколько запеленговано передатчиков в настоящий момент и не зависят от того, когда произошло это пеленгование. Следовательно, процесс обнаружения и потерь слежения за частотами можно считать непрерывным однородным марковским процессом.

Исследуемое свойство этой системы пеленгации: загруженность операторов, что, очевидно, совпадает с числом обнаруженных частот.

Введем обозначения:

Количество операторов;

Количество передатчиков противника, полагаем ;

Среднее число операторов, ведущих слежение ;

Среднее число запеленгованных передатчиков;

Интенсивность пеленгации передатчика противника одним оператором;

Интенсивность потока потерь слежения оператором;

Текущая численность запеленгованных передатчиков .

В системе пеленгации возможны следующие состояния:

Запеленгованных передатчиков нет, поиск ведут операторов, вероятность состояния ;

Введение 3

Теоретическая часть 4

Практическая часть 9

Заключение 13

Собственые мысли. 13

Список литературы 14

Введение

В данной теоретико-практической работе будет рассмотрена схема непрерывных марковских цепей – так называемая «схема гибели и размножения»

Данная тема крайне актуальна ввиду высокой значимости марковских процессов в исследовании экономических, экологических и биологических процессов, кроме того, марковские процессы лежат в основе теории массового обслуживания, которая в настоящее время активно используется в различных экономических направлениях, в том числе управлении процессами на предприятии.

Марковские процессы гибели и размножения находят широкое применение в объяснении различных процессов происходящих в биосфере, экосистеме и т.д. Надо отметить, что данный тип марковских процессов получил свое название именно вследствие широкого применения в биологии, в частности моделируя гибель и размножение особей различных популяций.

В данной работе будут использованы процессы гибели и размножения при решении задачи, целью которой является нахождение приблизительного количества пчел в отдельно взятой популяции.

Теоретическая часть

В рамках теоретической части будут написаны алгебраические уравнения для предельных вероятностей состояний. Очевидно, что если две непрерывные цепи Маркова имеют одинаковые графы состояний и различаются только значениями интенсивностей ,

то можно сразу найти предельные вероятности состояний для каждого из графов в отдельности, достаточно составить и решить в буквенном виде уравнения для одного из них, а затем подставить вместо соответствующие значения. Для многих часто встречающихся форм графов линейные уравнения легко решаются в буквенном виде.

В данной работе будет описана схема непрерывных марковских цепей - так называемая «схема гибели и размножения».

Марковская непрерывная цепь называется «процессом гибели и размножения», если ее граф состояний имеет вид, представленный на рис. 1.1, т. е. все состояния можно вытянуть в одну цепочку, в которой каждое из средних состояний (S 2 , ..., S n-1) связано прямой и обратной связью с каждым из соседних состояний, а крайние состояния (S 1 , S n) - только с одним соседним состоянием.

Для записи алгебраических уравнений для предельных вероятностей состояний возьмем некую задачу.

Пример. Техническое устройство состоит из трех одинаковых узлов; каждый из них может выходить из строя (отказывать); отказавший узел немедленно начинает восстанавливаться. Состояния системы нумеруем по числу неисправных узлов:

S 0 - все три узла исправны;

S 1 - один узел отказал (восстанавливается), два исправны;

S 2 - Два узла восстанавливаются, один исправен;

S 3 - все три узла восстанавливаются.

Граф состояний показан на рис. 1.2. Из графа видно, что процесс, протекающий в системе, представляет собой процесс «гибели и размножения».

Схема гибели и размножения очень часто встречается в самых разнообразных практических задачах; поэтому имеет смысл заранее рассмотреть эту схему в общем виде и решить соответствующую систему алгебраических уравнений с тем, чтобы в дальнейшем, встречаясь с конкретными процессами, протекающими по такой схеме, не решать задачу каждый раз заново, а пользоваться уже готовым решением.

Итак, рассмотрим случайный процесс гибели и размножения с графом состояний, представленным на рис. 1.3

Напишем алгебраические уравнения для вероятностей состояний. Для первого состояния S 1 имеем:

Для второго состояния S 2 суммы членов, соответствующих входящим и выходящим стрелкам, равны:

Но, в силу (1.2), можно сократить справа и слева равные друг другу члены и получим:

Одним словом, для схемы гибели и размножения члены, соответствующие стоящим друг над другом стрелкам, равны между собой:

где k принимает все значения от 2 до n.

Итак, предельные вероятности состояний р ъ р 2 > ..., р п в любой схеме гибели и размножения удовлетворяют уравнениям:

(1.4)

и нормировочному условию:

Решим эту систему следующим образом: из первого уравнения (1.4) выразим р 2:

из второго, с учетом (1.6), получим

(1.7)

из третьего, с учетом (1.7):

Эта формула справедлива для любого k от 2 до п.

Обратим внимание на ее структуру. В числителе стоит произведение всех плотностей вероятности перехода (интенсивностей) стоящих у стрелок, направленных слева направо, с начала и вплоть до той, которая идет в состояние S k ; в знаменателе - произведение всех интенсивностей , стоящих у стрелок, идущих справа налево, опять-таки, с начала и вплоть до стрелки, исходящей из состояния S k . При k=n в числителе будет стоять произведение интенсивностей , стоящих у всех стрелок, идущих слева направо, а в знаменателе - у всех стрелок, идущих справа налево.

Итак, все вероятности выражены через одну из них: . Подставим эти выражения в нормировочное условие: . Получим:

Остальные вероятности выражаются через

(1.10)

Таким образом, задача «гибели и размножения» решена в общем виде: найдены предельные вероятности состояний.

Практическая часть

Процессы Маркова, в частности гибели и размножения, используют для описания работы и анализа широкого класса систем с конечным числом состояний, в которых происходят неоднократные переходы из одного состояния в другое под воздействием каких-либо причин. В таких системах они происходят случайным образом, скачкообразно в произвольный момент времени, когда наступают некоторые события (потоки событий). Как правило, они бывают двух типов: одно из них условно называют рождением объекта, а второе - его гибелью.

Естественное размножение пчелиных семей - роение - с точки зрения протекающих в системе в текущий момент времени процессов можно рассматривать как вероятностный процесс, когда семья в определенный момент времени может перейти из рабочего состояния в роевое. В зависимости от различных факторов, как контролируемых технологических, так и слабоконтролируемых биологических и климатических, оно может закончиться роением или возвратом семьи в рабочее состояние. При этом семья может неоднократно переходить то в одно, то в другое состояние. Таким образом, для описания математической модели процесса роения допустимо применять теорию однородных процессов Маркова.

Интенсивность перехода пчелиной семьи в роевое состояние - размножение - в значительной мере определяется темпами накопления молодых бездеятельных пчел. Интенсивность обратного перехода - «гибели» - возвращением семьи в рабочее состояние, которая, в свою очередь, зависит собственно от роения, отбора расплода и пчел (формирование отводков), количества собираемого нектара и т.д.

Вероятность перехода пчелиной семьи в роевое состояние в первую очередь будет определяться интенсивностью проходящих в ней процессов, приводящих к роению λ, и противороевых приемов μ, которые зависят от технологий, используемых для снижения ройливости семей. Следовательно, чтобы влиять на обсуждаемые процессы, необходимо изменить интенсивность и направленность потоков λ и μ (рис. 1).

Моделирование отбора из семьи части пчел (увеличения их «гибели») показало, что вероятность возникновения рабочего состояния логарифмически возрастает, а вероятность роения логарифмически сокращается. При противороевом приеме - отборе из семьи 5–7 тыс. пчел (две-три стандартные рамки) - вероятность роения составит 0,05, а вероятность рабочего состояния - 0,8; отбор более трех рамок с пчелами снижает вероятность роения на очень малую величину.

Решим практическую задачу, касающуюся процесса роения у пчел.

Для начала построим граф, похожий на граф на рис 1, с интенсивностями перехода в то или иное состояние.

Меем следующий граф, представляющий собой процесс гибели и размножения.

Где - это рабочее состояние, - роевое состояние, - роение.

Имея интенсивности перехода в то или иное состояние, можем найти предельные вероятности состояний для данного процесса.

Используя формулы, приведенные в теоретической части находим:

Получив предельные вероятности состояний, можем свериться с таблицей с целью нахождения приблизительного числа особей (сот шт. пчел) и количество отобранных рамок с расплодом, получаем, что, скорее всего, было отобрано 5000 пчел и одна рамка с расплодом.

Заключение

Подведем итог.

В данной работе была приведена теоретическая справка, а также практическое применение марковским процессам гибели и размножения на примере пчелиной популяции, также была решена практическая задача с использованием марковского процесса гибели и размножения.

Было показано, что марковские процессы имеют прямое отношение ко многим процессам, происходящим в окружающей среде и в экономике. Также марковские процессы лежат в основе теории массового обслуживания, которая в свою очередь является незаменимой в экономике, в частности при управлении предприятием и различными процессами, происходящими в нем.

Собственые мысли.

На мой взгляд марковские процессы гибели и размножения безусловно полезны в различных сферах деятельности человека, но у них есть ряд недостатков, в частности система из любого своего состояния непосредственно может перейти только в соседнее с нею состояние. Данный процесс не отличается особой сложностью и сфера его применения немного узко-специализирована, но, тем не менее, данный процесс может использоваться в сложных моделях в качестве одного из компонента новой модели, например при моделировании документооборота в компании, задействовании станков в цеху и так далее.

Реферат >> Биология

Половое и бесполое размножение . При бесполом размножении новый организм возникает из... . Если несколько сперматозоидов – гибель клетки. Ядро сперматозоида набухает, ... . Пол будущего организма определяется в процессе онтогенеза. У человека имеет место...

Процессы горения и взрыва

Книга >> Химия

Горения с прикладными науками о безопасности технологических процес­сов и строительных объектов. Книга предназначена в качестве... при пожаре, пожарная безопасность техноло­гических процессов , производственная и пожарная автоматика, прогно­зирование опасных...

Решение задач по теории вероятности

Реферат >> Математика

Главе рассматриваются: определение случайного процесса и его характеристики, понятие... узлов очевидна. Пример 7.6 Процесс гибели и размножения представлен графом (рис.7.8). ... нормированную корреляционную функции случайного процесса . Построить граф состояний...

Биология (8)

Реферат >> Биология

Клеток материнского организма в процессе размножения . Локализация в ядрах клеток, участвующих в размножении , генов и хромосом, ... выживанию одних и гибели других особей. 4. Естественный отбор - процесс сохранения и размножения особей с наследственными...

Здесь мы изучим некоторую схему марковских процессов с непрерывным временем, называемую процессом гибели и размножения и играющую базовую роль в теории массового обслуживания.

Определение 11.1. Марковский процесс с конечным числом состояний, протекающий в системе S, называется процессом гибели и размножения, если граф ее состояний имеет структуру, представленную на рис. 11.1.

Характеристический признак этого графа состоит в том, что каждое из состояний s 2 ,..., s k ,..., s n l связано стрелками переходов в обе стороны с каждым из своих соседних состояний слева и справа, а первое и последнее состояния Sj и s n связаны стрелками в обе стороны только с одним своим соседним состоянием: соответственно с s 2 и s n _ v Таким образом, система S, в которой протекает процесс гибели и размножения, может из любого своего состояния непосредственно перейти только в одно из его соседних состояний. При этом под «размножением» будем понимать процесс по стрелкам слева направо, а под «гибелью» - процесс по стрелкам справа налево.

Название «процесс гибели и размножения» восходит к математическому моделированию биологических задач о численности популяций, распространении эпидемий и др.

Рассмотрим процесс гибели и размножения с непрерывным временем и с размеченным графом состояний на рис. 11.2.

Матрица плотностей вероятностей переходов процесса гибели и размножения представлена в таблице (с. 124).

Для вероятностей состояний /?,(/), p 2 (t), ...,p k (t), -,Р п _ { (/), P n (t) можно по одному из двух правил, данных в § 4, составить систему дифференциальных уравнений Колмогорова, которая для данного случая будет иметь вид (11.1):

Если марковский процесс однороден (т.е. пуассоновские потоки стационарны), то плотности вероятностей переходов (интенсивности потоков) Ху в системе (11.1) не зависят от времени t; в противном случае Ху представляют собой некоторые функции времени: Ху = Xy(t).

Система (11.1) решается при начальном распределении вероятностей /7j(0), ..., р п { 0), удовлетворяющих нормировочному условию /?j(0) + ... + /> п (0) = 1. Решение системы (11.1) также должно удовлетворять нормировочному условиюp x {t) +... + p n (t ) = 1 в любой момент времени t.

Из графа состояний однородного процесса гибели и размножения (см. рис. 11.1) непосредственно усматривается эргодичность системы S. Поэтому из марковости процесса, по теореме 10.1, вытекает существование финальных вероятностей состоянийp v ..., р п.

Теорема 11.1. Финальные вероятности p v ..., р п процесса гибели и размножения с непрерывным временем можно вычислить по следующим формулам:

Доказательство: Составим по одному из трех правил, данных в § 10, систему линейных алгебраических уравнений:

(сравните с системой дифференциальных уравнений (11.1)).

Матрица коэффициентов системы (11.4) будет иметь следующий вид:

Для упрощения вида этой матрицы проведем следующие элементарные преобразования ее строк: 1-ю строку прибавим ко 2-й; полученную 2-ю строку прибавим к 3-й и т.д.; полученную (п - 1)-ю строку прибавим к п -й строке. В результате получим матрицу, последняя (п- я) строка которой - нулевая, и потому ее можно отбросить.

Таким образом, предельные вероятности состоянийp v ..., р п удовлетворяют системе линейных алгебраических уравнений, соответствующей матрице (11.5):

и нормировочному условию

Из 1-го уравнения системы (11.6) с учетом (11.3) при к= 2:

Из 2-го уравнения системы (11.6) с учетом (11.8) и (11.3) при к= 3: Из 3-го уравнения системы (11.6) с учетом (11.9) и (11.3) при к = 4: итак далее,

Таким образом, мы доказали справедливость формулы во второй строке (11.2). Для доказательства формулы в первой строке (11.2) подставим (11.8), (11.9), (11.10) в нормировочное условие (11.7):

откуда получим требуемое равенство

Правая часть формулы (11.3) устроена следующим образом: в числителе стоит произведение плотностей вероятностей переходов А,..,

начиная с А 12 12 и кончая Х к _ { к, где второй индекс к множителя Х к _ х к

совпадает с индексом а к, причем первый индекс каждого множителя A.j, начиная со второго А 23 , совпадает со вторым индексом предыдущего множителя; в знаменателе стоит произведение множителей получающееся из произведения в числителе, если в последнем у каждого множителя X.. поменять местами индексы: . г

В терминах матрицы плотностей вероятностей переходов Л правая часть формулы (11.3) представляет собой отношение произведения элементов наддиагонали к произведению элементов поддиагонали квадратной матрицы к -го порядка, составленной из первых к строк и первых к столбцов матрицы А.

В терминах размеченного графа состояний системы S (см. рис. 11.2) правая часть формулы (11.3) есть дробь, числитель которой представляет собой произведение всех плотностей вероятностей переходов по стрелкам слева направо, начиная с первого и кончая к -м состоянием, а знаменатель суть произведение всех плотностей вероятностей обратных переходов по стрелкам справа налево с состояния

S k ДО СОСТОЯНИЯ S J.

В формулах (11.2) все финальные вероятностиp v ..., р п выражены через финальную вероятность р у Можно было бы при решении системы (11.6) выразить их через любую другую предельную вероятность.

Часто нумерацию состояний системы S начинают не с единицы, а с нуля: s Q , s v ..., s n . В этом случае формулы (11.2) и (11.3) приобретают соответственно вид:

Пример 11.1. Данные, полученные при исследование рынка ценных бумаг, показали, что рыночная цена одной акции некоторого акционерного общества может колебаться в пределах от 1000 до 2000 руб. включительно. Рассматривая в качестве системы S одну такую акцию, нас будут интересовать следующие ее пять состояний, характеризующихся рыночной ценой акции:

Sj - от 1000 до 1200 руб.; s 2 - от 1200 до 1400 руб.;

• 5 3 - от 1400 до 1600 руб.; s 4 - от 1600 до 1800 руб.;
• 5 5 - от 1800 до 2000 руб. включительно.

Замечено, что рыночная цена в будущем зависит в основном от ее цены в текущий момент времени. В силу случайных воздействий рынка изменение рыночной цены акции может произойти в любой случайный момент времени, при этом абсолютное изменение цены не превосходит 200 руб. Переходы системы S из одного состояния в другое происходят со следующими плотностями вероятностей переходов, пренебрежимо мало изменяющимися с течением времени:

Требуется спрогнозировать рыночную цену акции на будущее. Стоит ли приобретать акции по цене 1700 руб.?

Так как система S может находиться только в одном из отмеченных пяти состояний, то процесс, протекающий в системе 5, - дискретный.

Поскольку цена акции в будущем существенно зависит от ее цены в настоящем, то данный процесс можно считать марковским.

В силу того что изменение цены акции может происходить в любой случайный момент времени, то процесс в системе S является процессом с непрерывным временем.

Так как абсолютное изменение цены акции не превышает 200 руб., то это означает, что система S может перейти только в соседнее состояние, т.е. перескоков быть не может.

И наконец, поскольку плотности вероятностей переходов можно считать постоянными, то процесс однороден.

Итак, в системе S протекает однородный марковский дискретный процесс с непрерывным временем.

По данной матрице Л построим размеченный граф состояний:

По этому графу видно (это можно было увидеть и по матрице Л), что данный процесс является процессом гибели и размножения. Финальные вероятности p v p v p v p v р 5 существуют. Найдем их по формуле (11.2) при « = 5. Для этого сначала по формуле (11.3) подсчитаем числа а 2 , а 3 , а 4 , а 5 .

Тогда по формуле в первой строке (11.2)

По формулам во второй строке (11.2):

Таким образом, вероятнее всего (р 3 = 16/39 > р р /=1,2,4, 5) система S будет находиться в состоянии s 3 53 , т.е. цена акции будет находиться в пределах от 1400 до 1600 руб. Поэтому покупать эти акции по цене 1700 руб. не стоит. ?

КРАТКИЕ ВЫВОДЫ

• Процесс гибели и размножения определяется как марковский однородный процесс с непрерывным временем, протекающий в системе S, граф конечного числа состояний которой имеет структуру на рис. 11.1.
• Для процесса гибели и размножения существуют финальные вероятности, которые можно найти из формул (11.2) или (11.1).

КЛЮЧЕВЫЕ СЛОВА И ВЫРАЖЕНИЯ

Марковский процесс с конечным числом состояний; процесс гибели и размножения; процесс гибели и размножения с непрерывным временем; финальные вероятности состояний системы, в которой протекает процесс гибели и размножения; главная диагональ матрицы; наддиагональ матрицы; поддиагональ матрицы.

ВОПРОСЫ ДЛЯ САМОКОНТРОЛЯ

• 1. Дайте определение процесса гибели и размножения.
• 2. Каков характеристический признак структуры графа состояний системы, в которой протекает процесс гибели и размножения?
• 3. Какой вид имеет матрица плотностей вероятностей перехода для процесса гибели и размножения?
• 4. По каким формулам можно подсчитать финальные вероятности для процесса гибели и размножения?

ЗАДАНИЯ К § 11

11.1. Ответить на вопросы в примере 11.1, если матрица плотностей вероятностей переходов имеет вид

ОТВЕТЫ К ЗАДАНИЮ § 11

Введение

В данной работе будет рассмотрена схема непрерывных марковских цепей - так называемая "схема гибели и размножения"

Процесс размножения и гибели - это случайный процесс со счётным (конечным или бесконечным) множеством состояний, протекающий в дискретном или непрерывном времени. Он состоит в том, что некоторая система в случайные моменты времени переходит из одного состояния в другое, причём переходы между состояниями происходят скачком, когда наступают некоторые события. Как правило, эти события бывают двух типов: одно из них условно называют рождением некоторого объекта, а второе - гибелью этого объекта.

Данная тема крайне актуальна ввиду высокой значимости марковских процессов в исследовании экономических, экологических и биологических процессов, кроме того, марковские процессы лежат в основе теории массового обслуживания, которая в настоящее время активно используется в различных экономических направлениях, в том числе управлении процессами на предприятии.

Марковские процессы гибели и размножения находят широкое применение в объяснении различных процессов, происходящих в физике, биосфере, экосистеме и т.д. Надо отметить, что данный тип марковских процессов получил свое название именно вследствие широкого применения в биологии, в частности при моделировании гибели и размножения особей различных популяций.

В данной работе будет поставлена задача, целью которой является определение математического ожидания для некоторых процессов размножения и гибели. Будут приведены примеры вычислений среднего числа заявок в системе в стационарном режиме и сделаны оценки для различных случаев процессов размножения и гибели.

Процессы размножения и гибели

Процессы размножения и гибели являются частным случаем марковских случайных процессов, которые, тем не менее, находят весьма широкое применение при исследовании дискретных систем со стохастическим характером функционирования. Процесс размножения и гибели представляет собой марковский случайный процесс, в котором переходы из состояния E i допустимы только в соседние состояния E i-1 , E i и E i+1 . Процесс размножения и гибели является адекватной моделью для описания изменений, происходящих в объеме биологических популяций. Следуя этой модели, говорят, что процесс находится в состоянии E i , если объем популяции равен i членам. При этом переход из состояния E i в состояние E i+1 соответствует рождению, а переход из E i в E i-1 - гибели, предполагается, что объем популяции может изменяться не более чем на единицу; это означает, что для процессов размножения и гибели не допускаются многократные одновременные рождения и/или гибели .

Дискретные процессы размножения и гибели менее интересны, чем непрерывные, поэтому в дальнейшем они подробно не рассматриваются и основное внимание уделяется непрерывным процессам. Однако следует отметить, что для дискретных процессов проходят почти параллельные выкладки. Переход процесса размножения и гибели из состояния E i обратно в состояние E i представляет непосредственный интерес только для дискретных цепей Маркова; в непрерывном случае интенсивность, с которой процесс возвращается в текущее состояние, равна бесконечности, и эта бесконечность была исключена и определяется следующим образом:

В случае процесса размножения и гибели с дискретным временем вероятности переходов между состояниями

Здесь d i - вероятность того, что на следующем шаге (в терминах биологической популяции) произойдет одна гибель, уменьшающая объем популяции до при условии, что на данном шаге объем популяции равен i. Аналогично, b i - вероятность рождения на следующем шаге, приводящего к увеличению объема популяции до; представляет собой вероятность того, что ни одно из этих событий не произойдет и на следующем шаге объем популяции не изменится. Допускаются только эти три возможности. Ясно, что, так как гибель не может наступить, если некому погибать .

Однако в противовес интуиции допускается, что, что соответствует возможности рождения, когда в популяции нет ни одного члена. Хотя это можно расценивать как спонтанное рождение или божественное творение, но в теории дискретных систем такая модель представляет собой вполне осмысленное допущение. А именно, модель такова: популяция представляет собой поток требований, находящихся в системе, гибель означает уход требования из системы, а рождение соответствует поступлению в систему нового требования. Ясно, что в такой модели вполне возможно поступление нового требования (рождение) в свободную систему. Матрица вероятностей переходов для общего процесса размножения и гибели имеет следующий вид:

Если цепь Маркова является конечной, то последняя строка матрицы записывается в виде ; это соответствует тому, что не допускаются никакие размножения после того, как популяция достигает максимального объема n. Матрица T содержит нулевые члены только на главной диагонали и двух ближайших к ней диагоналях. Из-за такого частного вида матрицы T естественно ожидать, что анализ процесса размножения и гибели не должен вызывать трудностей . Далее будем рассматривать только непрерывные процессы размножения и гибели, в которых переходы из состояния E i возможны только в соседние состояния E i-1 (гибель) и E i+1 (рождение). Обозначим через i интенсивность размножения; она описывает скорость, с которой происходит размножение в популяции объема i. Аналогично, через i обозначим интенсивность гибели, задающую скорость с которой происходит гибель в популяции объема i. Заметим, что введенные интенсивности размножения и гибели не зависят от времени, а зависят только от состояния E i , следовательно, получаем непрерывную однородную цепь Маркова типа размножения и гибели. Эти специальные обозначения введены потому, что они непосредственно приводят к обозначениям, принятым в теории дискретных систем. В зависимости от ранее введенных обозначений имеем:

i = q i,i+1 и i = q i,i-1 .

Требование о допустимости переходов только в ближайшие соседние состояния означает, что исходя из того, что

получим q ii =-(i + i). Таким образом, матрица интенсивностей переходов общего однородного процесса размножения и гибели принимает вид:

Заметим, что за исключением главной диагонали и соседних с ней снизу и сверху диагоналей все элементы матрицы равны нулю. Соответствующий граф интенсивностей переходов представлен на соответствующем рисунке (2.1) :

Рисунок 2.1 - Граф интенсивностей переходов для процесса размножения и гибели

Более точное определение непрерывного процесса размножения и гибели состоит в следующем: некоторый процесс представляет собой процесс размножения и гибели, если он является однородной цепью Маркова с множеством состояний {E 0 , E 1 , E 2 , …}, если рождение и гибель являются независимыми событиями (это вытекает непосредственно из марковского свойства) и если выполняются следующие условия:

(точно 1 рождение в промежутке времени (t,t+Дt), объем популяции равен i) ;

(точно 1 гибель в промежутке времени (t,t+Дt)| объем популяции равен i);

= (точно 0 рождений в промежутке времени (t,t+Дt)| объем популяции равен i);

= (точно 0 гибелей в промежутке времени (t,t+Дt)| объем популяции равен i).

Таким образом, ?t с точностью до есть вероятность рождения новой особи в популяции из n особей, а - вероятность гибели особи в этой популяции за время .

Вероятности перехода удовлетворяют обратным уравнения Колмогорова. Таким образом, вероятность того, что непрерывный процесс размножения и гибели в момент времени t находится в состоянии E i (объем популяции равен i) определяется в виде (2.1):

Для решения полученной системы дифференциальных уравнений в нестационарном случае, когда вероятности P i (t), i=0,1,2,…, зависят от времени, необходимо задать распределение начальных вероятностей P i (0), i=0,1,2,…, при t=0. Кроме того, должно удовлетворяться нормировочное условие.

Рассмотрим теперь простейший процесс чистого размножения, который определяется как процесс, для которого i = 0 при всех i. Кроме того, для еще большего упрощения задачи предположим, что i = для всех i=0,1,2,... . Подставляя эти значения в уравнения (2.1) получим (2.2):

Для простоты предположим также, что процесс начинается в нулевой момент при нуле членов, то есть:

Отсюда для P 0 (t) получаем решение:

Подставляя это решение в уравнение (2.2) при i = 1, приходим к уравнению:

Решение этого дифференциального уравнения, очевидно, имеет вид:

Это знакомое нам распределение Пуассона. Таким образом, процесс чистого размножения с постоянной интенсивностью приводит к последовательности рождений, образующей пуассоновский поток .

Наибольший интерес в практическом плане представляют вероятности состояний процесса размножения и гибели в установившемся режиме. Предполагая, что процесс обладает эргодическим свойством, то есть существуют пределы

перейдем к определению предельных вероятностей P i . Уравнения для определения вероятностей стационарного режима можно получить непосредственно из (2.1), учитывая, что dP i (t)/dt = 0 при:

Полученная система уравнений решается с учетом нормировочного условия (2.4):

Систему уравнений (2.3) для установившегося режима процесса размножения и гибели можно составить непосредственно по графу интенсивностей переходов на рисунке 2.1, применяя принцип равенства потоков вероятностей к отдельным состоянием процесса. Например, если рассмотреть состояние E i в установившемся режиме, то:

интенсивность потока вероятностей в и

интенсивность потока вероятностей из.

В состоянии равновесия эти два потока должны быть равны, и поэтому непосредственно получаем:

Но это как раз и есть первое равенство в системе (2.3). Аналогично можно получить и второе равенство системы. Те же самые рассуждения о сохранении потока, которые были приведены ранее, могут быть применены к потоку вероятностей через любую замкнутую границу. Например, вместо того, чтобы выделять каждое состояние и составлять для него уравнение, можно выбрать последовательность контуров, первый из которых охватывает состояние E 0 , второй - состояние E 0 и E 1 , и так далее, включая каждый раз в новую границу очередное состояние. Тогда для i-го контура (окружающего состояния E 0 , E 1 ,..., E i-1) условие сохранения потока вероятностей можно записать в следующем простом виде:

Равенство (2.5) можно сформулировать в виде правила: для простейшей системы размножения и гибели, находящейся в стационарном режиме, потоки вероятности между любыми двумя соседними состояниями равны.

Полученная система уравнений эквивалентна выведенной ранее. Для составления последней системы уравнений нужно провести вертикальную линию, разделяющую соседние состояния, и приравнять потоки через образовавшуюся границу .

Решение системы (2.5) можно найти методом математической индукции.

При i=1 имеем

Вид полученных равенств показывает, что общее решение системы уравнений (2.5) имеет вид:

или, учитывая, что, по определению, произведение по пустому множеству равно единице:

Таким образом, все вероятности P i для установившегося режима выражаются через единственную неизвестную константу P 0 . Равенство (2.4) дает дополнительное условие, позволяющее определить P 0 . Тогда, суммируя по всем i, для P 0 получим (2.7) :

Обратимся к вопросу о существовании стационарных вероятностей P i . Для того чтобы полученные выражения задавали вероятности, обычно накладывается требование, чтобы P 0 >0. Это, очевидно, налагает ограничение на коэффициенты размножения и гибели в соответствующих уравнениях. По существу требуется, чтобы система иногда опустошалась; это условие стабильности представляется весьма резонным, если обратиться к примерам реальной жизни. Если растут слишком быстро по сравнению с, то может оказаться, что с положительной вероятностью в конечный момент времени t процесс уйдёт из фазового пространства {0,1,…} в "бесконечно удаленную точку?" (особей в популяции станет слишком много). Другими словами процесс станет не регулярным, и тогда равенство (2.4) будет нарушено. Определим следующие две суммы:

Для регулярности процесса размножения и гибели необходимо и достаточно, чтобы S 2 = .

Для существования его стационарного распределения необходимо и достаточно, чтобы S 1 < .

Для того чтобы все состояния E i рассматриваемого процесса размножения и гибели были эргодическими необходимо и достаточно сходимости ряда S 1 < , при этом ряд должен расходиться S 2 = . Только эргодический случай приводит к установившимся вероятностям P i , i = 0, 1, 2, …, и именно этот случай представляет интерес. Заметим, что условия эргодичности выполняются, например, когда, начиная с некоторого i, все члены последовательности {} ограничены единицей, т. е. тогда, когда существует некоторое i 0 (и некоторое С<1) такое, что для всех ii 0 выполняется неравенство:

Этому неравенству можно дать простое толкование: начиная с некоторого состояния E i и для всех последующих состояний интенсивность потока размножения, должна быть меньше интенсивности потока гибели .

Иногда в практике встречаются процессы "чистого" размножения. Процессом "чистого" размножения называется такой процесс гибели и размножения, у которого интенсивность всех потоков гибели равны нулю. Граф состояний такого процесса без ограничения на число состояний показан на рисунке (2.2):

Рисунок 2.2 - Граф интенсивностей переходов для процесса "чистого" размножения

Аналогично вводится понятие "чистой" гибели. Процессом "чистой" гибели называется такой процесс гибели и размножения, у которого интенсивности всех потоков размножения равны нулю. Граф состояний такого процесса без ограничения на число состояний показан на рисунке:

Рисунок 2.3 - Граф интенсивностей переходов для процесса "чистой" гибели

Система уравнения Колмогорова для таких процессов может быть получена из системы уравнений (2.1), в которой нужно положить все интенсивности потоков процессов гибели равными нулю: .

Рассмотрим еще одну типичную схему непрерывных марковских цепей - так называемую схему гибели и размножения, часто встречающуюся в разнообразных практических задачах.

Марковский процесс с дискретными состояниями S 0 , S 1 , ..., S n называется процессомгибели и размножения , если все состояния можно вытянуть в одну цепочку, в которой каждое из средних состояний (S 1 , S 2 , ...,
S n -1 ) может переходить только в соседние состояния, которые, в свою очередь, переходят обратно, а крайние состояния (S 0 и S n ) переходят только в соседние состояния (рис. 3.7).

Название взято из биологических задач, где состояние популяции S k означает наличие в ней k единиц особей.

Переход вправо связан с размножением единиц, а влево - с их гибелью.

Рис. 3.7. Граф состояний для процесса гибели и размножения

l 0 (t), l 1 (t), l 2 (t), …, l n (t) - интенсивности размножения;

m 1 (t), m 2 (t), …, m n (t) - интенсивности гибели.

У l и μ индекс того состояния, из которою стрелка выходит.

С состоянием S k связана неслучайная величина Х k : если система S в момент времени t находится в состоянии S k , то дискретная случайная величина X(t) , связанная с функционированием системы, принимает значение k . Таким образом, получаем случайный процесс Х(t), который в случайные, заранее неизвестные моменты времени скачком изменяет свое состояние.

Марковским процессом гибели и размножения с непрерывным временем называется такой случайный процесс, который может принимать только целые неотрицательные значения. Изменения этого процесса могут происходить в любой момент времени, т. е. в любой момент времени он может либо увеличиться на единицу, либо уменьшиться на единицу, либо остаться неизменным.

В практике встречаются процессы чистого размножения и чистой гибели. Процессом чистого размножения называется такой процесс гибели и размножения, у которого интенсивности всех потоков гибели равны нулю; аналогично процессом чистой «гибели» называется такой процесс гибели и размножения, у которого интенсивности всех потоков размножения равны нулю.

Пример 1. Рассмотрим эксплуатацию моделей автомобилей одной марки в крупной транспортной фирме (на предприятии). Интенсивность поступления автомобилей на предприятие равна l(t) . Каждый поступивший на предприятие автомобиль списывается через случайное время T c . Срок службы автомобиля t распределен по показательному закону с параметром m . Процесс эксплуатации автомобилей является случайным процессом. A(t) - число автомобилей данной марки, находящихся в эксплуатации в момент t . Найдем одномерный закон распределения случайного процесса P i (t) = P{A(t) = i}, если: 1) нет ограничений на число эксплуатируемых машин, 2) на предприятии может эксплуатироваться не более n автомобилей.

Решение.

1. Случайный процесс эксплуатации автомобилей есть процесс гибели и размножения, размеченный граф которого представлен на рис. 3.8.

Рис. 3.8. Граф состояний

Система уравнений Колмогорова, соответствующая этому графу, имеет вид

где i = 1, 2, …

Если в начальный момент времени t = 0 на предприятии не было ни одного автомобиля, то решать эту систему уравнений нужно при начальных условиях P 0 (0) = 1, P i (0) = 0 (i = 1, 2, …). Если при t = 0 на предприятии было k автомобилей (k = 1, 2, ...), то начальные условия будут иметь вид

P k (0) = 1, P i (0) = 0 (i = 1, 2, …, i ¹ k ).

2. Если на предприятии может эксплуатироваться не более nавтомобилей моделей одной марки, то имеет место процесс гибели и размножения с ограниченным числом состояний, размеченный граф которого представлен на рис. 3.9.

Рис. 3.9. Граф состояний

Система уравнений Колмогорова для размеченного графа (рис. 3.9) имеет вид (3.4).

Эту систему надо решать при начальных условиях, рассмотренных выше. Решения систем уравнений (3.4) и (3.5) являются одномерными законами распределения Р i (t). Отыскание решений систем в общем виде при произвольном виде функции l(t) представляет значительные трудности и не имеет практических приложении.

При постоянных интенсивностях потоков гибели и размножения и конечном числе состояний будет существовать стационарный режим. Система S с конечным числом состояний (n + 1), в которой протекает процесс гибели и размножения с постоянными интенсивностями потоков гибели и размножения, является простейшей эргодической системой. Размеченный граф состояний для такой системы представлен на рис. 3.9.

Предельные (финальные) вероятности состояний для простейшего эргодического процесса гибели и размножения, находящегося в стационарном режиме, определяются по следующим формулам:

Правило. Вероятность k -гo состояния в схеме гибели и размножения равна дроби, в числителе которой стоит произведение всех интенсивностей размножения, стоящих левее S k , а в знаменателе - произведение всех интенсивностей гибели, стоящих левее S k , умноженной на вероятность кранного левого состояния системы P 0 .

В предыдущем примере для стационарного режима если интенсивность поступления автомобилей постоянная (l(t) = l = const ), то финальные вероятности состояний при условии, что нет ограничений на число автомобилей на предприятии, равны

При этом математическое ожидание числа эксплуатируемых автомобилей равно его дисперсии:

M = D = l /m. (3.10)

Если существует ограничение по числу автомобилей на предприятии (не более n ), то финальные вероятности можно записать в таком виде:

где ρ = l /m .

где k = 0, 1, 2, ..., n .

Математическое ожидание числа эксплуатируемых автомобилей в стационарном режиме

Пример 2. В состав поточной лини входит четыре станка. Бригада в составе четырех человек обслуживающего персонала проводит профилактический ремонт каждого из них. Суммарный поток моментов окончания ремонтов для всей бригады - пуассоновский с интенсивностью l(t). После окончания ремонта станок проверяется; с вероятностью Р он оказывается работоспособным (время проверки мало, и им можно пренебречь по сравнению со временем профилактики). Если станок оказывается неработоспособным, то вновь проводится его профилактика (время на которую не зависит от того, проводилась ли она ранее) и т. д. В начальный момент все станки нуждаются в профилактическом ремонте. Требуется:

1. Построить граф состояний для системы S (четыре станка).

2. Написать дифференциальные уравнения для вероятностей состояний.

3. Найти математическое ожидание числа станков M t , успению прошедших профилактику к моменту t .

Решение.

Граф состояний показан на рис. 3.10, в котором:

S 0 – все четыре станка нуждаются в профилактическом ремонте;

S 1 – один станок успешно прошел профилактику, а три нуждаются в профилактическом ремонте;

S 2 – два станка успешно прошли профилактику, а два нуждаются в профилактическом ремонте;

S 3 – три станка успешно прошли профилактику, один нуждается в профилактическом ремонте;

S 4 – все четыре станка успешно прошли профилактику.

Рис. 3.10. Граф состояний системы

Каждый профилактический ремонт успешно заканчивается с вероятностью P , что равносильно P -преобразованию потока окончаний ремонтов, после которого он останется пуассоновским, но с интенсивностью Pl(t) . В этом примере мы имеем дело с процессом чистого размножения с ограниченным числом состояний.

Уравнения Колмогорова имеют следующий вид:

Начальные условия P 0 (0) = 1, P 1 (0) = … = P 4 (0) = 0. При постоянной интенсивности l(t) = l и вероятности состоянии определяются по следующим формулам:

Математическое ожидание числа дисков, успешно прошедших профилактику к моменту t, равно

где n = 4.

Пример 3. Рассмотрим производство автомобилей на заводе. Поток производимых автомобилей - нестационарный пуассоновский с интенсивностью l(t). Найдем одномерный закон распределения случайною процесса X(t) - число выпушенных автомобилей к моменту времени t , если в момент t = 0 начат выпуск автомобилей.

Решение

Очевидно, что здесь процесс чистого размножения без ограничения на число состояний, при этом l i (t) = l(t) , так как интенсивность выпуска автомобилей не зависит от того, сколько их уже выпушено. Граф состояний такого процесса показан на рис. 3.11.

Рис. 3.11. Граф состояний

Одномерный закон распределения случайного процесса Х(t) для графа, изображенного на рис. 3.11, определяется следующей системой уравнений Колмогорова:

Так как число выпушенных автомобилей X(t) на любой фиксированный момент t распределено по закону Пуассона с параметром

M = D = a(t).

Рассмотренный в этом примере процесс X(t) называетсянеоднородным процессом Пуассона. Если интенсивность l(t) = l = const , то получим однородный процесс Пуассона . Для такого процесса при P 0 (0) = 1, P i (0) = 0 (i > 0)

Характеристиками процесса Пуассона будут

M = D = l×t.

Задача 1. Имеется прибор, который состоит из четырех узлов; поток отказов – простейший, среднее время безотказной работы каждого узла равно 11 час. Отказавший узел сразу начинает ремонтироваться; среднее время ремонта узла равно 2 час. (поток восстановления простейший). Найти среднюю производительность прибора, если при четырех работающих узлах она равна 100%, при трех 60%, при двух и менее прибор вообще не работает.