§3 随机过程
一、 一般随机过程
[随机过程的定义] 对于每个tÎT(T 是某个固定的实数集),x(t)是个随机变量,就把这样的随机变量族{x(t),tÎT}称为随机过程。随机过程一次实验的结果是定义在T上的函数,称为随机过程的一次实现。当参数t的变化范围T是个整数集合,则称
x(t), t=0,±1,±2,L
为随机序列。
当T只包含一个或有限个元素,{x(t),tÎT}就是概率论中研究过的随机变量或随机矢量。
[随机过程的有穷维分布函数族]
设{x(t),tÎT}是随机过程,对任意的正整数n及任意的t1, t2,
L,tnÎT,随机变量x(t1)
,x(t2)
,L,x(tn)的联合分布函数为
称为随机过程的有穷维分布函数族。它不仅刻划了对应于每一个t的随机变量x(t)的统计规律性,而且也刻划了各个随机变量x(t)之间的关系,从而完整地描述了随机过程的统计规律性。
[随机过程的统计参数] 设{x(t),tÎT}是个复值随机过程(指它的实部和虚部都是实的随机过程)。主要的统计参数有:
1° 均值函数 对每个tÎT,随机变量x(t)的数学期望(均值)
称为随机过程的均值函数,式中Ft(x)是x(t)的分布函数。
2° 协方差函数与方差函数 对任意的s, tÎT,
称为随机过程的协方差函数(或相关函数),式中m(t)是均值函数。
特别地,当s=t,则称
为随机过程的方差函数(或自相关函数)。
3° 高阶矩
若对任意的正整数n,非负整数m1 , m2 ,L , mn , m= m1+m2+L+mn及任意实数t1,t2,L,tn,随机变量的数学期望存在,则
称它为x(t)在t1,t2,L,t n矩的一个m阶矩。
[随机过程的均方连续性] 设{x(t),tÎT}是一随机过程,t0ÎT,如果
即
则称x(t)在t=t0是均方连续的,式中l.i.m.表示均方收敛。如果x(t)对于任意tÎT都是均方连续,就称x(t)在T上是均方连续的。
随机过程{x(t),tÎT}的如下三命题是等价的:
1° 随机过程{x(t),tÎT}在T上均方连续;
2° 随机过程{x(t),tÎT}的协方差函数R(s,t)(s,tÎT)关于s,t是连续的;
3° 随机过程{x(t),tÎT}的协方差函数R(s,t)(s,tÎT)在对角线s=t上关于s,t是连续的。
下面介绍特殊类型的随机变量:
[独立随机过程]
若对任意的正整数n和任意的任意的t1,t2,LtnÎT,随机变量x(t1),x(t2),L,x(tn)是相互独立的,即
则称{x(t),tÎT}是独立随机过程。
[正态过程] 若对任意的正整数n和任意的t1,t2,L,tnÎT,随机变量x(t1),x(t2),L,x(tn)的联合分布总是正态的,即
则称{x(t),tÎT}是正态(或高斯)过程,式中Rjk=R(j,k),(Rjk)称为协方差矩阵;(Rjk)是(Rjk)的逆矩阵。
[马尔科夫过程]
若对任意的n=1,2,L和任意的t0,t1,L,tnÎT(其中t0<t1<L<tn)以及任意的实数x, y,等式
P{x(tn)≤y|x(tn-1)=x,x(tn-2)=xn-2,L,x(t0)=x0}=P{x(tn)≤y|x(tn-1)=x}
对所有的x(tn-1),L, x(t0)成立,则称{x(t),tÎT}是马尔科夫过程,简称马氏过程。
[时齐马尔科夫过程] 设{x(t),tÎT}是马尔科夫过程,若对任意的t1ÎT,t2ÎT
(t1<t2),条件分布
即条件分布F(t1,x;t2,y)只依赖于t2-t1,x,y,则称{x(t),tÎT}是一个时齐(对时间齐次地)的马尔科夫过程。
[具有独立增量的随机过程] 若对及任意一组,其中),随机变量,,¼,是相互独立的,则称是个具有独立增量的随机过程。
[具有平稳增量的随机过程] 若对任意的t1,t2ÎT和任意h(t1+h,t2+hÎT),随机变量
x(t2+h)(t1+h)与x(t2)(t1)
遵从相同的概率分布,则称是具有平稳增量的随机过程。
[泊松过程] 设{x(t),0≤t<∞}是具有平稳独立增量,取非负整数值的随机过程。如果对于任意t (0≤t<∞),关系式
(k=0,1,2,L)
成立(其中λ>0为常数),则称{x(t),0≤t<∞}为泊松过程。
[维纳过程]
若随机过程{x(t),0≤t<∞}满足P(x(0)=0)=1,具有平稳独立增量,并且随机变量x(t)的分布密度函数是
则称{x(t),0≤t<∞}是维纳过程或布郎运动过程。
[平稳过程]
若对于n=1,2,L,任意tmÎT(m=1,2,L,n)及任意的τ(tm+τÎT,m=1,2,L,n),等式
成立,则称{x(t),tÎT}是平稳过程(狭义的平稳过程)。
二、 马尔科夫过程
1、转移概率
[状态与状态转移概率] 考虑一系列随机试验,其中每次试验的结果如果出现可列个两两互斥事件E1,E2,L中的一个而且仅出现一个,则称这些事件Ei(i=1,2,L)为状态。如果Ei出现,就称系统处在状态Ei。用pij(t,τ)表示“已知在时刻t系统处在状态Ei的条件下,在时刻τ(t>τ)系统处在状态Ej”的条件概率,称pij(t,τ)为转移概率。
[过程的无后效应与时齐性] 无后效性 若在已知时刻t0系统所处状态的条件下,在时刻t0以后系统将到达状态的情况与时刻t0以前系统所处的状态无关,则称过程为无后效的。
时齐性 若转移概率pij(t,τ)只与i,j,τ有关,则称过程为时齐的,简记
pij(τ)=pij(t,t+τ)
2、马尔科夫链
[马尔科夫链] 马尔科夫链是时间与状态都是离散的马尔科夫过程。
1° 设在一系列随机试验下,系统的可能离散状态为 E0,E1,L,如果对于任意二正整数k,m,任意整数0≤j1<j2<L<jl<m,等式
都成立(表示“第m次试验出现Em”的事件),那末称这一随机试验列为马尔科夫链,简称马氏链。
2° 随机变量序列{xn}(n=0,1,L)为马尔科夫链的定义
设{xn}(n=0,1,L)为一随机变量序列,它们中间的每一个都可能取值(相当于所处状态Ei) xi(i=0,1,2,L),如果对于任意正整数k,m,任意正整数0≤j1<j2<L<jl<m,等式
成立,就称{xn}为马尔科夫链,简称马氏链。
通常可取{xi}={1,2,L}。
马氏链所刻划的随机试验序列,可以直观地理解为要验测“将来”所处的状态只要用“现在”已知的状态,而“过去”的状态不起任何作用,这就是无后效性。
马氏链,以至于马尔科夫过程都是具有无后效性的随机过程。
[马尔科夫链的转移概率矩阵] 如果在时刻m系统由状态Ei经过一次转移到达状态Ej的概率和时刻m无关,那末就可用pij表示这个一次转移概率。显然
(pij≥0,i,j=0,1,2,L)
转移概率pij可排成一个转移概率矩阵
这是一个每行元素和为1的非负元素的矩阵,称为马氏链的一步转移概率矩阵。
同样用表示系统由状态Ei经过n次转移而到达Ej的转移概率,
同样定义马氏链的n步转移概率矩阵:
由无后效性,得
称为切普曼-柯尔莫哥洛夫方程。
由切普曼-柯尔莫哥洛夫方程可以推出
P(n)=Pn
[闭集与状态的分类] 考虑时齐的马氏链。设E为状态空间,E=(E0,E1,E2,L),如果存在正整数n使得,则称Ek可自Ej到达,并记为EjÞEk. 。如EjÞEk且EkÞEj,就说Ej,Ek,互通,记作EjÛEk。
称E的子集C为闭集,是指C外的任一状态都不能自C内任一状态到达。设E是闭集,若单点集{Ek}成一闭集,就称Ek为吸引状态,若E内不存在真子集是闭集,称这个马氏链是不可分的。
记“系统处在状态Ei的条件下,经n步转移初次到状态Ej”的条件概率为,它可用转移概率表示为
于是
记
它是“系统在开始处于状态Ei的条件下,经有穷次转移后终于到达状态Ej”的条件概率,并令
如fij=1,则可视mij为从状态Ei出发,初次到达状态Ej转移次数的数学期望
状态分类如下:
1° 如果fjj=1,则称Ej为常返的;如果fjj<1,则称Ej为非常返的;
2° 设Ej是常返状态,若mjj=∞,则称Ej为消极常返的(或零状态);若μjj<∞,则称Ej为积极常返的(或正状态)。
3° 如果正整数有最大公约数t,当t>1,称Ej为周期的,或具有周期t;当t=1,则称Ej为非周期的。
4° 如果Ej是常返,非周期正状态,则称Ej为遍历的。
状态分类的判别法
1°
Ej为非常返的充分必要条件是。
2°
若Ej是有周期t的常返状态,则。
3°
若Ej是遍历的,则。
4°
若Ej是常返的,则它为零状态的充分必要条件是。
[马尔科夫链的分解定理] 任一系统的状态空间可以分解为下列不交子集D,C1,C2,L之和,其中
1° 任一Cj是由常返状态构成的不可分的闭集,Ci中的状态不能自Cj(i≠j)中的状态到达;
2° Cj中的状态属同类:或者都是零的,或者都是遍历的,或者都是有周期的非零的状态(在任何一种情况下,Cj中各状态都有相同的周期),而且fik=1(EiÎCj,EkÎCj);
3° D由一切非常返状态构成(Cj中的状态可能自D中的状态到达,反过来不行)。
[马尔科夫链的遍历性定理] 对于不同的类型,有如下的遍历性定理:
1° 若EkÎD或Ek为零状态,则对任意的j,有
2° 若Ek是周期为t的正的常返状态,则对任意的j,有
(1≤r≤t)
其中
表示自Ej出发,在某n步(n≡r(modt))上初次到达Ek的概率。
3° 对于不可分非周期的马氏链,极限
存在,而且只能有下面两种情况:
(i)所有pj(出现Ej的概率)都大于零,此时{pj}是唯一的平稳分布,即概率分布{pj}满足
(j=0,1,L)
(ii)所有的pj都等于零,此时不存在平稳分布。
3、时间连续、状态离散的马尔科夫过程
这里只考虑时齐的马尔科夫过程。
[切尔曼-柯尔莫哥洛夫方程] 令pij(t)表示时间间隔为t、系统从状态Ei转移到状态Ej的概率,那末
, pij(t)≥0
对于t>0,τ>0有切尔曼-柯尔莫哥洛夫方程
它是马尔科夫过程研究的基础。
[遍历性定理] 任何时间连续,状态有限(E1,L,En)的马尔科夫过程,如果存在一个t0,使得对于任何的i,r,pir(t0)>0,那末极限
(0≤j, i≤n)
存在并且与i无关。
[柯尔莫哥洛夫的前进和后退方程]
如果只有有限个状态的马尔科夫过程满足
就称它是随机连续的马尔科夫过程。
对状态有限的随机连续的马尔科夫过程,有柯尔莫哥洛夫的前进和后退方程:
(前进方程)
(后退方程)
其中
4、扩散过程
[扩散过程的定义] 状态连续的马尔科夫过程{x(t),0≤t<∞},如果它的条件
分布函数F(t,x;τ,y)对任何的ε>0及t1<t<t2,t1→t,t2→t,关于x一致地成立下列三个关系:
(i)
(ii)
(iii)
就称马尔科夫过程{x(t),0≤t<∞}为扩散过程。
[柯尔莫哥洛夫第一方程]
如果扩散过程的条件分布函数F(t,x;τ,y)的偏导数
存在,且对任何t, x,
y和τ(τ>t)连续,那末函数F(t,x;τ,y)满足柯尔莫哥洛夫第一方程
[柯尔莫哥洛夫第二方程] 如果扩散过程的条件分布函数F(t,x;τ,y)具有分布密度f(t,x;τ,y),并且下面的各个偏导数
存在且连续,那末f(t,x;τ,y)满足柯尔莫哥洛夫第二方程
三、平稳随机过程
[弱平稳过程] 如果随机过程{x(t),tÎT}满足
就称它是弱平稳过程(或广义的平稳过程)。
广义的平稳过程不一定是狭义的平稳过程;反过来,狭义的平稳过程也不一定是广义的平稳过程,但是如果狭义平稳过程的二阶矩存在,那们那末它必是广义的平稳过程。
对于正态过程来说,广义平稳性和狭义平稳性是一致的。
在理论研究中,考虑复值随机过程常常更加方便。所谓复值随机变量x是指x=η+ix,其中η, x都是随机变量;而复值随机过程就是x(t)=η(t)+
ix(t),其中η(t), x(t)都是实值随机过程。
复值随机变量x=η+ix的均值(或数学期望)定义为
两个复值随机变量x1,x2的相关矩定义为
复值随机过程{x(t),tÎT}的广义平稳性,是指它满足
下面考虑的都是复值的广义平稳过程。
[相关函数的谱分解]
如果函数R(τ)是某一均方连续平稳过程{x(t), <t<}的相关函数,那末
其中F(λ)是有界不减函数,满足,称为平稳过程{x(t),<t<}的谱函数(工程上称为频谱)。
如果F(λ)绝对连续,记,称为谱密度(工程上称为频谱密度),这时
当{x(t), <t<}是实值平稳过程时,相关函数R(τ)可以表示成
或(当谱密度存在时)
其中F1(λ)=2F(λ)+c(c为常数),。
特别,对复值平稳序列{xn, n=0,±1,L}有
(k=0,±1,L)
其中谱函数F(λ)满足
F()=0, F(p)=R(0)
[遍历性定理]
1° 如果{x(t),-∞<t<∞}是均方连续的平稳过程,那末
的充分必要条件是:
2°
如果{xn, n=0,±1,L}是平稳序列,那末
的充分必要条件是:
3° 如果{x(t),-∞<t<∞}是均值为零的均方连续的平稳过程,又对取定的常数
t >0,也是均方连续的平稳过程,记其相关函数为Rt(u),那末
的充分必要条件是:
4°
如果{ n=0,±1,L}是均值为零的平稳序列,又对取定的整数m, n=0,±1,L}也是平稳序列,记其相关函数为Rm(k),那末
的充分必要条件是:
遍历性定理表明,对于平稳过程,只要它满足定理的条件(在实际中它们是常常能够满足的),那末对样本空间的平均(如均值、相关矩等)可以用对时间的平均来代替,更具体地说,只要用平稳过程在足够长时间的一次实现,就可以确定过程的均值和相关函数。这正是遍历性定理在实用上重要的原因。
[平稳过程的谱展式]
如果{x(t),-∞<t<∞}是均值为零的均方连续平稳过程,那末有
其中
满足 (i)EZ(l)=0
(ii)当区间与不相重叠时
(即Z(l)是具正交增量的过程)
(iii)
(F(l)是谱函数)
Z(l)称为x(t)的随机谱函数,x(t)的积分表示式称为x(t)的谱展式。
特别,如果x(t)是实值均方连续平稳过程,那末有
其中
满足 (i)EZ1(l)=EZ2(l)=0,
(ii)当区间与不相重叠时
(j,k=1,2)
(iii)
(F(l)是谱函数)
如果{xn, n=0,±1,L}是均值为零的平稳序列,那末有
其中随机谱函数Z(l)是
(-p≤λ≤p)
它也满足类似于均方连续平稳过程的随机谱函数的性质(i)~(iii)。