第十六章
概率统计与随机过程
本章扼要的介绍了概率论的重要内容,除了介绍随机事件及其概率、随机变量和分布函数、随机变量的数值特征、概率母函数、矩母函数和特征函数、大数法则和中心极限定理等基本概念外,还介绍了正态分布表和概率纸的用途。这一章着重的叙述了常用数理统计方法,包括样本及其频率分布、总体参数的区间估计、统计检验、方差分析、回归分析、正交实验设计、抽样检验、质量评估(工序控制)等八个部分;最后简述了随机过程论的基本内容,突出了较为常用的马尔科夫过程和平稳随机过程。
§1 概率论
一、
事件与概率
1.随机事件及其运算关系
[随机事件 · 必然事件 · 不可能事件] 在一定条件下,可能发生也可能不发生的试验结果称为随机事件,简称事件,用A , B , C ,···表示。随机事件有两个特殊情况,即必然事件(在一定条件下,每次试验都必定发生的事件)和不可能事件(在一定条件下,各次试验都一定不发生的事件),分别记为Ω和Φ。
[事件的运算关系]
1° 包含 当事件B发生时,事件A也一定发生,则称A包含B或B包含于A中,记作AB,或BA。
2° 等价 如果AB且AB,即事件A和B同时发生或不发生,则称A与B等价,记作A=B。
3° 积 表示事件A和B同时发生的事件,称为A与B的积,记作AB(或AB)。
4° 和 表示事件A或事件B发生的事件,称为A与B的和,记作AB(或A+B)。
5° 差 表示事件A发生而事件B不发生的事件,称为A与B的差,记作A \ B(或A)。
6° 互斥 如果事件A与B不可能同时发生,即AB,那末称A与B是互斥(或互不相容)的。
7° 对立 如果事件A与B互斥,又在每次试验中不是出现A就是出现B,即AB=且AB=Ω,那末称B为A 的对立事件,记作B=。
8° 完备 如果事件A1 ,A2 , ··· , An在每次试验中至少发生一个,即 ,则称{A1,A2,··· ,An}构成一个事件完备组。特别当A1 ,A2 ,··· ,An又是两两互斥时,即AiAj=(ij,i,j=1,2,··· ,n),就称{A1,A2 ,··· ,An}是两两互斥的事件完备组。
2、概率的几种定义
[频率与概率] 随机事件在一次试验中是否发生,固然是无法事先肯定的偶然现象,但当进行多次重复试验,就可以发现其发生的可能性大小的统计规律性。具体说,如果在相同条件下进行n次重复试验,事件A出现了v次,那末事件A在n次试验中出现的频率当n无限增大时呈现稳定性。这一统计规律性表明事件A发生的可能性大小是事件本身所固有的、不以人们主观意志改变的一种客观属性。事件A发生的可能性大小称为事件A的概率,记作P(A)。当试验的次数n足够大,可用事件的频率近似地表示该事件的概率,即
[概率的古典定义] 设一个随机试验(不能事先准确的预言它的结果,而且在相同条件下可以重复进行的试验)只有有限个不同的基本事件ω1 , ω2 , ··· ,ωn(基本事件也是一种事件,一般的事件总是有几个基本事件共同组成的),每个基本事件都是等可能*的,基本事件的全体记作Ω,称它为基本事件空间,如果事件A由k (kn) 个不同的基本事件组成,那末规定A的概率P(A)为
不可能事件的概率规定为
[概率的公理化定义]
定义 1 设,F,如果F满足下面条件:
(i)F;
(ii) 若F,则F();
(iii) 对于任意F (n=1,2,···),有
F
则称F是中的一个代数。
定义2 设是代数F上的实值集函数,如果它满足条件:
(i) 对任意F,有0P(A)1;
(ii) ;
(iii) 对任意F(n=1 , 2 , ···),AiAj= ( ij ) 有
P( )=An)
则称P(A)为F上的概率测度,或简称概率。这时,称ω为基本事件,A(F)称为事件,F是事件的全体,P(A)称为事件A的概率,<,F ,P>称为概率空间。
3.概率的基本性质
1° 0P(A)1
2° P(必然事件)=P(Ω)=1
3° P(不可能事件)=P()=0
4° P(AB)=P(A)+P(B)—P(AB)
若A , B互斥,则P(AB)=P(A)+P(B)
若A1 , A2 , ··· , An两两互斥,则
P()=P(A1)+P(A2)+···+P(An)=1
5° 若AB,则P(A)P(B)
6° 若AB,则P(A)(B)=P(A\B)
7° 对任意事件A,P()=1 (A)
8° 若A1 , A2 ,··· , An是两两互斥的事件完备组,则
P( )=P(A1)+P(A2)+···+P(An)=1
9° 设AnF,AnAn+1 , n=1,2,···,令A=n , 则
P(A)= (连续性定理)
4、概率的计算公式
[条件概率与乘法公式] 在事件B发生的条件下,事件A发生的概率称为事件A在事件B已发生的条件下的条件概率,记作P(A|B)。当P(B)>0时,规定
P(A|B)=
当P(B)=0时,规定P(A|B)=0。由此得出乘法公式:
P(A=P(B)P(A|B)=P(A)P(B|A)
P(A1A2···An)=P(A1)P(A2|A1)P(A3|A1A2)···P(An|A1A2···An-1) (P(A1A2···An-1)>0)
[独立性公式] 如果事件A与B满足P(A|B)=P(A),那末称事件A关于事件B是独立的。独立性是相互的性质,即A关于B独立,B一定关于A独立,或称A与B相互独立。
A与B相互独立的充分必要条件是:
P(AB)=P(A)P(B)
如果事件A1 ,A2 ,···, An中任意m个()都满足关系式
称A1 , A2 ,···, An是总起来独立的,简称为相互独立。
[全概率公式] 如果事件组B1 , B2 ,···满足
P()=1, P(Bi)>0 (i=1,2,···)
则对于任意一事件A,有
如果Bi只有n个,公式也成立,此时右端只有n项相加。
[贝叶斯公式] 如果事件组B1 , B2 ,···满足
(ij)
,
则对于任一事件A(P(A)>0),有
P(Bi |A)=
如果Bi只有n个,公式也成立,此时右端分母只有n项相加。
[伯努利公式] 设一次试验中某事件A出现的概率为p,则n次重复试验中事件A出现k次的概率pn,k为
pn,k = pk(1)n-k (k=0,1,···,n)
式中为二项系数。
当n和k都很大时,有近似公式
pn,k
式中, 。
[泊松公式] 当n充分大,且p很小时,有近似公式
pn,k
式中= np。
二、
随机变量与分布函数
[随机变量及其概率分布函数] 每次试验的结果可以用一个变量的数值来表示,这个变量的取值随偶然因素而变化,但又遵从一定的概率分布规律,这种变量称为随机变量,用,···表示。它是随机现象的数量比。
给定随机变量,它的取值不超过实数x的事件的概率P(x)是x的函数,称为的概率分布函数,简称分布函数,记作F(x) ,即
F(x)=P( (
[分布函数的基本性质]
1° ,
2° 若x1<x2,则F(x1)F(x2) (单调性)
3° F(x+0)=F(x) (右连续性)
4° P(a<=F(b)(a)
5° P(=F(a)0)
[离散分布与概率分布列] 如果随机变量只能取有限个或可列个数值x1 , x2 ,···, xn ,···,就称为离散型随机变量。若记P()=pk (k=1,2,···),则取值的概率分布由{pk}完全确定。称{pk}为的概率分布列。{pk}有以下性质:
1°
2° =1
3° 设D为实数轴上任一可测集,则P(
4° 的分布函数
F(x)=
是在处有跳跃的阶梯函数。
[连续分布与分布密度函数] 如果随机变量的分布函数F(x)能够表示为
F(x)= (p (x)非负)
就称是连续型随机变量。p(x)称为的分布密度函数(或分布密度)。分布密度函数具有以下性质:
1° p(x)=
2°
3° 若p (x)是连续型随机变量的分布密度,则对实数轴上的任一可测集D,有
[随机变量的函数的分布] 如果随机变量是随机变量的函数
设随机变量的分布函数为F(x),则的分布函数G(x)为
G(x)=
特别,当是离散型随机变量时,其可能值为x1 , x2,···,且P,则
G(x)=
当是连续型随机变量时 ,其分布密度为p(x),则
G(x)=
[随机矢量的联合分布函数与边缘分布函数] 如果···,联系于同一组条件下的n个随机变量,则称···,)为n维随机变量或随机矢量。
若(x1 , x2 ,···,xn)是n维实数空间Rn上的一点,则事件“···,的概率
作为x1 , x2 ,···, xn的函数,称为随机矢量···,的联合分布函数。
设(···,是(···,中任意取出m(mn)个分量构成的m维随机变量,则称(···,的联合分布函数为(···,的m维边缘分布函数。
这时,如果分别记(···,与(···,的分布函数为F(x1,x2,···,xn)与,那末
=F(···,x,···, ,···,x,···,)
[条件分布函数与独立性] 设是一随机变量,事件B满足P(B)>0,则称
F(x|B)=P (x|B)
为在事件B已发生的条件下的条件分布函数。
1° 设(,是二维离散型随机变量,和的可能取值分别为xi (i=1,2,···)和yk (k=1,2,···).又记(,的联合分布为
P(= pik
两个一维边缘分布为
P(=·= (i=1,2,···)
P(==
则称
P(|)=
为在条件下离散型随机变量的条件分布。类似的,称
P(|)= (>0,
k=1,2,···)
为在条件下离散型随机变量的条件分布。
2° 设()是二维连续型随机变量,其联合分布密度是f(x,y),在点y ,则称
为在=y条件下的条件分布函数,在点x,则称
为在条件下的条件分布函数。
3° 如果(···,的联合分布函数等于所有一维边缘分布函数的乘积,即
F(x1 , x2 ,···, xn)=
(它相当于P(,···,nxn)=那末称,···,是相互独立的。
三、
随机变量的数字特征
[数学期望(均值)与方差] 随机变量的数学期望(或均值)记作E(或M),它描述了随机变量的取值中心。随机变量()2的数学期望称为的方差,记作D(或Var),而D的平方根称为的均方差(或标准差),记作=。它们描述了随机变量的可能取值与均值的偏差的疏密程度。
1° 若是连续型随机变量,其分布密度为p(x),分布函数为F(x),则(当积分绝对收敛时)
E=
D=
2° 若是离散型随机变量,其可能取值为xk , k=1,2,···,且P(=xk)=pk,则(当级数是绝对收敛时)
E
D=pk
[均值与方差的几个公式]
1 ° D=E2-(E)2
2° Ea=a , Da=0 (a为常数)
3° E(c)=cE , D(c)=c2D(c为常数)
4° E(
5° 若1 , 2 ,···, n为互相独立的n个随机变量,则
E(1+2+···+n)=E1+E2+···+En
D(1+2+···+n)=
6° 若1 , 2 ,···, n为互相独立的n个随机变量,则
E(12···n)=(E1)(E2)···(En)
D(1+2+···+n)=D1+D2+···+Dn
7° 若1 , 2 ,···, n为互相独立的随机变量,且=0, Dk=(k=1,2,···,n)则随机变量的均值与方差分别为
[契贝谢夫不等式] 对任一给定的正数,有
[条件数学期望与全数学期望公式] 设F(x|B)是随机变量对事件B的条件分布函数,则
称为(当积分绝对收敛时)对事件B的条件数学期望。若是连续型随机变量,其条件分布密度为p(x|B),则
若是离散型随机变量,其可能取值为x1 , x2 ,···,则
若B1 , B2 ,···,Bn是两两互斥的事件完备组,则有全数学期望公式
[中位数、众数与均值的关系] 满足
P(, P(
的数m称为随机变量的中位数。换句话说,m满足下面两式:
P(
P(
使分布密度函数取值为最大,即
p()=极大值
的称为随机变量的众数。
对于单峰对称分布函数,m==(均值)
对于非对称单峰分布函数,m位于与之间。
[高阶原点矩与中心矩] 当r,随机变量和(的数学期望(假设存在)分别称为随机变量的r阶原点矩和r阶中心矩,分别记作和。特别,为均值,为方差。
1° 若是连续型随机变量,其分布密度为p(x),则
2° 若是离散型随机变量,其可能取值为xk (k=1,2,···),且P(=xk)=pk ,则
3° 当r,随机变量和的数学期望(假设存在)分别称为随机变量的r阶绝对原点矩和r阶绝对中心矩。且有类似公式与1°,2°对应。
4° 原点矩和中心矩满足如下关系(r是正整数);
式中为二项系数。
[协方差与相关系数]
设随机变量和的均值和方差都存在,则和的协方差或Cov(为
=E[(
和的相关系数为
=
四、
概率母函数·矩母函数·特征函数
[整数值随机变量的概率母函数] 若是只取非负整数值的随机变量,则称随机变量函数的均值为随机变量的概率母函数。记P=(=k)=pk ( k=0,1,2,···), 则的概率母函数是
P( (-1
设,则
(1)=E
(1)=E[
···········································
P
反过来有
[矩母函数]
若是随机变量,则称随机变量函数的均值
为的矩母函数。如果有任意阶原点矩···),则
1° 若是离散型随机变量,其可能值为x1, x2,···,则
2° 若是连续型随机变量,其分布密度为p(x),则
[特征函数]
若是随机变量,称复值随机变量e的均值
(i=)
为的特征函数。如果有任意阶原点矩(k=1,2,···),则
若是离散型随机变量,其可能值为x1 , x2 ,···, P(,则
2° 若是连续型随机变量,其分布密度为p(x),则
[概率母函数、矩母函数和特征函数之间的关系]
P(et)=
P(eit)=
五、
常用分布函数
1、 常用离散型分布
名称记号 |
概率分布及其定义域 参数条件 |
均值 |
方差 |
概率母函数
|
矩母函数
|
特征函数
|
图 示 |
|
二项分布
|
为正整数 |
|
|
|
|
|
|
|
泊松分布
|
为正整数 |
|
|
|
|
|
|
|
几何分布
|
|
|
|
|
|
|
|
|
负二项分布
|
为正实数 |
|
|
|
|
|
|
|
单点分布
|
为正整数 |
|
|
|
|
|
|
|
名称记号 |
概率分布及其定义域 参数条件 |
均值 |
方差 |
概率母函数
|
矩母函数
|
特征函数
|
图 示 |
|
对数分布
|
|
|
|
|
|
|
|
|
超几何分布
|
为正整数
|
|
(为超几何函数) |
|
||||
2、常用连续分布
名称记号 |
分布密度及其定义域 参数条件 |
均值 |
方差 |
矩母函数 |
特征函数 |
图 示 |
均布函数 |
|
|
|
|
|
|
标准正态分布 |
|
0 |
1 |
|
|
|
正态分布 |
|
|
|
|
|
|
瑞利分布 |
|
|
|
|
|
|
指数分布 |
|
|
|
|
|
|
贝塔分布 |
|
|
|
(库默尔函数) |
|
|
伽马分布 |
|
|
|
|
|
|
对数正态分布
|
|
|
|
|
|
|
分布(自由度为
|
n为正整数 |
n |
2n |
|
|
|
分布(自由度为) |
n为正整数 |
0 (n>1) |
|
为诺依蔓函数 |
|
|
F分布(自由度(m,n)) F(m,n) |
m,n为正整数 |
|
|
(库默尔函数) |
|
|
威 尔 布 分 布 |
形状参数,尺度参数, 位置参数 |
|
|
|
|
|
柯 西 分 布 |
|
不存在 |
|
|
六、大数法则与中心极限定理
[大数法则]
1° 伯努利定理 随机事件A在n次独立试验中的频率依概率收敛于事件A的概率p,即对任意,
2° 互相独立的随机变量···如果(i)存在均值方差。记E,···)
;或者(ii)具有相同分布,且有有限均值E。那末
依概率收敛于随机变量的均值,即对任意,
3° 如果互相独立具有相同分布的随机变量的均值和方差都存在,记那末
依概率收敛于随机变量的方差,即对任意,
[中心极限定理]
1° 如果互相独立具有相同分布的随机变量的均值和方差都存在,记,那末随机变量
渐近地遵从标准正态分布N(0,1),即
2°
在1°的条件下,有
或
七、
正态分布表的用途
实用中,很多随机现象都遵从正态分布,或经适当变换而渐近的遵从正态分布。本手册附有正态概率积分
的数值表,以及积分
(K
中值与值对应表。利用它们可计算下列问题:
1° 遵从标准正态分布的随机变量落在区间内的概率为
单边概率为
(或从值与值对应表中查出的值来)。
2°
已知,确定积分
中的。由对称性
从值与值对应表中找出,则。
3° 遵从正态分布的随机变量落在区间内的概率为
单边概率为