概念
基本事件对应一个单点集,所有基本事件 An 对应的单点集 {ωn} 的并集为样本空间
Ω={ω1,ω2,…,ωn},其中的每一个元素称为样本点
互不相容?对立事件?
频率具有不确定性(是一个变量),但是随着试验次数的增加,频率会稳定于一个常数附近。
F
的三条性质:空集、补集、可列并。(Ω,F,P) 为概率(测度)空间。
概率的性质:3 条基本性质:非负性、规范性、可列可加性
连续性:A1⊂A2⊂…,∪Ai=A⇒P(An)→P(A),反方向同理
为何两两独立不一定多个独立?
{ξ≤x}={ω:ξ(ω)≤x}
F(x)=P{ξ≤x},F(x+0)=F(x)
连续型随机变量的分布函数左右连续、绝对连续
不可能事件的概率为 0,但是概率为
0 的事件不一定是不可能事件。
总体是随机变量 ξ,样本是一组随机变量 ξ1,ξ2,…,ξn,样本观测值是一组具体数值
x1,x2,…,xn,统计量是样本的函数
T=T(ξ1,ξ2,…,ξn),统计值是样本观测值代入统计量得到的具体数值 t=T(x1,x2,…,xn)。
矩估计法:用样本矩代替总体矩(如:样本均值代替总体均值,样本方差代替总体方差)
极大似然估计法
区间估计,正态总体的枢轴变量法
参数假设检验
极限定理
以概率 1 收敛 > 依概率收敛 > 依分布收敛
依分布收敛:对于分布函数列 {Fn(x)},若存在非降函数 F(x) 使得 n→∞limFn(x)=F(x) 对于 F(x)
的所有连续点成立,则称 {Fn(x)} 依分布收敛于 F(x),记为
Fn(x)⟶w/L/dF(x)(收敛到的函数
F(x) 不一定是分布函数,如 F(x)=0)
依概率收敛:对于随机变量列 {ξn},若对于任意 ε>0,有 n→∞limP{∣ξn−ξ∣≥ε}=0 则称 {ξn} 依概率收敛于 ξ,记为 ξn→pξ(n 足够大时,有非常大的把握认为 ξn 与 ξ 非常接近)
以概率 1 收敛:对于随机变量列 {ξn},若 P(ω:n→∞limξn(ω)=ξ(ω)) (P{n→∞limξn=ξ}=1) 则称 {ξn} 以概率 1 收敛于
ξ,记为 ξn⟶a.s./a.e.ξ。
以概率 1 收敛强于依概率收敛:
设 Ω={ω1,ω2},P{ω1}=P{ω2}=21,ξ(ω1)=1,ξ(ω2)=−1。若 ξn=−ξ,则 ξn 的分布律与 ξ 相同,但 ξn 与 ξ 不以概率 1 收敛。
连续性定理
连续性定理可用来确定随机变量序列的极限分布。
正极限定理:若随机变量列 {ξn} 依分布收敛于随机变量 ξ,则相应的特征函数列 {φn(t)} 收敛于 φ(t),且在 t 的任意有限区间的收敛是一致的。
负极限定理:若特征函数列 {φn(t)} 收敛于某一函数 φ(t),且 φ(t) 在 t=0 处连续,则相应的分布函数列 {Fn(x)} 依分布收敛于某一分布函数 F(x),且其特征函数为 φ(t)。
弱大数定律
弱大数定律是基于依概率收敛的定律。
n1i=1∑nξi−n1i=1∑nE(ξi)→p0

贝努利大数定律:独立、同 01 分布
泊松大数定律:独立、01 分布(概率可不同)
独立同分布大数定律:独立、同分布、均值方差存在
切比雪夫大数定律:独立、期望存在、方差一致有界(∃C s.t. D(ξi)≤C )(如何证明?)
辛钦大数定律:独立、同分布、期望存在
马尔可夫大数定律:无需独立、满足 n→∞limn21D(i=1∑nξi)=0
计算定积分:要求 J=∫abg(x)dx,令 E(g(ξ))=b−a1J,取独立且服从 U[a,b] 的随机变量序列 ξ1,ξ2,…,则 n1∑i=1ng(ξi)→pE(g(ξ))。
强大数定律
强大数定律是基于几乎处处收敛性的定律。
n1i=1∑nξi−n1i=1∑nE(ξi)⟶a.s.0
波雷尔大数定律:独立同两点分布
(似乎和贝努利大数定律一样)
科尔莫哥洛夫判别法:独立同分布、n=1∑∞n21D(ξn)<+∞
科尔莫哥洛夫定理:独立同分布、E(∣ξk∣)<+∞
中心极限定理
独立、存在有限的期望和方差的随机变量序列对 z∈R 一致地有 n→∞limP{ηn∗=∑D(ξi)∑ξi−∑E(ξi)≤z}=Φ(z) 则称 ξ1,ξ2,… 满足中心极限定理。
即:随机变量序列的前 n
项和的标准化随机变量序列依分布收敛于标准正态分布。
独立同分布中心极限定理:独立同分布随机变量序列满足中心极限定理,且
E(ξi)=μ,D(ξi)=σ2
由两点分布的独立同分布中心极限定理,可以得知当 n
足够大时,二项分布的近似计算可以使用正态分布。一般来说,当 np>5,np(1−p)>5
时,可以使用正态分布进行近似计算。
TODO: 林德伯格定理、李雅普诺夫定理
公式
全概率公式、贝叶斯公式
P(B)=∑P(Ai)P(B ∣ Ai)
P(Hi ∣ E)=P(Hi)∑jP(Hj)P(E ∣ Hj)P(E ∣ Hi)
相互独立性
P{ξ≤x,η≤y}=P{ξ≤x}P{η≤y}
等价条件:
联合分布函数 F(x,y)=Fξ(x)Fη(y)
联合分布律 pij=pi⋅p⋅j(若需要否定,则找到一个反例即可)
边缘分布函数 f(x,y)=fξ(x)fη(y) 在平面上除去面积为 0 的集合成立
随机变量函数的分布
若 ξ 是随机变量,则对连续函数
g(ξ) 来说也是一个随机变量。
和的分布(记住)
fX+Y(z)=FX+Y′(z)=∫−∞z∫−∞+∞f(x,z−x)dxdz=∫−∞+∞f(x,z−x)dx
分布函数法
对于 Y=g(X): FY(y)=P{g(X)≤y}=∫g(x)≤yf(x)dx⇒fY(y)=FY′(y)
期望
E(Y)=E(g(X))=∫−∞+∞g(x)dF(x)
E(aξ+b)=aE(ξ)+b
E(∑aiξi)=∑aiE(ξi)
相互独立时 E(∏ξi)=∏E(ξi)
方差与协方差
D(ξ)=E((ξ−E(ξ))2)=E(ξ2)−(E(ξ))2
若 E(ξ2) 存在,则
E(ξ) 与 D(ξ) 一定存在
Cov(ξ,η)=E((ξ−E(ξ))(η−E(η)))=E(ξη)−E(ξ)E(η)
D(aξ+b)=a2D(ξ),Cov(aξ,bη)=abCov(ξ,η),D(ξ)=Cov(ξ,ξ)
D(ξ±η)=D(ξ)+D(η)±2Cov(ξ,η)
Cov(ξ1±ξ2,η)=Cov(ξ1,η)±Cov(ξ2,η)
协方差矩阵 Σ
的对角线元素为方差,非对角线元素为协方差;相关系数矩阵同理。
ρ(ξ,η)=D(ξ)D(η)Cov(ξ,η)=Cov(ξ∗,η∗)≤1
Chebyshev 不等式
P{∣ξ−E(ξ)∣≥ε}≤ε2D(ξ)
方差刻划了随机变量关于其数学期望的偏离程度,随机变量关于其数学期望的偏离程度比关于其它任何值的偏离程度都小!
Cauchy-Schwarz 不等式
(E(ξη))2≤E(ξ2)E(η2)
协方差矩阵中,有 bij2≤biibjj。
条件期望、方差
条件数学期望:E(ξ ∣ y)=E(ξ∣η=y)=∫−∞+∞xdFξ∣η(x ∣ y)
若使用 η 替换 y,则有实值函数 δ(y)=E(ξ ∣ y)。(一般也记 μ(x)=E(η ∣ x)),也是随机变量。(如:E(aξ+bη ∣ ψ)=aE(ξ ∣ ψ)+bE(η ∣ ψ))
若 ξ,η 相互独立,则 E(ξ ∣ η)=E(ξ)
E(E(ξ ∣ η))=E(ξ) (全期望公式)
E(g(η)ξ ∣ η)=g(η)E(ξ ∣ η)
E(g(η)⋅ξ)=E(E(g(η)ξ ∣ η))=E(g(η)E(ξ ∣ η))
E(c∣η)=c,其中
c 为常数
E(g(η))=E(g(η)⋅E(1 ∣ ψ))=E(E(g(η) ∣ ψ))
全数学期望公式:E(ξ)=∫E(ξ ∣ y)dFη(y)
多维正态随机变量
(ξ1,…,ξn) 服从多维正态分布,则以下命题等价:
ξ1,…,ξn
相互独立
ξ1,…,ξn
两两不相关
Σ 为对角矩阵
(ξ1,…,ξn) 服从 n 维正态分布 ⇔
它们的任何非零线性组合服从一维正态分布。
X=(ξ1,…,ξn) 服从 n
维正态分布,则对于任意矩阵 A,AX∼N(AM,AΣA⊤)。
特征函数
φ(t)=E(ejtξ)
φ(t1,…,tn)=E(ej(t1ξ1+…+tnξn))
性质:
一致连续、非负定
φ(t→)=φ(−t→)
∣φ(t→)∣≤φ(0→)=1
φ(t1,0)=φξ(t1)
一致连续、非负定、φ(0)=1
的函数一定是特征函数。
公式:
η=aξ+b⇒φη(t)=ejbtφ(at)
Z=aξ+bη+c⇒φZ(t)=ejctφ(at,bt),特别地,φξ+η(t)=φ(t,t)
独立性: ξ1,…,ξn
相互独立 ⇔ φ(t1,…,tn)=φξ1(t1)…φξn(tn)(二项分布的来源)
特征函数与矩
若随机变量 ξ 的 n 阶矩存在,则 ξ 的特征函数的 k 阶导数存在且 E(ξk)=j−kφ(k)(0)。
D(ξ)=E(ξ2)−(E(ξ))2=−φ′′(0)−(φ′(0))2
反演公式
唯一性定理:分布函数恒等的充要条件是它们的特征函数恒等。
反演公式: F′(x)=f(x)=2π1∫−∞+∞e−jtxφ(t)dt
常见分布
知道:常见分布的数学模型及应用场景
记住:常见分布的分布律、概率密度
概率密度函数的定义域为实数集。为简单起见,下方未定义的区域的概率密度为
0。
二项分布:B(n,p)
P(ξ=k)=Cnkpk(1−p)n−k,E(ξ)=np,D(ξ)=np(1−p)
n 重伯努利试验中成功次数 ξ 的分布
泊松分布:P(λ)
P(ξ=k)=e−λk!λk,E(ξ)=λ,D(ξ)=λ
B(n,nλ),n→∞,λ=npn: 单位时间内事件发生的次数。“稀有事件”(n较大,pn较小)
几何分布
P(ξ=k)=(1−p)k−1p 第 k 次成功发生的次数 ξ 的分布
负二项分布
P(ξ=k)=Ck−1n−1pn(1−p)k−n 第 n 次成功发生的次数 ξ 的分布
- 均匀分布:U(a,b)
f(x)=b−a1,a≤x≤b,E(ξ)=2a+b,D(ξ)=12(b−a)2
指数分布:E(λ),λ>0
f(x)=λe−λx,x≥0,E(ξ)=λ−1,D(ξ)=λ−2(E=σ)
无后效性(即:P(ξ>s+t ∣ ξ>s)=P(ξ>t))
泊松过程中两次事件之间的时间间隔(失效率,越高越容易失效)
正态分布:N(μ,σ2)
f(x)=σ2π1exp(−21σ2(x−μ)2) N(μ,σ2)→Φ(σx−μ) X∼N(a,σ12),Y∼N(b,σ22)(E(XY)=E(X)E(Y))⇒aX+bY∼N(aμ+bμ,a2σ12+b2σ22)
多个相互独立的正态分布随机变量的线性组合仍然服从正态分布
服从二维正态分布的两个随机变量,才能说不相关等价于独立。 ρ 是相关系数,不是独立系数。
常见特征函数
二项分布:φ(t)=(1−p+pejt)n
泊松分布:φ(t)=exp(λ(ejt−1))
均匀分布:φ(t)=atsinat,U[a,−a]
正态分布:φ(t)=exp(−21t2),N(0,1)
常见统计量
样本均值:ξ=n1∑i=1nξi=A1
样本方差:S2=n1∑i=1n(ξi−ξ)2=B2
修正样本方差:S∗2=n−11∑i=1n(ξi−ξ)2
样本 k 阶原点矩:Ak=n1∑i=1nξik
样本 k 阶中心矩:Bk=n1∑i=1n(ξi−ξ)k
样本协方差:S12=n1∑i=1n(ξi−ξ)(ηi−η)(二维总体 (ξ,η) 的样本)
样本中位数:M=ξ(2n+1)(奇数)或 21(ξ(2n)+ξ(2n+1))(偶数)
样本极差:Dn∗=ξ(n)−ξ(1)
常见统计分布
一定注意相互独立的要求
卡方分布 χ2(n)
设 ξ1,ξ2,…,ξn 为
n 个相互独立的标准正态分布随机变量,则
χ2=i=1∑nξi2∼χ2(n) 服从自由度为 n 的卡方分布。
数字特征:χ2∼χ2(n)⟶E(χ2)=n,D(χ2)=2n
可加性:η1∼χ2(n1),η2∼χ2(n2),则 η1+η2∼χ2(n1+n2)。
大样本近似:unimplemented
t 分布 t(n)
设 ξ∼N(0,1),η∼χ2(n) 相互独立,则 T=η/nξ∼t(n)
服从自由度为 n 的 t 分布。
关于纵轴对称
n 较大时,t
分布近似正态分布
F 分布 F(n1,n2)
设 ξ1∼χ2(n1),ξ2∼χ2(n2) 相互独立,则
F=ξ2/n2ξ1/n1∼F(n1,n2) 服从自由度为 n1,n2 的 F 分布。
F∼F(n1,n2)⇒F1∼F(n2,n1)
F∼F(n1,n2)⇒F1−α(n1,n2)=Fα(n2,n1)1
抽样分布定理
单正态总体
ξ1,ξ2,…,ξn
为来自总体 ξ∼N(a,σ2) 的一个样本,ξ 为样本均值,S2 为样本方差,则有:
ξ 与 S2 独立
σ/nξ−a∼N(0,1)
σ2nS2∼χ2(n−1)
S/n−1ξ−a∼t(n−1)
双正态总体
总体 ξ∼N(a1,σ12),η∼N(a2,σ22),样本均值与样本方差分别为 ξ,S12;η,S22,两总体相互独立。
F=S2∗2/σ22S1∗2/σ12∼F(n1−1,n2−1)
当 σ12=σ22=σ2 时,T=Swn11+n21(ξ−η)−(a1−a2)∼t(n1+n2−2) 其中 Sw2=n1+n2−2n1S12+n2S22
ξ+η∼N(a1+a2,n1σ2+n2σ2)⇒U=σn11+n21ξ+η−a1−a2∼N(0,1)
V=σ2n1S12+σ2n2S22∼χ2(n1+n2−2)