关于独立同分布随机序列的若干极限定理

简旭，吴玉，范爱华

（安徽工业大学数理学院，安徽马鞍山243032）

关于独立同分布随机序列的若干极限定理

简旭，吴玉，范爱华

（安徽工业大学数理学院，安徽马鞍山243032）

利用Borel-Cantelli引理与概率论极限理论中的纯分析方法，给出了独立同分布随机序列滑动平均的熵定理和中心极限定理。概率论中关于独立同分布的经典结果—渐近均分性定理以及中心极限定理是本文的推论。

熵；Borel-Cantelli引理；强极限定理；中心极限定理

在信息论中，与大数定律相对应的渐近均分性（AEP）是强大数定律的直接推论。大数定律针对独立同分

本文在文献[10]的基础上，利用随机变量矩母函数的性质，构造几乎处处收敛的随机序列，用分析方法将信息论中经典的关于独立同分布随机序列的渐近均分性定理以及经典的中心极限定理推广到滑动平均的情形。

1 预备知识

定义1设ξ是定义在概率空间{Ω,F,P}上的随机变量，且有概率函数或概率密度函数p(x)，称为随机变量ξ的熵。

引理1（Borel-Cantelli）设是一列随机事件，若

2 主要结论

定理1设是定义在概率空间{Ω,F,P}上的一列独立同分布随机序列，0≤a1≤a2≤…an≤…是一列固定的正整数列，且当δ＞0时，ξ的矩母函数M(t), |t|＜δ存在，Η(ξ)由式（1）定义。则

证明令

设s∈(-δ,+δ)，定义随机变量

由于{ηn, n≥1}是独立同分布，于是有

由Markov不等式，有

对∀ε＞0,有

由Borel-Cantelli引理，有

由ε的任意性可知

由式（2），（3），得

当-δ＜s＜0时，上式两边同时除以-s，有

令s↓0，由Hospital法则及矩母函数性质，有

定理2在定理1的假设下，若,则当n→∞时，有

证明注意到是独立同分布的随机序列,则由矩母函数的性质有

又当n充分大时,利用泰勒展开式,有

由于矩母函数与分布函数是一一对应的关系,则

[1]A lgoet PH,Cover TM.A sandw ich proof of the Shannon M cM illan Breiman theorem[J].The Annals of Probability,1988,16(2): 899-909.

[2]Cover TM,Thomas JA.Elementsof Information Theory[M].[S.l.]:JohnWiley&Sons,Inc.1991.

[3]Shiryayev A.Probabbility[M].[S.l.]:Springer-Verlag,1984.

[4]董云，胡萍，汪忠志.关于广义Borel强大数定理的一个注记[J].安徽工业大学学报：自然科学版，2012,29(4):385-387.

[5]Liu W.Relativ entropy densities and a class of lim it theorems or the sequence ofm-valued random variables[J].The Annals of Probability,1990,18(2):829-839.

[6]Wang Z Z.Some strong deviation theoremsand limitproperties for continuous information source[J],SoutheastAsian Bulletin of Mathematics,2006,30:1157-1167.

[7]Wang Z Z.A classof random deviation theorems for sumsof nonnegative stochastic sequencesand strong law of large numbers[J]. Statistics&Probability Letters.2006,76(18):2017-2026.

[8]王康康，叶慧，李芳.任意信源的一类广义Shannon-M cm illan定理[J].数学杂志,2011,31(2):307-313.

[9]杨光，陈文波.相依序列无规则性的若干强偏差定理[J].安徽工业大学学报：自然科学版，2013,30(2):182-186.

[10]汪忠志，杨卫国.关于随机序列滑动平均的若干强偏差定理[J].系统科学与数学，2011,28(5):702-706.

责任编辑：丁吉海

On Some LimitTheorems for Identically Independent Distributed Random Sequence

JIAN Xu,WU Yu,FANAihua
(SchoolofMathematicsand Physics,AnhuiUniversity of Technology,Ma'anshan 243032,China)

By using Borel Cantelli lemma and the pure analysismethod of probability lim it theory,themoving average entropy theorem and the central lim it theorem for independent identically distributed random sequence are obtained,which generalizes some classical resultsandmakes the classical theorem of asymptotic equipartition theorem and the central lim it theorem of independent identically distributed random variables as the corollaries of thispaper.

entropy;Borel-Cantelli lemma;strong lim it theorem;central lim it theorem

O211.4

A

10.3969/j.issn.1671-7872.2014.02.022

1671-7872(2014)02-0209-03

2013-08-05

安徽省自然科学基金（1408085MA04）；安徽工业大学研究生创新基金资助(201289)

简旭（1989-），女，湖北咸宁人，硕士生，研究方向为概率论极限理论。

范爱华（1964-），女，安徽安庆人，教授，研究方向为概率论及其应用。