马尔可夫过程
人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{ Xn，n≥0} 就是马尔可夫过程。液体中微粒所作的，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。关于马尔可夫过程的理论研究，1931年发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。离散时间马尔可夫链 以上述荷花池中的青蛙跳跃过程为例,荷叶号码的集合E叫做状态空间，马尔可夫性表示为：对任意的0≤n1<<I>n2<…<<I>nln>0,i1,i2,…，il，i,j∈E，有
正好描述了链的 n步转移规律。由于从 i出发经 n+m步转移到 j必然是从 i出发先经 n步转移到某个 k,然后再从 k出发(与过去无关地)经m步再转移到 j，因此有 
时，称为对称随机游动。 为了进一步研究马尔可夫链的运动进程，需要对状态进行分类。若 p ij>0，则称 i可以直达 j，记作 i→ j,如还有 p ji>0，则记作 i凮 j，采用这样的记号，可以用图形表示运动的进程。例如图形 
存在,其中0≤ r<<I>t， t是 
0)的最大公约数，即链的周期,与 j无关。近20年建立起来的马丁边界理论，更细致地刻画了链在 E 0中转移的情况。它的主要思想是在链的状态空间 E 中引进距离并将 E 完备化，使得在这个距离下， X n 以概率1收敛（见 ）。 连续时间马尔可夫链 设 E是{0,1,…,M}或{0,1,2，…},{ X, t≥0}是一族取值于 E的随机变量,如果在(1)式中, 将 n 1, n 2,…,m, n理解为实数,(1)式仍成立,则称{ X t， t≥0}为连续时间马尔可夫链。若 
还与 s≥0无关，记为 p ij( t)，则称链为齐次的。连续时间齐次马尔可夫链也由它的转移矩阵 P( t)=( p ij( t))( i, j∈ E, t>0)所刻画。 P( t)满足下述条件：① p ij( t)≥0， 
；②柯尔莫哥洛夫-查普曼方程 
；通常假定：③标准性 
这里δ ii=1,δ ij=0( i≠ j)。有时直接称满足①、②、③的一族矩阵 P( t)=( p ij( t))， t≥0为转移矩阵或马尔可夫链。当①中条件放宽为 
时,称为广转移矩阵,它有很好的解析性质。例如,每个 p ij( t)在 t>0时具有连续的有穷导数 P拞( t)；在 t＝0，右导数 P拞(0)存在, i≠ j时 P拞(0)非负有穷,但 P拞(0)可能为无穷。矩阵 Q =( q ij)呏( P拞(0))称为链的密度矩阵，又称 Q矩阵。对于每个齐次马尔可夫链{ X, t≥0},钟开莱找到一个具有较好轨道性质(右下半连续)的修正{ X慫, t≥0}（即对一切 t≥0， P( X慫≠ X t)=0, 且对每个轨道对一切 t≥0有 
），而且以概率1，对任意 t≥0, s从大于 t的一侧趋于 t时, X 
最多只有一个有穷的极限点。 以 Q为密度矩阵的广转移矩阵称为 Q广转移矩阵或 Q过程。在一定条件下， Q广转移矩阵 P( t), t≥0满足向后微分方程组 
q ij＜+∞( i≠ j), 
，是否存在 Q广转移矩阵?如果存在，何时惟一?如果不惟一，如何求出全部的 Q广转移矩阵？对于 q ii都有限的情形，W.费勒于1940年构造了一个最小解 p 
( t),证明了 Q 广转移矩阵总是存在的；中国学者侯振挺于1974年对于 q ii都有限的情形找到了 Q 广转移矩阵的惟一性准则；至于求出全部 Q 广转移矩阵的问题，仅仅对一些特殊的情形获得解决。对于 Q 的对角线元素全为无穷的情形，D.威廉斯曾获得了完满的结果。 生灭过程 考察一个群体成员的数目, 在时间的进程中可增可减，假定在时刻 t群体有 i个成员，在很短的时间间隔( t， t+Δ t)中,群体数目增加或减少两个或两个以上几乎是不可能的,它只可能增加一个或减少（当 i>0时）一个或保持不变。而增加一个的概率为 
，减少一个的概率为 
，保持不变的概率为 
。( p ij( t))的密度矩阵是 
。对上述条件不成立的情形，中国学者王梓坤于1958年建立了“极限过渡法”，构造了全部生灭过程。这个方法的基本思想是用较简单的杜布过程的轨道来逼近一般过程的轨道。此外，甚至对 α 0≥0， b 0>0的情形,或更一般的双边生灭 Q矩阵（即 
为一切整数）的情形,全部 Q广转移矩阵也都已构造出来。 一般马尔可夫过程 设( E，B)为可测空间， X={ X， t≥0}为一族取值于 E的随机变量,如果对任意的 
B，以概率1有 
(2)则称 X为马尔可夫过程。 马尔可夫过程的定义还可以进一步扩充。第一,所谓"过去"可以作更广泛的理解,即(2)中由 
, X s所产生的 σ域（见 ）可以扩大为一般的 σ域F s，只要F s包含由｛ X, u≤ s｝产生的 σ域，而当 s<<I>t时， 
。如果对任意 s≥0， t>0， A∈B，以概率1有 
(3)
· 
。式中 Vε( x)={ y:｜ y- x｜≥ε}，那么可以选取轨道连续的齐次马尔可夫过程 X，以 p( t， x， A)为转移函数。一类重要的轨道连续马尔可夫过程是 d维布朗运动。 强马尔可夫过程 在马尔可夫性的定义中，"现在"是指固定的时刻，但实际问题中常需把马尔可夫性中的“现在”这个时刻概念推广为停时（见 ）。例如考察从圆心出发的平面上的布朗运动，如果要研究首次到达圆周的时刻 τ以前的事件和以后的事件的条件独立性,这里τ为停时,并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”，在已知“现在”的条件下，“将来”与“过去”无关，这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。在相当一段时间内，不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是J.L.杜布。直到1956年，才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明，强马尔可夫过程才是马尔可夫过程真正研究的对象。 扩散过程 历史上，扩散过程起源于对物理学中扩散现象的研究。虽然现在扩散过程的最一般的定义是轨道连续的马尔可夫过程，但在1931年柯尔莫哥洛夫对于扩散过程的奠基性研究中，却是按照转移函数来定义扩散过程的。直线上的马尔可夫过程，它有转移函数 P( s， x, t, A)，如果对任意ε>0， 
(4)
(5)
(6)
(7)
(8)
(9)
(10)α和b的某些假定下,可以求上述方程的转移密度解p,从而可以决定一个马尔可夫过程。然而,方程的转移密度解即使存在也未必惟一，因此还要对方程的解附加某些边界条件，以保持解的惟一性。例如，当α(t，x)=0，b(t，x)=2D (常数D>0)时的向前方程
，附加边界条件
=0的解是
附加与上例同样的边界条件的解，是称之为奥恩斯坦－乌伦贝克过程的扩散过程的转移密度函数。 50年代，费勒引进了推广的二阶微分算子，用半群方法解析地研究了状态空间 E =【 r 1, r 2】的扩散过程，解决了在 r 1和 r 2 处应附加哪些边界条件,才能使向后方程(10)有一个且只有一个转移密度函数解的问题，而且找出了全部这样的边界条件。对于 E是开区间或半开半闭区间的情形也作了研究。登金、H.P.麦基恩及伊藤清等人对于扩散过程轨道的研究，阐明了费勒的结果的概率意义，从而使一维扩散过程有了较完整的理论。 多维扩散过程是和一个椭圆型偏微分算子联系在一起的，它还有许多未解决的问题，但核心问题之一是多维扩散过程的存在性和惟一性问题；借助于偏微分方程和概率论方法已经得到一些结果。有趣的是，概率论得到的结果反过来也可以解决微分方程的求解问题，例如，可以把方程的解用一个马尔可夫过程表现出来。 近年来，人们重视从轨道变化的角度来研究扩散过程。常用的方法是随机微分方程和鞅问题的求解。流形上的扩散过程理论是近十年来日益受人们重视的新领域，它是用随机微分方程研究扩散过程的必然延伸。 马尔可夫过程与位势理论 在空间中给定一个向量场,如果存在一个函数 u使得它的负梯度就是给定的向量场，这个函数就是位势。高斯在研究电荷分布时提出了古典位势理论。例如，在空间 R 3的某物体 S 中给定了一个电荷分布 μ，那么空间点 x处的电位势为 
。 马尔可夫过程的位势理论主要有三个问题：狄利克雷问题、扫问题和平衡问题。对于布朗运动，这三个问题都得到了很好的解决。 马尔可夫链模型（Markov Chain Model）