本文目录
- 什么是马尔科夫分析法
- 马尔科夫因为什么而被杀的
- 什么是马尔科夫过程
- 马尔科夫的家庭和大学
- 马尔科夫分析法是什么
- 马尔科夫的人物生平
- 马尔科夫预测模型的适用条件
- 马尔科夫链的非周期性到底有什么含义
- 马尔科夫链和随机是啥关系！什么意思阿
- 什么是马尔科夫链
什么是马尔科夫分析法
补充上面的！！！！！！！！！！！！！
二、马尔科夫分析模型
实际分析中，往往需要知道经过一段时间后，市场趋势分析对象可能处于的状态，这就要求建立一个能反映变化规律的数学模型。马尔科夫市场趋势分析模型是利用概率建立一种随机型的时序模型，并用于进行市场趋势分析的方法。
马尔科夫分析法的基本模型为：
X(k+1)=X(k)×P
公式中：X(k)表示趋势分析与预测对象在t=k时刻的状态向量，P表示一步转移概率矩阵，
X(k+1)表示趋势分析与预测对象在t=k+1时刻的状态向量。
必须指出的是，上述模型只适用于具有马尔科夫性的时间序列，并且各时刻的状态转移概率保持稳定。若时间序列的状态转移概率随不同的时刻在变化，不宜用此方法。由于实际的客观事物很难长期保持同一状态的转移概率，故此法一般适用于短期的趋势分析与预测。
三、马尔科夫过程的稳定状态
在较长时间后，马尔科夫过程逐渐处于稳定状态，且与初始状态无关。马尔科夫链达到稳定状态的概率就是稳定状态概率，也称稳定
概率。市场趋势分析中，要设法求解得到市场趋势分析对象的稳态概率，并以此做市场趋势分析。
在马尔科夫分析法的基本模型中，当X：XP时，称X是P的稳定概率，即系统达到稳定状态时的概率向量，也称X是P的固有向量或特征向量，而且它具有唯一性。
四，马尔科夫转移矩阵法的应用
马尔科夫分析法，是研究随机事件变化趋势的一种方法。市场商品供应的变化也经常受到各种不确定因素的影响而带有随机性，若其具有“无后效性“，则用马尔科夫分析法对其未来发展趋势进行市场趋势分析五，提高市场占有率的策略预测市场占有率是供决策参考的，企业要根据预测结果采取各种措施争取顾客。提高市场占有率一般可采取三种策略：
(1)设法保持原有顾客；
(2)尽量争取其他顾客；
(3)既要保持原有顾客又要争取新的顾客。
第三种策略是前两种策略的综合运用，其效果比单独使用一种策略要好，但其所需费用较高。如果接近于平稳状态时，一般不必花费竞争费用。所以既要注意市场平稳状态的分析，又要注意市场占有率的长期趋势的分析。
争取顾客、提高市场占有率的策略和措施一般有：
①扩大宣传。主要采取广告方式，通过大众媒体向公众宣传商品特征和顾客所能得到的利益，激起消费者的注意和兴趣。
②扩大销售。除联系现有顾客外，积极地寻找潜在顾客，开拓市场。如向顾客提供必要的服务等。
③改进包装。便于顾客携带，增加商品种类、规格、花色，便于顾客挑选，激发顾客购买兴趣。
④开展促销活动。如展销、分期付款等。
⑤调整经营策略。根据市场变化，针对现有情况调整销售策略，如批量优待、调整价格、市场渗透、提高产品性能、扩大产品用途、降低产品成本等，以保持市场占有率和扩大市场占有率。
马尔科夫分析模型
实际分析中，往往需要知道经过一段时间后，市场趋势分析对象可能处于的状态，这就要求建立一个能反映变化规律的数学模型。马尔科夫市场趋势分析模型是利用概率建立一种随机型的时序模型，并用于进行市场趋势分析的方法。
马尔科夫分析法的基本模型为：
X(k+1)=X(k)×P
公式中：X(k)表示趋势分析与预测对象在t=k时刻的状态向量，P表示一步转移矩阵概率，
X(k+1)表示趋势分析与预测对象在t=k+1时刻的状态向量。
必须指出的是，上述模型只适用于具有马尔科夫性的时间序列，并且各时刻的状态转移概率保持稳定。若时间序列的状态转移概率随不同的时刻在变化，不宜用此方法。由于实际的客观事物很难长期保持同一状态的转移概率，故此法一般适用于短期的趋势分析与预测。
请参考，希望对你有所帮助！
马尔科夫因为什么而被杀的
1978年，伦敦曾发生一起著名的“马尔科夫毒伞案”，叛逃到英国的保加利亚作家马尔科夫被一名克格勃特工用装有暗器的毒雨伞击中，中毒身亡。经医生解剖发现，在马尔科夫右脚的肌肉里，有一个微小的空心金属球，里面装着毒性极强的蓖麻毒素。这次行动由保加利亚国家安全部门实施，但实际上所用毒药是克格勃将军奥列格-卡卢金亲自提供的。
什么是马尔科夫过程
马尔可夫过程（Markov process）是一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态 （现在）的条件下，它未来的演变 （将来）不依赖于它以往的演变 ( 过去 ) 。 例如森林中动物头数的变化构成——马尔可夫过程 。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。关于该过程的研究，1931年A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程，奠定了马尔可夫过程的理论基础。
马尔科夫的家庭和大学
1883年，马尔科夫与自幼相识的女友瓦里瓦契耶瓦娅结为伉俪，新娘的母亲就是他父亲当年的女雇主。大学时代的马尔科夫曾给读高中的瓦里瓦契耶瓦娅当过业余家庭教师，正是这种频繁的接触催开了这一对年轻人心中的爱情花朵。但是一开始，那位富孀是不赞成这门婚事的，因为她一想起当年那个在花园里拄着拐杖踽踽独行的可怜孩子和经常使他忠厚的管家心绪不宁的桀骜少年，心里总是有一种靠不住的感觉。然而事实最终战胜了偏见，面对这个事业上不断获得成功的英俊青年助教，她终于感到无可挑剔了。
从1880年马尔科夫就开始在彼得堡大学任教，先是担任助教和讲师，1886年成为副教授，1893年升为正教授，1905年退休并荣获终身荣誉教授的称号。二十五年来，他先后讲授过微积分、数论、函数论、矩论、计算方法、微分方程、概率论等课程，为祖国培养了许多出色的数学人才。
关于马尔科夫的讲课风格毁誉不一。他与切比雪夫和李雅普诺夫不同，讲课时既不在乎板书的工整也不注意表情的生动，而且经常有意略去教科书中的传统题材，因此一般的学生抱怨不好懂。但是优秀的学生发现他的课程从逻辑上来看具有无可指责的严密性，内容充实无华，其中往往还有些他本人最新的研究成果。
他从教授席位上退休以后，仍然以科学院院士的资格在彼得堡大学开设概率论课程，讲义用的就是倾注了他半生心血的《概率演算》。为了开好这门课，他反复地对这部书进行了修改，直到临终前还在进行第四版的校订工作。这一最后的修订本于他逝世两年以后出版。
十月革命前夕，彼得堡的局势动荡不定，科学院与大学已无正常的工作秩序。在这种情况下，马尔科夫请求科学院派他到外省去从事中学教育。1917年9月，年过花甲的马尔科夫来到梁赞省一个叫萨兰斯克的县城，无偿地担负了县中学的数学教学工作。他有个十四岁的儿子也一同来到这里，恰好就插班在他任课的年级。这个小马尔科夫（ 1903－1979）的名字及父名与父亲完全相同，后来也成了有名的数学家，先研究理论物理和天体力学，后转向动力体系理论、测度论、拓朴学、代数等，并于1953年当选为苏联科学院通讯院士。
1918年秋，马尔科夫因患青光眼回到彼得堡治疗，手术后他返回阔别已久的母校继续开设他的概率论讲座。这时候他的体力已远不如从前了，每次讲课都要儿子搀扶着进出教室。然而当他一站到讲台上，就感到有了精神。在几十年的教学生涯，他比其他任何人都更忠实地向学生们灌输彼得堡数学学派的信条和理想。他继承了切比雪夫对具体问题的兴趣，不断地追求数学方法的简单化和尽可能精确的结果，他善于向经典课题汲取养料，同时把自己的事业深深地札根在大学这块沃土之中。在彼得堡数学家团体中，没有人比他更“彼得堡化”了。有一次别人向他请教数学的定义，他不无骄傲地说：“数学，那就是高斯、切比雪夫、李雅普诺夫、斯捷克洛夫和我所研究的东西”。
1921年秋天，马尔科夫的病情开始严重起来，他只得离开心爱的大学。在生命的最后一年里，他还抓紧时间修订了《概率演算》。1922年7月20日，这位在众多数学分支里留下足迹和为科学与民主事业奋斗了一生的老人辞别了人世。马尔科夫的遗体被安葬在彼得堡的米特罗方耶夫斯基公墓，他的墓碑没有过多的修饰，就象他的文章和讲课一样朴素无华。然而他的思想、他的成就、他的品德就象一座巍峨的丰碑，永远矗立在真理求索者的心中。
马尔科夫分析法是什么
马尔可夫分析法是俄国数学家马尔可夫在1907年提出, 并由蒙特·卡罗加以发展而建立起的一种分析方法。它主要用于分析随机事件未来发展变化的趋势, 即利用某一变量的现在状态和动向去预测该变量未来的状态及动向, 以便采取相应的对策。
马尔可夫(Markov)模型是一种广泛应用在语音识别、自然语言处理等领域的统计模型。在马尔可夫模型中,若给定当前时刻信息,则过去的状态(指当前时刻以前的状态)对于预测将来的状态(指当前时刻后的状态)是无关的。
另外一种比较简明的阐述是,过程中某一时刻的状态只依赖于其前n个状态,n取不同的值代表不同阶数的马尔可夫过程。n=1时的马尔可夫过程是一阶马尔可夫模型,即某一时刻的状态只依赖于其前一个状态。
马尔科夫的人物生平
1890年 撰写“马尔科夫链预测技术的应用”等论文
1892年之后撰写成“现代控制理论在森林资源动态预测中的应用”和“森林资源动态系统Kalman滤波”等文章。
1883年，马尔科夫在《文学问题》上的一篇长文中，又对“开放体系”作了迸一步的阐释：我们把社会主义现实主义看作一定的体系，也就是看作各组成部分相互联系和相互作用的整体。
1876年，苏联作协第一书记r.马尔科夫在第六次苏联作家代表大会上的报告中，在肯定了长诗创作的成绩时曾指出，据批评家、诗人、读者中颇为流行的意见来看，在抒情诗作品中还没有见到巨大的、显著的成绩”。
1872年，科学院通讯院士德·马尔科夫在《文学问题》杂志上发表文章，开始同奥夫恰连科展开论战。
1872年通讯院士口·马尔科夫在《论社会主义现实主义艺术概括的形式》一文中，正式提出了“开放体系”的理论观点，受到了多数人的赞同，后来又经过长达十年的充分讨论，开放体系”理论逐步修改和完善，成了当前苏联文学创作的指导思想。
1872年，德·马尔科夫提出了关于社会主义现实主义的“开放体系”理论，立即在苏联美学界产生了强烈的反响，被认为是现实主义理论的重大突破。
1871年，在莫斯科召开的“斯拉夫文学比较研究学术会议”是俄国比较文学界的又一次重大学术活动，可以看作是1860年讨论会的继续和深入，苏联科学院通讯院士德·马尔科夫在会议上作了《斯拉夫文学比较研究的理论和方法论问题》的报告，对比较文学研究的指导思想、原则、方法及其人物等问题作了更为明确的阐述。
直到 1971年 Hammersly等提出H C定理 从理论上证明了马尔科夫性与吉布斯分布等价性以吉布斯为代表的随机场理论才得到空前发展与运用。
1848年，Shannon首先证明遍历齐次马尔科夫链的极限是存在的；
1857年，Briemann证明了平稳遍历的马尔科夫链的极限是存在的。
1840年克拉默斯（Kramers）将裂变过程看作复合核内部的各种可能的分裂碎片的无规运动行为，但不是完全随机行为，而是仅保持对前一步记忆的马尔科夫无规运动，例如布朗运动。
1913年第一次会期时，立宪民主党提出修改六三选举法，得到进步党的支持，这时马尔科夫第二跳将起来，攻击立宪民主党提出的普选法，说这将意味着所有国家的破坏者，身败名裂的人物，没有受过教育的青年，没有家庭的妇女都会涌进这个大厅，来制定帝国的法律。
马尔科夫预测模型的适用条件
马尔可夫模型是一种概率转移模型，它涉及的概率转移矩阵是能否进行准确预测的关键。一般地，如果某变量可以使用Markov模型来预测，它的前提条件是，在各个期间或者状态时，变量面临的下一个期间或者状态的转移概率都是一样的、不随时间变化的。一旦转移概率有所变化，Markov模型必须改变转移概率矩阵的参数，否则，预测的结果将会有很大的偏差。
马尔科夫链的非周期性到底有什么含义
非周期性的马尔可夫链才是我们想要的，它是构成遍历的马尔可夫链的必要条件。
马尔可夫链是概率论和数理统计中具有马尔可夫性质且存在于离散的指数集和状态空间内的随机过程。适用于连续指数集的马尔可夫链被称为马尔可夫过程，但有时也被视为马尔可夫链的子集，即连续时间马尔可夫链，与离散时间马尔可夫链相对应，因此马尔可夫链是一个较为宽泛的概念 。
马尔可夫链可通过转移矩阵和转移图定义，除马尔可夫性外，马尔可夫链可能具有不可约性、常返性、周期性和遍历性。一个不可约和正常返的马尔可夫链是严格平稳的马尔可夫链，拥有唯一的平稳分布。遍历马尔可夫链（ergodic MC）的极限分布收敛于其平稳分布 。
马尔可夫链可被应用于蒙特卡罗方法中，形成马尔可夫链蒙特卡罗，也被用于动力系统、化学反应、排队论、市场行为和信息检索的数学建模。此外作为结构最简单的马尔可夫模型，一些机器学习算法，例如隐马尔可夫模型、马尔可夫随机场和马尔可夫决策过程以马尔可夫链为理论基础。
马尔科夫链和随机是啥关系！什么意思阿
马尔可夫链，因安德烈·马尔可夫（A.A.Markov，1856－1922）得名，是指数学中具有马尔可夫性质的离散事件随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当前以前的历史状态）对于预测将来（即当前以后的未来状态）是无关的。
马尔可夫链是满足下面两个假设的一种随机过程：
1、t+l时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关；
2、从t时刻到t+l时刻的状态转移与t的值无关。一个马尔可夫链模型可表示为=(S,P,Q)，其中各元的含义如下：
1)S是系统所有可能的状态所组成的非空的状态集，有时也称之为系统的状态空间，它可以是有限的、可列的集合或任意非空集。本文中假定S是可数集（即有限或可列）。用小写字母i,j（或Si,Sj)等来表示状态。
2)P是系统的状态转移概率矩阵，其中Pij表示系统在时刻t处于状态i,在下一时刻t+l处于状态j的概率,N是系统所有可能的状态的个数。对于任意i∈s,有。
3)Q是系统的初始概率分布,qi是系统在初始时刻处于状态i的概率，满足。
什么是马尔科夫链
马尔可夫链，因安德烈•马尔可夫（A.A.Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。
原理简介
马尔可夫链是随机变量X_1,X_2,X_3...的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而X_n的值则是在时间n的状态。如果X_{n+1}对于过去状态的条件概率分布仅是X_n的一个函数，则 P(X_{n+1}=x|X_0, X_1, X_2, \ldots, X_n) = P(X_{n+1}=x|X_n). 这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。
本段理论发展
马尔可夫在1906年首先做出了这类过程 。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。 马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。 物理马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算术编码（著名的LZMA数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码）。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。 马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。
本段马尔可夫过程
马尔可夫过程，能为给定样品文本，生成粗略，但看似真实的文本：他们被用于众多供消遣的“模仿生成器”软件。马尔可夫链还被用于谱曲。 它们是后面进行推导必不可少的条件:(1)尺度间具有马尔可夫性质.随机场从上到下形成了马尔可夫链,即 Xi 的分布只依赖于 Xi,与其他更粗 糙的尺度无关,这是因为 Xi 已经包含了所有位于其上层的尺度所含有的信息.(2) 随机场像素的条件独立性.若 Xi 中像素的父节点已知,则 Xi 中的像素彼此独立.这一性质使我们不必再 考虑平面网格中相邻像素间的关系,而转为研究尺度间相邻像素(即父子节点)间的关系.(3) 设在给定 Xn 的情况下,Y 中的像素彼此独立.(4) 可分离性.若给定任一节点 xs,则以其各子节点为根的子树所对应的变量相互独立. 从只有一个节点的根到和图像大小一致的叶子节点,建立了完整的四叉树模型,各层间的马尔可夫链的因 果关系使我们可以由非迭代的推导过程快速计算出 X 的最大后验概率或后验边缘概率.
本段模型
完整的四叉树模型也存在一些问题.(1) 因概率值过小,计算机的精度难以保障而出现下溢,若层次多,这一 问题更为突出.虽然可以通过取对数的方法将接近于 0 的小值转换成大的负值,但若层次过多、概率值过小,该 方法也难以奏效,且为了这些转换所采用的技巧又增加了不少计算量.(2) 当图像较大而导致层次较多时,逐层 的计 算甚 为繁琐 下 溢 现 象肯定 会出 现 , 存储中 间变 量也 会占 用大 量空 间 , 在时 间空间 上都 有更 多的 开销 . (3) 分层模型存在块效应,即区域边界可能出现跳跃,因为在该模型中,同一层随机场中相邻的像素不一定有同 一个父节点,同一层的相邻像素间又没有交互,从而可能出现边界不连续的现象.
本段MRF 模型
为了解决这些问题,我们提出一种新的分层 MRF 模型——半树模型,其结构和图1 5类似,仍然是四叉树, 只 是层数比完整的四叉树大大减少,相当于将完整的四叉树截为两部分,只取下面的这部分.模型最下层仍和图像 大小一致,但最上层则不止一个节点.完整的四叉树模型所具有的性质完全适用于半树模型,不同点仅在于最上层,完整的树模型从上到下构成 了完整的因果依赖性,而半树模型的层间因果关系被截断,该层节点的父节点及祖先均被删去,因此该层中的各 节点不具有条件独立性,即不满足上述的性质 2,因而对这一层转为考虑层内相邻节点间的关系.半树模型和完 整的树模型相比,层次减少了许多,这样,层次间的信息传递快了,概率值也不会因为过多层次的逐层计算而小 到出现下溢.但第 0 层带来了新的问题,我们必须得考虑节点间的交互,才能得出正确的推导结果,也正是因为在 第 0 层考虑了相邻节点间的影响,使得该模型的块现象要好于完整的树模型.对于层次数的选取,我们认为不宜多,太多则达不到简化模型的目的,其优势体现不出来,但也不能太少,因 为第 0 层的概率计算仍然要采用非迭代的算法,层数少表明第 0 层的节点数仍较多,计算费时,所以在实验中将 层数取为完整层次数的一半或一半稍少.
本段MPM 算法
3半树模型的 MPM 算法 图像分割即已知观测图像 y,估计 X 的配置,采用贝叶斯估计器,可由一个优化问题来表示: ?x = arg min ,x其中代价函数 C 给出了真实配置为 x 而实际分割结果为 x′时的代价.在已知 y 的情况下,最小化这一代价的期 望,从而得到最佳的分割.代价函数取法不同得到了不同的估计器,若 C(x,x′)=1?δ(x,x′)(当 x=x′时δ(x,x′)=1,否则 δ(x,x′)=0)得到的是 MAP 估计器,它意味着 x 和 x′只要在一个像素处有不同,则代价为 1,对误分类的惩罚比较重,汪西莉 等:一种分层马尔可夫图像模型及其推导算法 而在实际中存在一些误分类是完全允许的.若将半树模型的 MPM 算法记为 HT-MPM,它分为向上算法和向下算法两步,向上算法自下而上根据式(2)、 式 (3)逐层计 算P(yd(s)|xs)和 P(xs,xρ(s)|yd(s)), 对最下层 P(yd(s)|xs)=P(ys|xs). 向下算法自上 而下根据 式 (1)逐层计算 P(xs|y),对最上层由 P(x0|y)采样 x0(1),…,x0(n),
本段详细说明
马尔可夫链，因安德烈·马尔可夫（A.A.Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。 时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为Xn = X(n),n = 1,2,3,4····。 马尔可夫链是随机变量的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态。如果Xn + 1对于过去状态的条件概率分布仅是Xn的一个函数，则 这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。 马尔可夫在1906年首先做出了这类过程 。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。 马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。 马尔可夫链是满足下面两个假设的一种随机过程： 1、t+l时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关； 2、从t时刻到t+l时刻的状态转移与t的值无关。一个马尔可夫链模型可表示为=(S，P，Q)，其中各元的含义如下： 1）S是系统所有可能的状态所组成的非空的状态集，有时也称之为系统的状态空间，它可以是有限的、可列的集合或任意非空集。本文中假定S是可数集(即有限或可列)。用小写字母i,j(或Si,Sj)等来表示状态。 2）是系统的状态转移概率矩阵，其中Pij表示系统在时刻t处于状态i，在下一时刻t+l处于状态i的概率，N是系统所有可能的状态的个数。对于任意i∈s，有。 3）是系统的初始概率分布，qi是系统在初始时刻处于状态i的概率，满足。
本段基本性质
马尔可夫链模型的性质 马尔可夫链是由一个条件分布来表示的 P(Xn + 1 | Xn) 这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质： 同样： 这些式子可以通过乘以转移概率并求k−1次积分来一般化到任意的将来时间n+k。 边际分布P(Xn)是在时间为n时的状态的分布。初始分布为P(X0)。该过程的变化可以用以下的一个时间步幅来描述： 这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布π满足： 其中Y只是为了便于对变量积分的一个名义。这样的分布π被称作是“平稳分布”（Stationary Distribution）或者“稳态分布”（Steady-state Distribution）。一个平稳分布是一个对应于特征根为1的条件分布函数的特征方程。 平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。
本段离散状态
离散状态空间中的马尔可夫链模型 如果状态空间是有限的，则转移概率分布可以表示为一个具有(i,j)元素的矩阵，称之为“转移矩阵”： Pij = P(Xn + 1 = i | Xn = j) 对于一个离散状态空间，k步转移概率的积分即为求和，可以对转移矩阵求k次幂来求得。就是说，如果是一步转移矩阵，就是k步转移后的转移矩阵。 平稳分布是一个满足以下方程的向量： 在此情况下，稳态分布π * 是一个对应于特征根为1的、该转移矩阵的特征向量。 如果转移矩阵不可约，并且是非周期的，则收敛到一个每一列都是不同的平稳分布π * ，并且， 独立于初始分布π。这是由Perron-Frobenius theorem所指出的。 正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。 注意：在上面的定式化中，元素(i,j)是由j转移到i的概率。有时候一个由元素(i,j)给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵的左特征向量给出的，而不是右特征向量。 转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的Bernoulli scheme被熟知为贝努利过程
本段现实应用
马尔可夫链模型的应用
科学中的应用
马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算法编码。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。 马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。
人力资源中的应用
马尔可夫链模型主要是分析一个人在某一阶段内由一个职位调到另一个职位的可能性，即调动的概率。该模型的一个基本假设就是，过去的内部人事变动的模式和概率与未来的趋势大体相一致。实际上，这种方法是要分析企业内部人力资源的流动趋势和概率，如升迁、转职、调配或离职等方面的情况，以便为内部的人力资源的调配提供依据。 它的基本思想是：通过发现过去组织人事变动的规律，以推测组织在未来人员的供给情况。马尔可夫链模型通常是分几个时期收集数据，然后再得出平均值，用这些数据代表每一种职位中人员变动的频率，就可以推测出人员变动情况。 具体做法是：将计划初期每一种工作的人数量与每一种工作的人员变动概率相乘，然后纵向相加，即得到组织内部未来劳动力的净供给量。其基本表达式为： Ni(t)：t时间内I类人员数量； Pji：人员从j类向I类转移的转移率； Vi(t)：在时间（t-1,t）I类所补充的人员数。 企业人员的变动有调出、调入、平调、晋升与降级五种。表3 假设一家零售公司在1999至2000年间各类人员的变动情况。年初商店经理有12人，在当年期间平均90%的商店经理仍在商店内，10%的商店经理离职，期初36位经理助理有 11%晋升到经理，83%留在原来的职务，6%离职；如果人员的变动频率是相对稳定的，那么在2000年留在经理职位上有11人（12×90%），另外，经理助理中有4人（36×83%）晋升到经理职位，最后经理的总数是15人（11+4）。可以根据这一矩阵得到其他人员的供给情况，也可以计算出其后各个时期的预测结果。
