这篇文章中我将对概率图怎么莋图模型做一个简单的综述，以使读者能尽快了解其大概思想而忽略其背后的具体的数学推到过程。主要是因为自己的论文使用条件随機场的缘故所以我就顺便把概率图怎么做图模型理解下。

很多事情是具有不确定性的人们往往希望从不确定的东西里尽可能多的得到確定的知识、信息。为了达到这一目的人们创建了概率图怎么做理论来描述事物的不确定性。在这一基础上人们希望能够通过已经知噵的知识来推测出未知的事情，无论是现在、过去、还是将来
涉及到概率图怎么做的相关问题，无论有多复杂大抵都是基于以下两个式子的——加法准则和乘法准则：

下面这张图描述的就是一张图，它由带有数字的圆圈和线段组成我们将圆圈成为结点，线段成为边那么这个图就可以表示为G(V, E), 其中V是顶点集合，E是边的集合如果边有方向，那么G为有向图若没有方向，那么G为无向图具体的关于图的知識，可以参考离散数学中图论相关知识

前面简单阐述了概率图怎么做和图论的知识，下来说概率图怎么做图
在数学上，有的概念本身開始不存在是由后来其它基本的概念组合演化而来的。所以概率图怎么做图也是属于这么一种情况概率图怎么做图本身开始并不存在，它是图论和概率图怎么做论结合的产物它的开创者是鼎鼎大名的Judea Pearl。总体来说概率图怎么做图使得概率图怎么做模型可视化了，这样僦使得一些变量之间的关系能够很容易的从图中观测出来；同时有一些概率图怎么做上的复杂的计算可以理解为图上的信息传递这是我們就无需关注太多的复杂表达式了。最后一点是图模型能够用来设计新的模型。所以多引入一数学工具是可以带来很多便利的我想这僦是数学的作用吧。
概率图怎么做图使用图G(V, E)来表示随机变量X的概率图怎么做分布其中X对应着图中的顶点集合V，变量之间的依赖关系可以甴顶点之间的边表示若两个顶点间有一条路径相通，那么这两个顶点所表示的变量之间就有依赖关系否则互相独立。

既然图分为有向囷无向两种那么概率图怎么做图也是分为有向和无向两种。有向图的代表为贝叶斯网络无向图的代表为马儿科夫随机场。

举个例子譬如有一组变量X1，X2….XN如果每个变量只与其前一个变量有关（1阶马尔可夫过程），那么以下等式成立：

那么如何用图来表示这一关系呢洎然，我们要表示的是右边的式子右边的式子表示了变量之间的联系。而当我们观察条件概率图怎么做时我们发现我们必须要指明哪個是条件。如果我们采用变量为节点采用无向图这种节点等价的关系显然不能直接描述条件概率图怎么做，因此这里选择了有向图来描述这一关系即表示为P(X2|X1)

那么此时上述的1阶马尔可夫过程表示为，注意其中没有箭头指向X1故表示p(X1)意味着无条件。

有向图模型或称贝叶斯網络，描述的是条件概率图怎么做或许这就是其被称为贝叶斯网络的原因吧。

对于概率图怎么做无向图主要区别与概率图怎么做有向圖的是，其中的随机变量满足成对局部，全局马儿科夫性那么就称此概率图怎么做图为概率图怎么做无向图模型，或马儿科夫随机场
其实，我这里除了无向图的马儿科夫性的定义对于概率图怎么做有向无向图的区别，我还是不能分清因为我认为有向图之于无向图，最大的区别在于方向性概率图怎么做的方向性在于条件依赖。

在之前的一段时间里,忙于周围的亂七八糟的事情,在更新了上一期之后自己也很久没有更新,自己也想,如果自己没有用一种良好的心态去回忆总结自己所学的知识,即使花费再哆的时间也都只是徒劳无功的,而这一段时间以来,我读了一些关于概率图怎么做图的知识去为接下来的自然语言处理知识做了一个铺垫,希望鼡这一篇文章来记录下自己的学习成果,而自己在这里的参考资料是之前的博客推荐的书,另外加上一些博客去加以理解,一些自己不足之处请夶家多多指教.

1:什么是概率图怎么做图模型?

大家在高中的时候一定已经学过概率图怎么做,而我们在大学的时候也初步学习了<概率图怎么做论與数理统计>这一门课程,而我们学习概率图怎么做的主要目的是因为我们生产实践中不确定的事情实在是太多了,而这样的不确定的事情里边其实往往隐藏着确定的知识,信息,而我们的概率图怎么做就是这样应运而生的,而人们的需求总是多种多样的,满满的演化成各种各样的模型,比洳模型识别,贝叶斯系列等等.而概率图怎么做图模型其实就是来解决这一系列问题的工具之一,这是应用了概率图怎么做和图这两种数学工具來建立的模型.

2:引入概率图怎么做图模型有什么好处?

一般的问题我们都可以用概率图怎么做模型去很好的解决,那么为什么又要在概率图怎么莋的基础上加一个图呢?在这里我们引入图结构其实是因为图结构可以将概率图怎么做模型的结构可视化,应用图这是一种直观,简单的方式,可鉯简单的描述随机变量之间的独立性的性质,最重要的是可以将一份复杂的概率图怎么做模型转化为一些简单的模型的组合,这有点类似于我們的面向对象的思想.在机器学习中,图模型很广泛的应用和分析各种学习算法,其实说明白,机器学习模型都可以看做是概率图怎么做模型,把学習任务归结于计算输入和输出的条件概率图怎么做分布,当我们引入图工具之后,这样就可以从一个新的角度来解释机器学习模型了,并且相对來说还比较简单.

当然我们也可以从另一个角度考虑其合理性。我们的目的是从获取到的量中得到我们要的信息模型是相互之间约束关系的表示，而数据的处理过程中运用到了概率图怎么做理论而图恰恰将这两者之间联系起来了，起到了一个很好的表示作用

大家学过離散数学都知道,一个图是由节点和节点之间的边组成的,在概率图怎么做图模型里,每一个节点其实都可以表示为一个或者一组随机变量,而这些边可以看成是这些随机变量之间的概率图怎么做依存关系,在离散数学里我们学过有向图和无向图,而那些图和我们的图其实是一样的,只不過我们把这个有向的图模型叫做贝叶斯网络,而贝叶斯的有向无环图来表示因果关系,而无向图模型称为马尔科夫随机场,无向图表示变量间的楿互作用,这些结构的区别导致了他们在建模和推断方面有了一些微妙的差别,这些我们将接下来一一介绍.

有向图如下:(左图贝叶斯模型,右图马爾科夫模型)

涉及到概率图怎么做计算,如果我们理解深了就会发现,只要可以熟练的掌握基本的计算,大体上类型相似:

在这里我们简单的回顾下:苐一个式子告诉我们当我们知道多个变量概率图怎么做分布时如何计算单个变量的概率图怎么做分布,而下边的式子告诉我们两个变量之间嘚概率图怎么做关系,比如X和Y独立,就有下式的关系:

还有一个是著名的贝叶斯公式:

5:有向图模型(贝叶斯网络)

先给出贝叶斯网络额定义:

贝叶斯网络: 對于K随机变量{X1,X2,··· ,XK}和 一个有向非循环图 G，G 中的每个节点都对应一个随机变量可以 是观察变量，隐变量或是未知参数等;G中的每个连接eij 表示兩 个随机变量 Xi 和 Xj 之间具有非独立的因果关系我们定义 Xπk 表示变量 Xk 的所有父节点变量集合，每个随机变量的局部条件 概率图怎么做(local conditional probability

如果X = X1,X2,··· ,XK 的联合概率图怎么做分布可以分解为每个随机变量 Xk 的局部条件概率图怎么做的连乘形式即

那么 (G, X ) 构成了一个贝叶斯网络。

现在我们假设┅个有向图G(V,E),其中节点集合V=(X1,X2,......XK),表示K个随机变量,每个节点对应一个随机变量XK,边集合E中的每个连接表示两个变量之间的因果关系.,现在我们用xi表示变量Xi的一个取值,K个变量的联合概率图怎么做就可以分布为K个条件概率图怎么做的乘积.用公式表达就是下边的式子:

既然我们说图,如何用图来表礻上边式子的关系呢?我们得到的是最后的关系,式子里反应了变量之间的联系,当我们观察条件概率图怎么做时,我们必须要指明那个是条件,如果我们采用的变量是节点,采用无向图这样的节点等价关系肯定是不能描述条件概率图怎么做的,因为对于一个节点说双向都可以,所以我们这裏采用的是有向图,如果我们要描述p(x2|x1)就可以化成下图:

举一反三:我们如果描述上边的式子,就可以转化为:

这里我们要注意,第一个节点是没有指向嘚,因为无条件.

在这里我们还应该注意一点,在贝叶斯网络中,如果两个节点是直接相连的,他们肯定是非条件独立的,而是直接因果关系,其父节点昰”因”,子节点是”果”.

如果两个节点不是直接连接的,而是之间有经过其他节点的路径间接连接的,这时候情况比较复杂,这里我们举个例子:

給定三个节点x1, x2, x3x1 和x3 是不直接连接的，可以通过节点x2 连接这三个节点之间可以有四种连接关系:

间接因果关系: 在已知 x2 时，x1 和 x3 为条件独立;

间接果因关系:在已知 x2 时x1 和 x3 为条件独立;

共因关系: x1和x3是不独立的，在已知x2时x1和x3条件独立;

共果关系: x1和x3是独立的，在已知x2时x1和x3不独立

由 x1 到 x3 并经过 x2 嘚四种路径类型。

在图1图2 中在已知 x2 时，x1 和 x3 为条件独立;

在图4中x1 和 x3 是独立的，在已知 x2 时x1 和 x3 不独立。

6:无向图模型(马尔科夫随机场)

构造有向圖的模型需要变量之间是显式的,很强的约束关系,即首先要满足之前的条件概率图怎么做分布关系,其次还有计算要简便,这时候可能就跟我们嘚真实情况有区别了.很多时候我们知道两个变量之间一定是相关的但我们不知道到底是怎么相关的。这时候我们也可以用其相关性来构慥概率图怎么做图模型相关是不分方向的，此时我们应该选择无向图来表示

这时候我们引入马尔科夫随机场:

马尔可夫随机场,也叫无向圖模型，或马尔可夫网络(Markov network)是一类用无向图来表示一组具有马尔可夫性质的随机 变量 X 的联合概率图怎么做分布模型。

和贝叶斯网络类似馬尔可夫随机场也图结构来随机变量之间的依赖关系。 但是贝叶斯网络是有向非循环图，而马尔可夫随机场是一个无向图并且可以存茬循环。这样马尔可夫随机场可以表示贝叶斯网络无法表示的一些依赖关系，如循环依赖;但它不能表示贝叶斯网络能够表示的某些关系如推导关系。

给定个有K个节点的无向图G(V,E)其中V = {v1,v2,··· ,vK}表示节点集合。每个节点 vk 表示一个随机变量 Xk 如果 (G, X ) 满足局部马尔可夫性质， 即一个变量 Xk 在给定它的邻居的情况下独立于其它所有变量那么 (G, X ) 就构成了一个马尔可夫随机场。

而局部马尔科夫就可以表示为:

现在我们来引入一个實际例子:

如上图所示A中节点到B集合中节点的每一条路都通过了C中节点

无向图模型很完美的将这种弱的关系表现出来了，有一种很神奇的感觉,而这后边计算牵扯到把概率图怎么做分开,然后把图中的节点分成很多个小的集合,其中集合内的点两两有边相连,然后这里牵扯到了玻尔茲曼分布,这其中就太复杂了,我也没搞明白,这里先把玻尔兹曼的表达式给出来,希望有兴趣的小伙伴可以自己研究下

7:概率图怎么做图的一些应鼡:

HMM隐马尔克夫模型这个是一种有向图模型,这个跟前边的马尔科夫无向图过程很相似:

之前在文章里有过介绍,跟上边的玻尔兹曼分布有关系,因為太复杂,就不介绍了

从观测到的有噪声的图片中恢复出原始图片做出的假设是观察到的图片像素点和原始图片相关，同时原始图片相邻潒素点之间相关

8:图模型与神经网络的关系

图模型和神经网络有着类似的网络结构，但两者也有很大的不同图模型 的节点是随机变量，其图结构的主要功能是用来描述变量之间的依赖关系一 般是稀疏连接。使用图模型的好处是可以有效进行统计推断而神经网络中的 节點是神经元，是一个计算节点如果将神经网络中每个神经元看做是一个二 值随机变量，那神经网络就变成一个 sigmoid 信念网络

图模型中的每個变量一般有着明确的解释，变量之间依赖关系一般是人工来定义而神经网络中的神经元则没有直观的解释。

图模型一般是生成模型鈳以用生成样本，也可以通过贝叶斯公式用来做 分类而神经网络是判别模型，直接用来分类

图模型的参数学习的目标函数为似然函数戓条件似然函数，若包含隐变量 则通常通过 EM 算法来求解而神经网络参数学习的目标为交叉熵或平方误差等损失函数。

3:邱锡鹏:<神经网络与罙度学习>

4:概率图怎么做图综述:MIT林达华博士