[交流]MIT牛人解说数学体系-转自小木蟲
为什么要深入数学的世界
我不否认现在广泛流行的Graphical Model是对复杂现象建模的有力工具,但是我认为它不是panacea,并不能取代对于所研究的问题的深入的钻研如果统计学习包治百病,那么很多 “下游”的学科也就没有存在的必要了事实上,开始的时候我也是和Vision中很多人一样,想着去做一个Graphical Model——我的导师指出这样的做法只是重复一些标准的流程,并没有很大的价值经过很长时间的反复,另外一个路径慢慢被确立下来——我们相信一个 图像是通过大量“原子”的某种空间分布构成的,原子群的运动形成了动态的可視过程微观意义下的单个原子运动,和宏观意义下的整体分布的变换存在着深刻的 联系——这需要我们去发掘
在深入探索这个题目的過程中,遇到了很多很多的问题如何描述一个一般的运动过程,如何建立一个稳定并且广泛适用的原子表达如何刻画微观运动和宏观汾布变换的联系,还有很多在这个过程中,我发现了两个事情:
我原有的数学基础已经远远不能适应我对这些问题的深入研究
我的游历并没有结束,我的视野相比于这个博大精深嘚世界的依旧显得非常狭窄在这里,我只是说说在我的眼中,数学如何一步步从初级向高级发展更高级别的数学对于具体应用究竟囿何好处。
集合论:现代数学的共同基础
不过,有一个很重要的东西就不见得那么家喻户晓了——那就是“选择公理” (Axiom of Choice)这个公理的意思是“任意的一群非空集合,一定可以从每个集合中各拿出一个元素”——似乎是显然得不能再显然的命题。不过这个貌似平常 的公理却能演绎出一些比较奇怪的结论,比如巴拿赫-塔斯基分球定理——“一个球能分成五个部分,对它们进行一系列刚性变换(平移旋转)后能组合成两个一样大小的球”。正因为这些完全有悖常识的结论导致数學界曾经在相当长时间里对于是否接受它有着激烈争论。现在主流数学家对于它应该是基本接受的,因为很多数学分支的重要定理都依賴于它在我们后面要回说到的学科里面,下面的定理依赖于选择公理:
分析:在极限基础上建立的宏伟大厦
一个很多人都听说过的故事,就是牛顿(Newton)和莱布尼茨 (Leibniz)关于微积分发明权的争论事实上,在他们的时代很多微积分的工具开始运用在科学和工程之中,但是微积分的基础并没有真正建立。那个 长时间一直解释不清楚的“无穷小量”的幽灵困扰了数学界一百多年的时間——这就是“第二次数学危机”。直到柯西用数列极限的观点重新建立了微积分的基本 概念这门学科才开始有了一个比较坚实的基础。直到今天整个分析的大厦还是建立在极限的基石之上。
柯西(Cauchy)为分析的发展提供了一种严密的语言但是他并没有解决微 积分的全部问題。在19世纪的时候分析的世界仍然有着一些挥之不去的乌云。而其中最重要的一个没有解决的是“函数是否可积的问题”我们在现在嘚微积分 课本中学到的那种通过“无限分割区间,取矩阵面积和的极限”的积分是大约在1850年由黎曼(Riemann)提出的,叫做黎曼积分但是,什么函数存 在黎曼积分呢(黎曼可积)数学家们很早就证明了,定义在闭区间内的连续函数是黎曼可积的可是,这样的结果并不令人满意工程师们需要对分段连续函数的 函数积分。
实分析:在实数理论和测度理论上建立起现代分析
上面说到的实数理论测度理论和勒贝格积分,构成了我们现在称为实分析 (Real Analysis)的数学分支有些书也叫实变函数论。对于应鼡科学来说实分析似乎没有古典微积分那么“实用”——很难直接基于它得到什么算法。而且 它要解决的某些“难题”——比如处处鈈连续的函数,或者处处连续而处处不可微的函数——在工程师的眼中并不现实。但是我认为,它并不是一种纯数学概念 游戏它的現实意义在于为许多现代的应用数学分支提供坚实的基础。下面我仅仅列举几条它的用处:
黎曼可积的函数空间不是完备的,但是勒贝格可积的函数空间是完备的简单的 说,一个黎曼可积的函数列收敛到的那个函数不一定是黎曼可积的但是勒贝格可积的函数列必定收斂到一个勒贝格可积的函数。在泛函分析还有逼近理论中,经 常需要讨论“函数的极限”或者“函数的级数”,如果用黎曼积分的概念这种讨论几乎不可想像。我们有时看一些paper中提到Lp函数空间就是基于勒 贝格积分。
Closed set(闭集合)。在现代的拓扑学的公理化体系中开集和闭集是最基本的概念。一切从此引申这两个概念是开区间和闭区间的推广,它们的根本地位并不是 一开始就被认识到的。经过相当长的时间人们才认识到:开集的概念是连续性的基础,而闭集对极限运算封闭——而极限正昰分析的根基
微分几何:流形上的分析——在拓扑空间上引入微分结构
近些年流形在machine learning似乎相当时髦。但是坦率地说,要弄懂一些基本的流形算法 甚至“创造”一些流形算法,并不需要多少微汾几何的基础对我的研究来说,微分几何最重要的应用就是建立在它之上的另外一个分支:李群和李代数——这是数 学中两大家族分析囷代数的一个漂亮的联姻分析和代数的另外一处重要的结合则是泛函分析,以及在其基础上的调和分析
如果说古典微积分是分析的入门,那么现代代数的入门点则是两个部分:线性代数(linear algebra)和基础的抽象代数(abstract algebra)——据说国内一些教材稱之为近世代数
代数——名称上研究的似乎是数,在我看来主要研究的是运算规则。一门代数 其实都是从某种具体的运算体系中抽潒出一些基本规则,建立一个公理体系然后在这基础上进行研究。一个集合再加上一套运算规则就构成一个代数结构。在主 要的代数結构中最简单的是群(Group)——它只有一种符合结合率的可逆运算,通常叫“乘法”如果,这种运算也符合交换率那么就叫阿贝尔群 (Abelian Group)。如果有两种运算一种叫加法,满足交换率和结合率一种叫乘法,满足结合率它们之间满足分配率,这种丰富一点的结构叫做环(Ring) 如果環上的乘法满足交换率,就叫可交换环(Commutative Ring)如果,一个环的加法和乘法具有了所有的良好性质那么就成为一个域(Field)。基于域我们可以建立┅种新的结构,能进行加法和数乘就 构成了线性代数(Linear
代数的好处在于,它只关心运算规则的演绎而不管参与运算的对象。只要定义恰 當完全可以让一只猫乘一只狗得到一头猪:-)。基于抽象运算规则得到的所有定理完全可以运用于上面说的猫狗乘法当然,在实际运用中我们还是希望用它 干点有意义的事情。学过抽象代数的都知道基于几条最简单的规则,比如结合律就能导出非常多的重要结论——這些结论可以应用到一切满足这些简单规则的地 方——这是代数的威力所在,我们不再需要为每一个具体领域重新建立这么多的定理
抽潒代数有在一些基础定理的基础上,进一步的研究往往分为两个流派:研究有限 的离散代数结构(比如有限群和有限域)这部分内容通瑺用于数论,编码和整数方程这些地方;另外一个流派是研究连续的代数结构,通常和拓扑与分析联系在 一起(比如拓扑群李群)。峩在学习中的focus主要是后者
线性代数:“线性”的基础地位
在learning中有这样的一种傾向——鄙视线性算法,标榜非线性也许在 很多场合下面,我们需要非线性来描述复杂的现实世界但是无论什么时候,线性都是具有根本地位的没有线性的基础,就不可能存在所谓的非线性推广我们常 用的非线性化的方法包括流形和kernelization,这两者都需要在某个阶段回归線性流形需要在每个局部建立和线性空间的映射,通过把许多局部线 性空间连接起来形成非线性;而kernerlization则是通过置换内积结构把原线性空間“非线性”地映射到另外一个线性空间再进行线性空间中所能 进行的操作。而在分析领域线性的运算更是无处不在,微分积分,傅立叶变换拉普拉斯变换,还有统计中的均值通通都是线性的。
泛函分析:从有限维向无限维迈进
泛函分析(Functional Analysis)是研究的是一般的线性空间,包括有限维和无限维但是很多东西在有限维下显得很trivial,真正的困难往往在无限维的时候出现在 泛函分析中,空间中的元素还是叫向量但是线性变换通常会叫作“算子”(operator)。除了加法和数乘这里进一步加入了一些运算,比如加叺范数去 表达“向量的长度”或者“元素的距离”这样的空间叫做“赋范线性空间”(normed space),再进一步的可以加入内积运算,这样的空间叫“内积空间”(Inner product space)
大家发现,当进入无限维的时间时很多老的观念不再适用了,一切都需要重新审视
所有的有限维空间都是完备的(柯覀序列收敛),很多无限维空间却是不完备的(比如闭区间上的连续函数)在这里,完备的空间有特殊的名称:完备的赋范空间叫巴拿赫空间(Banach space)完备的内积空间叫希尔伯特空间(Hilbert space)。
最能把泛函分析和实际问题在一起的另一个重要方向是调和分析 (Harmonic Analysis)我在这里列举它的两个个子领域,傅立叶分析和小波分析我想这已经能说明咜的实际价值。它研究的最核心的问题就是怎么用基函数去逼近 和构造一个函数它研究的是函数空间的问题,不可避免的必须以泛函分析为基础除了傅立叶和小波,调和分析还研究一些很有用的函数空间比如Hardy space,Sobolev space这些空间有很多很好的性质,在工程中和物理学中都有佷重要的应用对于vision来说,调和分析在信号的表达图像的构造,都是非常有用的 工具
当分析和线性代数走在一起,产生了泛函分析和調和分析;当分析和群论走在一 起我们就有了李群(Lie Group)和李代数(Lie Algebra)。它们给连续群上的元素赋予了代数结构我一直认为这是一门非常漂亮的數学:在一个体系中,拓扑微分和代数走到了一起。在一定条件下 通过李群和李代数的联系,它让几何变换的结合变成了线性运算讓子群化为线性子空间,这样就为Learning中许多重要的模型和算法的引入到对几何运动 的建模创造了必要的条件因此,我们相信李群和李代数對于vision有着重要意义只不过学习它的道路可能会很艰辛,在它之前需要学习很多别的数学
现代概率论:在现代分析基础上再生
在現代概率论的基础上,许多传统的分支得到了极大丰富最有代表性的包括鞅论 (Martingale)——由研究赌博引发的理论,现在主要用于金融(这里可鉯看出赌博和金融的理论联系:-P),布朗运动(Brownian Motion)——连续随机过程的基础以及在此基础上建立的随机分析(Stochastic Calculus),包括随机积分(对随机过程的蕗径进行积分其中比较有代表性的叫伊藤积分(Ito Integral)),和随机微分方程对于连续几何运用建立概率模型以及对分布的变换的研究离不开这些方面的知识。
我猜你在看svm的求解部分超平面嘚支持向量一般可以用二次规划,但是因为这是一个np-hard问题实际上用工程方法求解(梯度下降之类的)在任何一本机器学习的书里面svm这一嶂都会有详细的公式 |
你能找到的书店里面的书都做一遍写完绝对稳了,觉得够聪明的话绝对满分
版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。