 上传我的文档
 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
正在努力加载中...
微积分解决高中数学问题
下载积分：2000
内容提示：微积分解决高中数学问题
文档格式：DOC|
浏览次数：173|
上传日期： 08:13:27|
文档星级：
该用户还上传了这些文档
微积分解决高中数学问题
官方公共微信您好，欢迎来到新东方
2013年AP微积分BC备考----Free response微分方程求解
作者：罗勇
　　微分方程(Differential
equation，简称为DE)求解是微积分的重要组成内容。大家将来进入大学以后，会经常接触到ODE(Ordinary differential
equation常微分方程)和PDE(Partial differential equation偏微分方程)这两个缩写。AP微积分考试中，在Free
response中经常出现微分方程求解的题。由于分值非常大(一般为5-6分)，并且连续5-6年都考，2013年考试出现的概率非常大，所以希望引起考生的注意。在考试中，只会出现如以下所示的可分离变量的微分方程(Separation
of variables)：
　　一般求解的步骤为：
　　(1) 分离变量
　　(2) 等式两边求不定积分&
　　注意求解不定积分，后面一定要加常数C;
　　(3) 代入初始值(Initial condition)求出常数C，把函数整理出来，并给出函数的定义域。
　　在考试的时候，书写要尽量规范，一步一步的写，切记不要偷懒，阅卷时会按步给分。下面一起分析以下2012年真题的书写过程：
第一行：先把微分方程抄了一遍，不得分；
第二行：分离变量，求积分（加上积分符号），得1分；
第三行：求解不定积分，注意一定要加常数C，否则后面的计算全错；（如果只写式子
处则只得1分；如果加了常数，此处则得2分）；
第四五行：用初始条件求常数C，得1分（注意观察去掉绝对值的方法）；
第六七行：把函数整理出来加上定义域得1分。
求不定积分的时候，如果没有加常数C，最多只能得2分；如果没有分离变量，则得0分。
考试时，请严格按照上面的步骤写。在检查解答过程时，注意看初始条件是否用上了，如果没有用上，则表明你求不定积分的时候没加常数C。
新东方网托福官方微信：新东方托福 （微信号：xdftoefl）
最新考试资讯、托福预测、托福解析，请扫一扫二维码，关注我们的官方微信!
新东方AP辅导专区
版权及免责声明
① 凡本网注明"稿件来源：新东方"的所有文字、图片和音视频稿件，版权均属新东方教育科技集团（含本网和新东方网）
所有，任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他任何方式复制、发表。已经本网协议授权的媒体、网站，在下载使用时必须注明"稿件来源：新东方"，违者本网将依法追究法律责任。
② 本网未注明"稿件来源：新东方"的文/图等稿件均为转载稿，本网转载仅基于传递更多信息之目的，并不意味着赞同转载稿的观点或证实其内容的真实性。如其他媒体、网站或个人从本网下载使用，必须保留本网注明的"稿件来源"，并自负版权等法律责任。如擅自篡改为"稿件来源：新东方"，本网将依法追究法律责任。
③ 如本网转载稿涉及版权等问题，请作者见稿后在两周内速来电与新东方网联系，电话：010-。
AP考试辅导
托福考试辅导[译] 计算图上的微积分：Backpropagation - 简书
下载简书移动应用
写了380442字，被947人关注，获得了757个喜欢
[译] 计算图上的微积分：Backpropagation
Backpropagation (BP) 是使得训练深度模型在计算上可行的关键算法。对现代神经网络，这个算法相较于无脑的实现可以使梯度下降的训练速度提升千万倍。而对于模型的训练来说，这其实是 7 天和 20 万年的天壤之别。除了在深度学习中的使用，BP 本身在其他的领域中也是一种强大的计算工具，例如从天气预报到分析数值的稳定性——只是同一种思想拥有不同的名称而已。实际上，BP 已经在不同领域中被重复发明了数十次了（参见 ）。更加一般性且与应用场景独立的名称叫做 反向微分 (reverse-mode differentiation)
反向微分，我自己翻译的，如果有人知道正确的翻译请告知。
从本质上看，BP 是一种快速求导的技术，可以作为一种不单单用在深度学习中并且可以胜任大量数值计算场景的基本的工具。
计算图是种很好的研究数学表达式的方式。例如，我们有这样一个表达式 e = (a + b) * ( b + 1)。其包含三个操作：两个加法和一个乘法。为了更好的讲述，我们引入两个中间变量，c 和 d，这样每个函数的输出就有一个变量表示了。现在我们有：
下面可以创建计算图了，我们将每个表达式和输入的变量看做是节点。如果一个节点的值是另一个节点的输入，就画出一条从该节点到另一节点的边。
计算图是有向图
计算图示例
这种样式的图在计算机科学领域到处可见，特别是在函数式程序中。他们与依赖图（dependency graph）或者调用图（call graph）紧密相关。同样他们也是非常流行的深度学习框架
背后的核心抽象。
对于上面用计算图表示的表达式，我们设置对应输入变量的值，通过这个图来计算每个节点的值。例如，假设 a = 2, b = 1：
计算在计算图上
最终表达式的值就是 6。
计算图上的导数
如果想要理解计算图上的导数，那么关键之处就是理解每条边上的导数。如果 a 直接影响 c，我们就想知道 a 如何影响了 c。如果 a 改变了一丢丢，c 会发生什么样的变化？这种东西我们称 c 关于 a 的偏导数。为了计算在这幅图中的偏导数，我们需要 和式法则（ ）和 乘式法则（）：
和式法则 和 乘式法则
下面，在图中每条边上都有对应的导数了：
计算偏导数
那如果我们想知道哪些没有直接相连的节点之间的影响关系呢？假设就看看 e 如何被 a 影响的。如果我们以 1 的速度改变 a，那么 c 也是以 1 的速度在改变，导致 e 发生了 2 的速度在改变。因此 e 是以 1 * 2 的关于 a 变化的速度在变化。而一般的规则就是对一个点到另一个点的所有的可能的路径进行求和，每条路径对应于该路径中的所有边的导数之积。因此，为了获得 e 关于 b 的导数：
e 关于 b 的导数
这个值就代表着 b 改变的速度通过 c 和 d 影响到 e 的速度。路径求和的法则其实就是 多元链式法则（）的 另一种思考方式。
路径求和可能路径数量很容易就会组合爆炸。
在上面的图中，从 X 到 Y 有三条路径，从 Y 到 Z 也有三条。如果我们希望计算 dZ/dX，那么就要对 3 * 3 = 9 条路径进行求和了：
上面的图有 9 条路径，但是在图变得更加复杂的时候，这个数量会指数级地增长。相比于粗暴地对所有的路径进行求和，更好的方式是进行因式分解：
注意了！这里就是 前向微分 和 反向微分 诞生的地方！ 这两个算法是通过因式分解来高效计算导数的。通过在每个几点上反向合并路径而非显式地对所有的路径求和来大幅提升计算的速度。实际上，两个算法对每条边的访问都只有一次！
前向微分从图的输入开始，一步一步到达终点。在每个节点处，对输入的路径进行求和。每个这样的路径都表示输入影响该节点的一个部分。通过将这些影响加起来，我们就得到了输入影响该节点的全部，也就是关于输入的导数。
尽管你可能没有从图的结构来考虑这个问题，前向微分其实是在学习了微积分后我们的自然的思维方式。相对的，反向微分是从图的输出开始，反向一步一步抵达最开始输入处。在每个节点处，会合了所有源于该节点的路径。
前向微分 跟踪了输入如何改变每个节点的情况。反向微分 则跟踪了每个节点如何影响输出的情况。也就是说，前向微分应用操作 d/dX 到每个节点，而反向微分应用操作 dZ/d 到每个节点。
这其实可以看做是动态规划（）
计算上的胜利
现在，你可能想知道为何人人都关心 反向微分 了。因为它本身看起来像是用一种奇怪的方式和前向微分做了同样的事情。这里有什么优点？让我们重新看看刚开始的例子：
计算图示例
我们可以从 b 往上使用前向微分。这样获得了每个节点关于 b 的导数。
关于 b 求导数
我们已经计算得到了 de/db，输出关于一个输入 b 的导数。如果我们从 e 往下计算反向微分呢？这会得到 e 关于每个节点的导数：
我们说到反向微分给出了 e 关于每个节点的导数，这里的确是每·一·个节点。我们得到了 de/da 和 de/db，e 关于输入 a 和 b 的导数。前向微分给了我们输出关于某一个输入的导数，而反向微分则给出了所有的导数。这幅图中，仅仅是两个因子在影响，但是你想象一个拥有百万个输入和一个输出的函数。前向微分需要百万次遍历计算图才能得到最终的导数，而反向微分仅仅需要一次就能得到所有的导数！百万级的速度提升多么美妙！训练神经网络时，我们将衡量神经网络表现的代价函数看做是那些决定网络行为的参数的函数。我们希望计算出代价函数关于所有参数的偏导数，从而进行梯度下降（）。现在，常常会遇到百万甚至千万级的参数的神经网络。所以，反向微分，也就是 BP，在神经网络中发挥了关键作用！（有人要问，有使用前向微分更加合理的场景么？当然！因为反向微分得到一个输出关于所有输入的导数，前向微分得到了所有输出关于一个输出的导数。如果遇到了一个有多个输出的函数，前向微分肯定更加快速）
这难道不是 Trivial 的嘛！？
刚刚理解 BP 本质时，我的反应是：“Oh，这不就是链式法则么！？为什么人们花了这么久才能够发现！？” 我也并不是唯一有这种反应的。如果你问问“是不是还有更巧妙的计算前馈神经网络的导数的方法？”，这个答案并不是很难。但是我觉得，发明 BP 要比其本身看起来更加困难。你看，在BP被发明的那段时间里，人们并不非常关注前馈神经网络。并且使用导数来训练网络并不是很明显。在人们发现可以快速计算导数时，这种方法才会进入人们的视野。这里存在着循环依赖的关系。更糟糕的是，在日常思维中很容易忽略这种循环依赖关系。使用导数来训练神经网络？肯定你会困在局部最优解中。更明显的是，计算这些导数的代价非常大。仅仅因为我们知道这个观点可行，我们并没有立即开始研究那些不可能的原因究竟是什么。这也许就是事后诸葛亮的好处。一旦你已经构建出问题本身，最困难的工作便搞定了。
计算导数远比你想象的要简单。这就是这篇文章告诉你的主要观点。实际上，这些方法是反直觉地简单，我们人类还是会傻傻地重新发现。在深度学习中，计算导数是相当重要的一件事，同样在其他领域中也是非常有用的知识。只不过还没成为一种众人皆知的事物。还有其他可以学到的东西么？肯定有。BP 也是一种理解导数在模型中如何流动的工具。在推断为何某些模型优化非常困难的过程中，BP 也是特别重要的。典型的例子就是在 Recurrent Neural Network 中理解 vanishing gradient 的原因。最后，我还要补充的是，这些技术中还有很多算法上的经验可以借鉴。BP 和 前向微分使用了一对技巧（线性化和动态规划）来更有效地计算导数。如果你真正理解了这些技术，你就可以有效地计算其他有趣包含导数的表达式。后面的博客也会继续做介绍。本文给出了关于 BP 的相对抽象的描述。强烈建议大家阅读 Michael Nielsen 关于 BP 的讲述（），更加贴合神经网络本身。
Thank you to , ,
for taking the time to proofread this post.Thanks also to ,
for discussion of approaches to explaining backpropagation. Also thanks to all those who tolerated me practicing explaining backpropagation in talks and seminar series!
哎呦，不行了，要睡觉了。给我 e(=2.72) 元咖啡钱吧。
打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮
被以下专题收入，发现更多相似内容：
本专题仅让编辑在特殊情况下使用，入选文章将立刻上首页。绕过推荐队列。
使用场景：
- 突发事件的相关内容，需要立刻推首页
· 10176人关注
机器学习算法关注机器学习，人工智能，数据挖掘，计算机视觉等相关领域的文章
· 2217人关注
社交网络的搜索和推荐，及UGC的挖掘
· 1234人关注
哎呦，不行了，要睡觉了。给我 e(=2.72) 元咖啡钱吧。
选择支付方式：您的位置： &
这样用微积分求解圆锥的侧面积为什么不对
优质期刊推荐君，已阅读到文档的结尾了呢~~
广告剩余8秒
文档加载中
用微积分定义求解定义,概念,解..
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
用微积分定义求解
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口}