深度学习入门

深度学习，确实需要一定的数学基础，但真的那么难么？这个，还真没有。

深度学习还有一个重要的数学概念：偏导数，也就是变化率多了几个变量。

废话半天，这些跟深度学习到底有啥关系？有关系，我们知道，深度学习是采用神经网络，用于解决线性不可分的问题。

所谓深度学习，就是具有很多个隐层的神经网络。

神经网络友个层：输入层，输出层，隐层。

男女恋爱我们大致可以分为三个阶段： 1.初恋期。相当于深度学习的输入层。别人吸引你，肯定是有很多因素，这些都是输入层的参数，对每个人来说权重可能都不一样。 2.热恋期。我们就让它对应于隐层吧。这个期间，双方各种磨合。 3.稳定期。对应于输出层，是否合适，就看磨合得咋样了。

深度学习也是一个不断磨合的过程，刚开始定义一个标准参数（这些是经验值。就好比情人节和生日必须送花一样），然后不断地修正，得出图1每个节点间的权重。为什么要这样磨合？试想一下，深度学习就是小时候学汉字的我们，我们怎么学会看图识字的？肯定得先看图片，并且老师告诉正确的答案，需要很多图片，这个训练的过程，其实就类似于求解神经网络权重的过程。

所以训练集，其实就是作业，带有正确答案的图片，对于深度学习而言，训练集就是用来求解神经网络的权重的，最后形成模型；而测试集，就是用来验证模型的准确度的。

对于已经训练好的模型，如下图所示，权重（w1，w2...）都已知。

绕了半天，终于该求偏导出场了。目前的情况是：

1.我们假定一个神经网络已经定义好，比如有多少层，都什么类型，每层有多少个节点，激活函数（后面讲）用什么等。这个没办法，刚开始得有一个初始设置（大部分框架都需要define-and-run，也有部分是define-by-run）。至于怎么调教，那就得求偏导。

2.我们已知正确答案，比如图2和3里的r，训练的时候，不得不说，理想跟现实还是有差距的，我们当然是希望差距越小越好，怎么才能让差距越来越小呢？得调整参数呗，因为输入（图像）确定的情况下，只有调整参数才能改变输出的值。怎么调整，怎么磨合？刚才我们讲到，每个参数都有一个默认值，我们就对每个参数加上一定的数值∆，然后看看结果如何？如果参数调大，差距也变大，你懂的，那就得减小∆，因为我们的目标是要让差距变小；反之亦然。所以为了把参数调整到最佳，我们需要了解误差对每个参数的变化率，这不就是求误差对于该参数的偏导数嘛。

这里有两个点：

这里有两个点：一个是激活函数，这主要是为了让整个网络具有非线性特征，因为我们前面也提到了，很多情况下，线性函数没办法对输入进行适当的分类（很多情况下识别主要是做分类），那么就要让网络学出来一个非线性函数，这里就需要激活函数，因为它本身就是非线性的，所以让整个网络也具有非线性特征。另外，激活函数也让每个节点的输出值在一个可控的范围内，这样计算也方便。女生都不喜欢白开水一样的日子，因为这是线性的，生活中当然需要一些浪漫情怀了，这个激活函数嘛，我感觉类似于生活中的小浪漫，小惊喜，是不是？相处的每个阶段，需要时不时激活一下，制造点小浪漫，小惊喜，比如；一般女生见了可爱的小杯子，瓷器之类都迈不开步子，那就在她生日的时候送一个特别样式，要让她感动得想哭。前面讲到男人要幽默，这是为了让她笑；适当的时候还要让她激动得哭。一哭一笑，多整几个回合，她就离不开你了。因为你的非线性特征太强了。另一个是学习系数，为什么叫学习系数？刚才我们上面讲到∆增量，到底每次增加多少合适？是不是等同于偏导数（变化率）？经验告诉我们，需要乘以一个百分比，这个就是学习系数，而且，随着训练的深入，这个系数是可以变的。