最速下降

梯度下降算法有哪些

梯度下降法的介绍如下：定义梯度下降法（Gradient descent，简称GD）是一阶最优化算法。要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点，这个过程则被称为梯度上升法。用途梯度下降法是迭代法的一种，可以用于求解最小二乘问题（线性和非线性都可以）。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降法和最小二乘法是最常采用的方法。在求解损失函数的最小值时，可以通过梯度下降法来迭代求解。得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种常用梯度下降方法，分别为随机梯度下降法和批量梯度下降法。原理在当前位置求偏导，即梯度，正常的梯度方向类似于上山的方向，是使值函数增大的，下山最快需使最小，从负梯度求最小值，这就是梯度下降。梯度上升是直接求偏导，梯度下降则是梯度上升的负值。由于不知道怎么下山，于是需要走一步算一步，继续求解当前位置的偏导数。这样一步步的走下去，当走到了最低点，此时我们能得到一个近似最优解。在当前位置求偏导，即梯度，正常的梯度方向类似于上山的方向，是使值函数增大的，下山最快需使最小，从负梯度求最小值，这就是梯度下降。梯度上升是直接求偏导，梯度下降则是梯度上升的负值。由于不知道怎么下山，于是需要走一步算一步，继续求解当前位置的偏导数。这样一步步的走下去，当走到了最低点，此时我们能得到一个近似最优解。

梯度下降算法的正确步骤是什么?

1、用随机值初始化权重和偏差。2、把输入传入网络，得到输出值。3、计算预测值和真实值之间的误差。4、对每一个产生误差的神经元，调整相应的（权重）值以减小误差。5、重复迭代，直至得到网络权重的最佳值。梯度下降法，它是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。作为一种基本的算法，他在最优化方法中占有重要地位。其优点是工作量少，存储变量较少，初始点要求不高。其缺点是收敛慢，效率不高，有时达不到最优解。

最速下降法 步长

最速下降法是以负梯度方向作为极小化算法的下降方向，又称为梯度法，是无约束最优化中最简单的方法。
从点x1
沿着最速下降方向d，以步长λ到达点x2，数学上可以写为x2
=
x1
+
λ*d。这里的d的表达式已经从理论给出，那么问题就变成，寻找合适的λ使得目标函数值
f(x1+λ*d)最小，这本身又是一个最小化问题。
通常所谓的迭代算法，就是指，在某一个给定误差范围内，通过迭代关系
x（k
+1)=x（k）+λ（k)*d（k）分别求解相应的
λ（k)和d（k）的过程。当然，每一步求解的x（k
+1)都必须在约束范围内。
简单说来就是由起点x（k），方向d（k），步长λ（k)求出下一点x（k
+1)，然后将x（k
+1)代回原方程，原方程变为一个关于步长λ的方程，求解方程最小时的λ值，即方程关于λ求导，等于0时的λ值。

为什么最速降线不存在？

最速曲线方程推导过程是：首先，要最快到达，就必须合理分配速度。球如果沿着斜面下降，那么其加速度较小（只有重力加速度在斜面方向的投影那么点大，这个数值太小了），速度没法很快提上去，耽误了时间。如果球直接竖直落地，加速度是最大的，可以很快把速度提上来。但可惜，这种情况，球是永远到达不了下面这一点。所以，最佳的情况，就是球尽量沿着竖直方向下降，且必须在运动过程中不断调整方向，以使球的运动轨迹能够到达下面那一点。数学上推出（用变分法），如果球沿着“滚轮线”运动，就能够满足上述要求，这就是最速降线。牛顿证明最速曲线的过程：从给定点A出发，画一条平行于水平面的无界直线APCZ，在这条直线上描述任意摆线AQP，在Q点上与直线AB相交（并在必要时延伸），然后另一个摆线ADC的底和高[as AC: AP]应分别为前一个的底和高AB到AQ。这条最近的摆线将穿过B点，成为一条曲线，在这条曲线上，一个重物在自身重量的作用下，最迅速地从A点到达B点。