云南网站推广公司训练神经网络很慢也很困难但是效果很好

云南网站推广公司训练神经网络很慢、很困难，之前有许多人设计了各种各样的方法。近期的优化方法结合了随机方法和批量方法的特点，比如用mini-batch，跟SGD类似，但是实现了更多的启发式方法来估计二阶对角信息，就和无黑塞方法（Hessian-free）或者L-BFGS类似。

       这样吸收了两种方法优点的方案通常在实际问题中有更快的收敛速度，比如Adam就是一个深度学习中常用的优化器，实现了简单的启发式方法来估计梯度的均值和变化幅度，从而能够在训练中更加稳定地更新权重。
        之前云南网站推广公司发现的许多权重更新规则都借鉴了凸函数分析中的想法，虽然神经网络中的优化问题是非凸的。近期通过非单调学习速率的启发式方法得到的经验结果表明，在神经网络的训练方面我们仍然知之甚少，还有许多非凸优化的方法可以用来改进训练过程。