梯度下降算法 如何避免局部最优
问题描述:
梯度下降算法 如何避免局部最优
答
单纯的梯度下降算法是收敛于局部最优解的,如果要求实现全局最优解的话可以考虑加入退火算法或者遗传算法之类的思想,简单说就是在搜索过程中不但有基于梯度下降的方向,同时也融入少量的逆向搜索,最终设定一个收敛域即可.
梯度下降算法 如何避免局部最优
单纯的梯度下降算法是收敛于局部最优解的,如果要求实现全局最优解的话可以考虑加入退火算法或者遗传算法之类的思想,简单说就是在搜索过程中不但有基于梯度下降的方向,同时也融入少量的逆向搜索,最终设定一个收敛域即可.