一种加快机器学习收敛速度的想法

机器学习的本质就是希望找到一个能基本拟合样本的函数
而这个函数的评判标准就是其loss要达到最小,那么问题就转换为了求 f_loss(w, b) 函数的最小值
如果数据量小的话,可以使用最小二乘法直接计算出最小值,但对于大样本数据就不是很好用了
传统的做法是使用梯度下降一点一点试,尝试寻找到函数的极值点,但这样很容易陷入局部极小值
我的想法是,能否使用一个更简单的函数来大致拟合这个loss函数,从而能更快地定位到全局最小值的大致范围,然后再利用梯度下降法去尝试找到该最小值
关于这个“更简单的函数”,我想是否可以通过类似傅里叶级数或一些其他展开式,舍去高阶的表达式后就可以得到一个大致轮廓相近图形的函数

Leave a Comment