李沐新文引热议！用随机梯度下降优化人生最优解是啥？

来源：知乎

编辑：瘦瘦 好困

【新智元导读】随机梯度下降好是好，奈何我算力不够啊。

众所周知，梯度下降法（Gradient descent）是神经网络最常用的一阶优化算法。

使用梯度下降法找到一个函数的局部极小值，需要向函数上当前点对应梯度的反方向的规定步长距离点进行迭代搜索。

不过今天说的倒不是深度学习里的梯度下降，而是亚马逊首席科学家李沐的「用随机梯度下降来优化人生」。

在文中，李沐列举了十一种方法，告诉大家如何利用「梯度下降」来优化自己的人生。

1. 要有目标
2. 目标要大
3. 坚持走
4. 痛苦的卷
5. 可以躺平
6. 四处看看
7. 快也是慢
8. 赢在起点
9. 很远也能到达
10. 独一无二
11. 简单最好

一经发表，就吸引了各路网友前来讨论。

大神毕竟是大神，这套理论用在学术研究中刚刚好。

不过更多的网友读完之后表示，这个想要「复现」，实在是太难了！

梯度下降需要不断试错，人生也确实是在不断优化的。

然而不是所有人生都是「类凸函数」，也不是所有人都有足够的「算力」。

「晚夜朝阳」说，有些人是含着4路3090出生的，而有些人只是集显罢了。

「蒜葵」表示，本来以为可以参照大神的优化器优化人生，结果发现只是一个不起眼的低智能粒子在PSO里面盲目试探。

还有不少人的吐槽点都集中在了「如何做」上。有个「目标函数」固然好，然而「目标是什么」却成了最大的难题。

用「CharlesChan」的解释：他认为从一开始，就没有人教你如何设置目标，什么样的方法能用到什么样的过程中，据此来得到一个最优解。

可能还是「算法」的问题？

无论怎样调整参数也调不好，dealine快到了，新的backbone不断出现，你还会期待下一个最优解吗？其中「易晓」认为李沐的「梯度下降」并不能应用到人生的所有环节中。因果关系不明确，不过是消耗时间成本罢了。

说到底，「做一些错误的决定」并不能迈过舒适圈，也必然不是最好的答案。

这个观点获得了大量点赞。随后，其他人纷纷表示在实现目标的过程中遇到很多困难。原地踏步还是坚持走？目标确定但无法实现。

尤其是在过程中遇到的压力与焦虑，除了躺平并没有最优解。

你用你内心的激情来迈步子。步子太小走不动，步子太长容易过早消耗掉了激情。周期性的调大调小步长效果挺好。所以你可以时不时休息休息。

「Hello venus」表示，写得很形象也很有道理。由此看来预训练可以看作遗传基因，蒸馏是学习过程，算力是你所掌握的资源和财富

或许，很多人也陷入了一个局部最优问题：只想着如何达到「最优」，如果达不到的话，你说的这些又有什么意义呢？

不过即便是起点是随机的，即便前路四处都是悬崖，但通过梯度下降都能得到的差不多的解。

每次找一个大概还行的方向（梯度），迈一步（下降），然后不停地这样走下去。

不管有没有到达「真正的」最优解，最后停留在的地方，可能也是最接近的了。

当然，最后的最后，都是一样的（doge）。

参考资料：

https://zhuanlan.zhihu.com/p/414009313?utm_source=wechat_session&utm_medium=social&utm_oi=861295628167294976

https://www.zhihu.com/question/489380225