汽车最新资讯LeCun称梯度下降是最优雅的 ML 算法吗Marcus我不同意
汽车最新资讯:Gary Marcus与Yann LeCun的“旧账”和“新仇”,关于梯度下降之争。Marcus:我不同意LeCun称梯度下降是最优雅的ML算法。
在前不久,刚跟马斯克吵架的Gary Marcus,又一次引起了网友们的讨论。这次,他与深度学习领域的大师之一Yann LeCun发生了争执。
事情源于推特上有人提问:“在机器学习中,最优雅美丽的idea是什么?感觉数学家和物理学家经常谈论美学,但我们却很少,为什么?”
于是,一些网友纷纷回答说多重权重更新算法、核技巧、降维、凸优化方法等等,还有关于机器学习研究中的美学性讨论。一些人认为理论计算机科学者或者传统物理学背景的人更关注这种美学,而另一些人则认为因为机器学习强调应用而不是纯粹数学,因此较少涉及这些问题。
谷歌大脑的一位研究员Chris Olah也加入评论,说ML的优雅是一种生物学上的,而非数学或物理上的。LeCun表示他一直试图让那些注重理论的人相信梯度下降所具有不可思议力量。他还回忆了2000年丹佛NIPS会议上的一次经历,当时一位ML研究人员在晚宴上问「我们在ML中学到的最重要的是什么?」,LeCun回答「梯度下降」,那位研究人员目瞪口呆。
然而,Marcus并不认同这一点,他觉得AI需要补充,而不是替换深度学习。Marcus搬出了2018年的文章以及最近的一场演讲,其中他主张不要抛弃深层学习,只要找到新的工具来作为补充。他指出自己的立场自1992年以来就没变过,而LeCun对此持否定态度。
这场辩论看似围绕着是否应该使用基于梯度下的方法展开,却实际上反映出两个人的世界观和对未来的理解有着根本性的差异。他们对于如何定义AI,以及未来技术发展方向也有着不同的看法。这也是为什么这个话题变得如此复杂且具有争议性。在这样的背景下,我们可以思考一下,这个界定是否真的存在一个绝对正确答案呢?
那么,你怎么看待这两位专家的意见?是否同意或不同意他们关于“梯度下降”是不是最优雅ML算法的问题?