最新资讯新闻梯度下降算法是否为机器学习的最优雅选择LeCun称是Marcus则坚决不同意
最新资讯新闻：梯度下降算法是否为机器学习的最优雅选择？LeCun坚称是，Marcus则持有异议。以下是两人关于此问题的深入探讨。
作者｜李梅
编辑｜陈彩娴
Gary Marcus，这位曾与埃隆·马斯克（Elon Musk）激辩的人物，又一次卷入了一个新争论。他的目标这次是Yann LeCun，深度学习之父。Marcus在一篇文章中回顾了他与LeCun的“旧账”和“新仇”，并对LeCun表示了一丝轻蔑：
事件始于几天前，当有人在推特上提出了一个问题：“机器学习中，最美丽、最优雅的想法是什么？”这个问题引起了网友们热烈讨论，他们提到了多重权重更新算法、核技巧、降维方法以及一些凸优化技术等。此外，还有关于机器学习研究中的美学性质进行了探讨。一些人认为理论计算机科学家或传统物理学家也在谈论美感，而另一些人则直言不讳地说，人们很少谈及美学，因为机器学习强调应用，而非纯粹数学那样的“毫无价值”。
谷歌大脑的一位研究员Chris Olah评论道：“ML的优雅是一种生物学上的优雅，不同于数学或物理上的那种。”LeCun回应说：“梯度下降？我熟！近4年来，我一直试图让我的许多理论倾向更强的同事相信梯度下降所展现出的不可思议力量。”
记得2000年丹佛NIPS会议上，一位杰出的ML研究人员问道：“我们从ML中学到的最重要的是什么？”LeCun回答说，“梯度下降”。当时，那位研究人员面露难以置信。
对于这个问题——是否存在一种比梯度下降更为优雅、更能体现出AI本质的方法—两人的看法截然不同。在过去十年的AI进步中，GD确实扮演了核心角色，但它并不代表整个AI领域。Marcus认为DL需要补充，而不是替换；未来可能会出现新的工具，比如符号处理操作，与SGD相结合使用。而LeCun则坚持DL作为一种工具而已，并且认为任何新的方案都应该嵌入到DL框架之中。
这一场辩论揭示出两个主要观点：扩展DL规模还是通过混合和补充来实现。这场争鸣是否能带来新的启示，我们拭目以待。
