最新电影资讯LeCun称梯度下降是最优雅的 ML 算法吗Marcus我不同意
最新电影资讯：Gary Marcus与Yann LeCun的“旧账”和“新仇”，关于梯度下降之争
作者｜李梅
编辑｜陈彩娴
前不久，刚与埃隆·马斯克（Elon Musk）发生冲突的Gary Marcus，又卷入了一场新的争论。这次，他的对手是深度学习领域的重要人物Yann LeCun。Marcus通常会在推特上提醒大家注意深度学习的一些潜在问题，而这次，他发帖谈到了他与LeCun之间的历史恩怨，并给了LeCun一个白眼。
事情起源于几天前，一位网友在推特上提出了一个问题：“机器学习中最美丽、优雅的想法是什么？”这个问题引起了广泛讨论，许多人分享了他们认为优雅且有影响力的算法，比如多重权重更新算法、核技巧、降维方法等。人们还开始探讨机器学习研究中的美学性，这个话题吸引了来自数学家和物理学家的参与。
谷歌大脑的一个研究员Chris Olah也加入了讨论，他认为ML中的优雅是一种生物学上的优雅，而非纯粹数学或物理学上的那种。他指出，梯度下降创造了令人难以置信的结构和行为，就像进化创造了自然界复杂性的奇迹一样。LeCun回应说他已经试图让更多注重理论的人相信梯度下降带来的不可思议力量。他还回忆了一次2000年丹佛NIPS会议上的一次经历，当时一位ML研究人员问过他关于ML中学到的最重要东西，是什么？LeCun回答说是梯度下降，那时候对方惊讶而震惊。
Marcus不同意这一点，他认为虽然梯度下降很强大，但它并不是AI本身。他提到，无限力量并不意味着无穷可能性，要认识到其局限性才能知道如何取得更大的进步。Marcus表示DL需要补充，而不是替换，而他的观点来源于2018年的文章“Deep Learning: A Critical Appraisal”，以及最近的一场演讲。在这些内容中，Marcus主张我们应该重新定义DL，不仅仅是一个工具，更要理解它作为众多工具之一的地位。
然而，对于这种观点，LeCun并不认同。他觉得如果出现新的方案，它们仍然应该被封装在DL框架内，而不是围绕DL进行扩展或补充。两人对于如何看待这些新技术，以及它们如何融入现有的系统持有不同的看法。这场辩论反映出两个人的世界观差异，以及他们对于未来发展可能性的不同的预期。
最后，让我们来询问一下读者们：你怎么看待这两位专家的意见呢？是否支持或者反对使用梯度下降作为机器学习中最优雅且有效的手段？
