最新旅游资讯梯度下降算法是否是机器学习的最优雅选择Marcus表达了不同的看法

在最新旅游资讯中，Gary Marcus再次引发争议，他持不同意见的态度让人关注。Marcus与Yann LeCun的论战延续，这一次，他们关于梯度下降算法优雅性的讨论吸引了广泛的参与。

据称，在一场网络辩论中，有人询问最美丽、最优雅的机器学习思想是什么？这个问题激发了网友们对多重权重更新算法、核技巧、降维和变分推理等话题的热烈讨论。一些人认为，理论计算机科学家和物理学家探索美学性质，而其他人则强调机器学习更侧重于应用实践而非纯粹数学。

谷歌大脑研究员Chris Olah提出了一个有趣观点：ML中的优雅是生物学上的，而非数学或物理学上的。梯度下降创造出令人难以置信的结构和行为，就像进化创造出自然界复杂性一样。LeCun表示他一直试图说服那些更注重理论的人们认识到梯度下降不可思议之处。他还回忆了1989年使用梯度下降训练CNN进行图像识别，并成为计算机视觉基础理论之一。

LeCun分享了2000年丹佛NIPS会议的一段往事，那时他回答“梯度下降”是他们在ML中学到的最重要东西，这让那位杰出的ML研究人员感到震惊。这份记忆似乎被LeCun保留得相当久远。

有人赞同“梯度下降”是最优雅的ML算法，也有人持反对意见。不言而喻，GD为过去十年的AI进步提供核心驱动力，但它并不是AI本身。Marcus指出尽管GD非常强大，但我们需要意识到其局限，以便知道如何取得进一步发展。而LeCun则提出，如果有新的方案，它仍应嵌入深度学习框架，而Marcus主张新的方案应当围绕DL进行混合和补充。