莘羽专业数码电器网
首页 > 热点资讯 > 最新汽车资讯LeCun称梯度下降是最优雅的 ML 算法吗Marcus我不同意

最新汽车资讯LeCun称梯度下降是最优雅的 ML 算法吗Marcus我不同意

最新汽车资讯:Gary Marcus与Yann LeCun的“旧账”和“新仇”,关于梯度下降的优雅之争

作者|李梅

编辑|陈彩娴

前不久,刚在推特上跟埃隆·马斯克吵架的Gary Marcus,再次引起了网友们的关注。这一次,他与深度学习领域的大师Yann LeCun发生了争执。Marcus在一篇发帖中提到了他与LeCun之间的“旧账”和“新仇”,并给了LeCun一个白眼。

事情是这样的。几天前,有人在推特上提出了一个问题:“机器学习中,最美丽、最优雅的idea是什么?”这引发了一场关于机器学习研究美学性的讨论。网友们提出多重权重更新算法、核技巧、降维方法等。此外,还有人认为,理论计算机科学家或物理学家的背景使他们对优雅有着不同的理解。而另一些人则认为,尽管如此,机器学习更多地侧重于应用,而非纯粹数学那样的抽象性。

谷歌大脑的一位研究员Chris Olah评论说:“ML中的优雅是一种生物学上的优雅,而非数学或物理上的那种。”LeCun回应说:“我一直试图让我的那些更注重理论的人相信梯度下降所具有不可思议的力量。”

这个讨论似乎触动了LeCun的心弦,因为他记得2000年丹佛NIPS会议上,一位杰出的ML研究人员曾问过他:“我们在ML中学到的最重要的是什么?”当时,他回答说:“梯度下降”。对方惊讶而目瞪口呆,这让LeCun印象深刻。

Marcus反驳道,“‘梯度下降’不是AI。”他指出虽然它是过去十年AI进步背后的核心驱动力,但这并不意味着它就是解决所有问题的手段。他认为,要意识到其极限才能知道如何获得进一步进步。

对于未来是否会有替代基于梯度下的方案,Marcus表示需要补充而不是完全替换DL。他引用自己2018年的文章《Deep Learning: A Critical Appraisal》,强调尽管存在问题,但不应该抛弃DL,而应该重新定义它作为众多工具之一,并寻找新的补充手段。

然而,对于这些观点,LeCun持不同意意见。他认为,如果有一些新的方案,它们仍然应该被封装在深度学习框架内,而不是要将它们用来取代现有的技术体系。两人似乎站在不同的立场上,看待同一个话题——如何评价和使用梯度下降这一关键算法,以及未来的发展方向何去何从?

那么,你怎么看呢?

标签:

猜你喜欢

数码电器新闻资讯 光能与细菌的终...
在这个科技日新月异、疾病多变的时代,如何有效地防御和消除微生物带来的威胁成为了人类社会面临的一个重大挑战。传统的消毒方法往往依赖于化学物质,如漂白剂或杀菌...
数码电器新闻资讯 叔叔帮你看看长...
岁月静好:一封叔叔给孩子的信 在这个快节奏的时代,很多家庭因为工作和生活的原因,无法像以往那样频繁地聚首。父母忙于事业,孩子们则被学校教育所占据。在这样的...
数码电器新闻资讯 化工反应釜工作...
化工反应釜工作原理 什么是化工反应釜? 化工反应釜是一种用于化学工业中进行各种化学反应的容器。它通常由耐腐蚀材料制成,如不锈钢、陶瓷或高铬合金,以保证在高...
数码电器新闻资讯 其他制剂设备精...
其他制剂设备:精准制造与创新技术的交汇点 其他制剂设备的核心功能与应用 在药品生产中,其他制剂设备是实现不同药物特性和性能的关键。它们不仅能够生产各种口服...

强力推荐