Transformer推理能力引热议DeepMind更新论文力证其强
【ITBEAR】DeepMind近期在国际象棋AI领域取得了新的突破，其训练的Transformer模型在不需要搜索算法的情况下，实现了大师级的下棋水平。这一成果在学术界引起了广泛讨论，并推动了相关数据集和代码的开源。
该研究最初由一位网友分享，引发了关于Transformer是否能进行逻辑推理的争论。有网友认为这显示了Transformer的推理和规划能力，但也有人反驳称，这只是模式匹配，而非真正的推理。
田渊栋指出，Transformer模型在闪电战模式下的表现更多依赖于直觉和战术反应，而非深度搜索和规划。他认为，模型虽然Elo分数高，但未能展示出超越训练数据的能力。
顾全全则解释道，推理的核心在于蕴涵，而Transformer实现推理的关键在于学习推理规则。他认为，DeepMind的研究展示了Transformer学习推理规则的潜力，但仍需要更多理论研究来确认其能否像人类一样推理。
此次研究不仅限于技术本身，还引发了关于将概率算法提炼成神经模型的通用方法的讨论。有网友认为这是一个重要突破，但也有学者指出模型在泛化能力上的局限性。
DeepMind于10月21日更新了论文，并推出了名为ChessBench的大规模数据集，包含1000万个国际象棋局面及其走法与价值注释。研究团队还开源了数据集、模型权重以及所有训练和评估代码。
对于DeepMind重回棋局研究的原因，有观点认为，这是AI大模型重做现有应用的一个实例，旨在进一步挖掘商业价值并提升用户体验。
该研究对轻量化模型的发展具有重要意义。270M参数的Transformer模型不仅能在移动设备上顺畅运行，还展示了小模型在满足业务需求方面的潜力。
这项研究还引发了一个哲学问题：AI是否正在向“直觉型思维”迈进？尽管AI的策略来自对大量数据的学习，与人类的“下意识反应”存在本质区别，但这种模拟行为为AI如何在复杂环境中进行推理提供了新的思路。
