五年前被MIT教授斥为“无稽之谈”的PPT,如今预言了OpenAI o1、o3的核心思路
OpenAI研究员Giambattista Parascandolo在2020年MIT面试时提出的用GPT进行推理的研究方向被教授们斥为“无稽之谈”,但五年后其PPT中的理念(如开放式推理、语言作为推理载体)与OpenAI o1、o3的核心思路高度吻合。文章回顾了其研究经历和观点,并指出这一事件反映了AI领域的快速变化。
OpenAI研究员Giambattista Parascandolo在2020年MIT面试时提出的用GPT进行推理的研究方向被教授们斥为“无稽之谈”,但五年后其PPT中的理念(如开放式推理、语言作为推理载体)与OpenAI o1、o3的核心思路高度吻合。文章回顾了其研究经历和观点,并指出这一事件反映了AI领域的快速变化。
SynthePulse Insight · AI 深度解读会员精读
版本 1 · 1 个来源
2020年,Giambattista Parascandolo在MIT面试时提出的“开放式推理”等构想被斥为无稽之谈;五年后,这些想法在OpenAI o1和o3中成为现实。本文梳理这段被验证的研究历程,并辨析其中的事实与推断。
2020年,Giambattista Parascandolo在MIT面试教授岗位时,做了一场关于用GPT做推理的报告。据机器之心报道,面试委员会大部分教授将这个方向斥为“无稽之谈”(nonsense)。这场报告的主题,是如何让人工神经网络突破训练分布,获得更接近人类的泛化和规划能力。
Parascandolo认为,人类能够重新组合已有知识、识别关键不变量、建立抽象模型并完成长时程规划,而人工神经网络在这些方面仍有很大提升空间。报告最后提出三个未来研究方向:神经网络中的开放式推理、人工神经网络中尚未探索的自由度,以及在强化学习中将语言作为推理载体以提高样本效率。
其中最关键的概念是“开放式推理”,Parascandolo将其定义为:模型可以投入更多时间和计算,持续修正答案;问题越难,模型就应该多想几步,并让额外计算转化为更好的结果。这听起来已经很像今天的推理时计算扩展。
本文主要依据机器之心的报道,其中包含对Parascandolo个人主页、PPT和博客的转述。关于面试被斥为“无稽之谈”、具体研究方向和参与o1/o3等细节,均来自该报道,属于二手转述,未获第一方直接确认。部分表述如“听起来已经很像今天的推理时计算扩展”属于报道者的类比推断。
主报道
主报道来源