返回信息流
新闻事件
A重点74
机器之心
1 个来源

五年前被MIT教授斥为“无稽之谈”的PPT,如今预言了OpenAI o1、o3的核心思路

OpenAI研究员Giambattista Parascandolo在2020年MIT面试时提出的用GPT进行推理的研究方向被教授们斥为“无稽之谈”,但五年后其PPT中的理念(如开放式推理、语言作为推理载体)与OpenAI o1、o3的核心思路高度吻合。文章回顾了其研究经历和观点,并指出这一事件反映了AI领域的快速变化。

SynthePulse Insight · AI 深度解读会员精读

五年前被MIT教授斥为“无稽之谈”的PPT,如何预言了o1与o3的推理路线

版本 1 · 1 个来源

2020年,Giambattista Parascandolo在MIT面试时提出的“开放式推理”等构想被斥为无稽之谈;五年后,这些想法在OpenAI o1和o3中成为现实。本文梳理这段被验证的研究历程,并辨析其中的事实与推断。

  • 2020年,Parascandolo在MIT面试时提出用GPT做推理的报告,被面试委员会大部分教授斥为“无稽之谈”。
  • 报告核心概念“开放式推理”指模型可投入更多时间和计算持续修正答案,问题越难应多想几步。
  • Parascandolo提出语言作为推理载体,以缩小强化学习中的搜索范围,类似今天的思维链与Agent工作流。
展开章节目录被斥为“无稽之谈”的面试报告

被斥为“无稽之谈”的面试报告

2020年,Giambattista Parascandolo在MIT面试教授岗位时,做了一场关于用GPT做推理的报告。据机器之心报道,面试委员会大部分教授将这个方向斥为“无稽之谈”(nonsense)。这场报告的主题,是如何让人工神经网络突破训练分布,获得更接近人类的泛化和规划能力。

Parascandolo认为,人类能够重新组合已有知识、识别关键不变量、建立抽象模型并完成长时程规划,而人工神经网络在这些方面仍有很大提升空间。报告最后提出三个未来研究方向:神经网络中的开放式推理、人工神经网络中尚未探索的自由度,以及在强化学习中将语言作为推理载体以提高样本效率。

其中最关键的概念是“开放式推理”,Parascandolo将其定义为:模型可以投入更多时间和计算,持续修正答案;问题越难,模型就应该多想几步,并让额外计算转化为更好的结果。这听起来已经很像今天的推理时计算扩展。

限时免费

继续阅读完整分析

还有 3 节深入分析和完整结论

加载中

可信度边界

本文主要依据机器之心的报道,其中包含对Parascandolo个人主页、PPT和博客的转述。关于面试被斥为“无稽之谈”、具体研究方向和参与o1/o3等细节,均来自该报道,属于二手转述,未获第一方直接确认。部分表述如“听起来已经很像今天的推理时计算扩展”属于报道者的类比推断。

主报道

机器之心

主报道来源