返回信息流
新闻事件
量子位
1 个来源

视频大模型三方反馈范式上线,面向真实直播建模持续决策

复旦大学可信具身智能研究院、Bytedance International Live Content AI团队与上海创智学院联合发布Live Assistant,面向真实直播场景提出基于内容理解的三方反馈范式。该范式将直播建模为异构、长时、多方互动、混合驱动的多模态信号流,通过内容理解驱动状态机决定是否输出、输出给谁以及输出类型,并支持沉默作为合法动作。技术设计涵盖Omni原生多模态信号、多轮SFT与RL、长程推理框架及训推一致性。

SynthePulse Insight · AI 深度解读会员精读

直播大模型的新命题:不是更会说,而是知道何时闭嘴、记住、对谁说

版本 1 · 1 个来源

复旦大学可信具身智能研究院、Bytedance International Live Content AI团队与上海创智学院联合发布Live Assistant,把“该不该说、说给谁、说什么类型”定义为模型的全部行动语法。这套三方反馈范式试图回答的,是直播场景里比“看见了什么”更难的问题。

  • Live Assistant由复旦大学可信具身智能研究院、Bytedance International Live Content AI团队与上海创智学院联合发布,面向真实直播场景提出基于内容理解的三方反馈范式。
  • 该范式把“该不该说、说给谁、说什么类型”三个问题定义为模型的全部行动语法,而非单纯提升解说能力。
  • 团队指出既有直播理解工作存在三道坎:把直播简化为“视频帧+文本”、反馈对象单一、没有把“不说话”当成合法动作。
展开章节目录一个被默认的前提:模型的任务就是不停地说

一个被默认的前提:模型的任务就是不停地说

现有视频大模型大多停留在“边看边解说”或“你问我答”的阶段,隐含了一个前提:模型的任务就是不停地说。团队认为,真实直播间里最难的可能不是“看见了什么”,而是知道什么时候该闭嘴、什么时候该记住、以及该把话说给谁。

这一判断指向一个更根本的问题定义:真实直播本质上是异构、长时、多方互动、混合驱动的多模态信号流,模型要建模的不是单次回答,而是直播过程中的持续状态决策。Live Assistant正是围绕这一命题展开。

三道坎:直播被简化、反馈对象单一、沉默不被当作动作

团队把既有直播/在线视频理解工作的局限归纳为三道坎。第一,直播被简化成了“视频帧+文本”:很多工作仍把直播当作“图像帧+文本问题”,或者把音频先转成ASR文本再输入模型。团队认为,主播语气、背景音、弹幕密度、礼物事件、在线人数变化、房间meta信息和平台规则并不是附属信息,而是会共同改变模型判断的原生信号。

第二,反馈对象太单一:现有系统要么回答用户问题,要么给观众生成解说,但直播助手真正服务的是多方——观众需要解释和recap,主播需要评论区问题、节奏变化和关键事件提醒,平台/审核侧需要风险线索和待复核片段。

第三,“不说话”没有被当成一个动作:很多在线模型仍由用户问题或固定时间片驱动,到一个片段就输出一段话。但在真实直播里,沉默本身就是一个重要且合法的动作,模型必须基于内容理解判断当前是继续观察、写入记忆,还是在关键事件、高光、评论爆发、节奏异常或安全风险出现时主动反馈。

限时免费

继续阅读完整分析

还有 5 节深入分析和完整结论

加载中

可信度边界

本文事实基础来自量子位对Live Assistant的报道,该报道属投稿性质,核心信息由项目团队提供。联合发布方、三方反馈范式定义、六层技术设计、多轮SFT与RL机制、两级记忆与训推一致性设计等,均属团队自述的source_claim,未经第三方独立验证。base模型指标为0、递进式训练带来稳定提升等结论缺少具体数值与可复现评测,应视为团队声明而非已确认事实。

主报道

量子位

主报道来源