视频大模型三方反馈范式上线,面向真实直播建模持续决策
复旦大学可信具身智能研究院、Bytedance International Live Content AI团队与上海创智学院联合发布Live Assistant,面向真实直播场景提出基于内容理解的三方反馈范式。该范式将直播建模为异构、长时、多方互动、混合驱动的多模态信号流,通过内容理解驱动状态机决定是否输出、输出给谁以及输出类型,并支持沉默作为合法动作。技术设计涵盖Omni原生多模态信号、多轮SFT与RL、长程推理框架及训推一致性。
复旦大学可信具身智能研究院、Bytedance International Live Content AI团队与上海创智学院联合发布Live Assistant,面向真实直播场景提出基于内容理解的三方反馈范式。该范式将直播建模为异构、长时、多方互动、混合驱动的多模态信号流,通过内容理解驱动状态机决定是否输出、输出给谁以及输出类型,并支持沉默作为合法动作。技术设计涵盖Omni原生多模态信号、多轮SFT与RL、长程推理框架及训推一致性。
SynthePulse Insight · AI 深度解读会员精读
版本 1 · 1 个来源
复旦大学可信具身智能研究院、Bytedance International Live Content AI团队与上海创智学院联合发布Live Assistant,把“该不该说、说给谁、说什么类型”定义为模型的全部行动语法。这套三方反馈范式试图回答的,是直播场景里比“看见了什么”更难的问题。
现有视频大模型大多停留在“边看边解说”或“你问我答”的阶段,隐含了一个前提:模型的任务就是不停地说。团队认为,真实直播间里最难的可能不是“看见了什么”,而是知道什么时候该闭嘴、什么时候该记住、以及该把话说给谁。
这一判断指向一个更根本的问题定义:真实直播本质上是异构、长时、多方互动、混合驱动的多模态信号流,模型要建模的不是单次回答,而是直播过程中的持续状态决策。Live Assistant正是围绕这一命题展开。
团队把既有直播/在线视频理解工作的局限归纳为三道坎。第一,直播被简化成了“视频帧+文本”:很多工作仍把直播当作“图像帧+文本问题”,或者把音频先转成ASR文本再输入模型。团队认为,主播语气、背景音、弹幕密度、礼物事件、在线人数变化、房间meta信息和平台规则并不是附属信息,而是会共同改变模型判断的原生信号。
第二,反馈对象太单一:现有系统要么回答用户问题,要么给观众生成解说,但直播助手真正服务的是多方——观众需要解释和recap,主播需要评论区问题、节奏变化和关键事件提醒,平台/审核侧需要风险线索和待复核片段。
第三,“不说话”没有被当成一个动作:很多在线模型仍由用户问题或固定时间片驱动,到一个片段就输出一段话。但在真实直播里,沉默本身就是一个重要且合法的动作,模型必须基于内容理解判断当前是继续观察、写入记忆,还是在关键事件、高光、评论爆发、节奏异常或安全风险出现时主动反馈。
本文事实基础来自量子位对Live Assistant的报道,该报道属投稿性质,核心信息由项目团队提供。联合发布方、三方反馈范式定义、六层技术设计、多轮SFT与RL机制、两级记忆与训推一致性设计等,均属团队自述的source_claim,未经第三方独立验证。base模型指标为0、递进式训练带来稳定提升等结论缺少具体数值与可复现评测,应视为团队声明而非已确认事实。
主报道
主报道来源