InfoQ
1 个来源openJiuwen 发布 WorkSwarm 全双工多模态能力，支持边聊边办事
openJiuwen 开源 AI Agent 平台推出 WorkSwarm 办公编码统一工作台的全双工多模态能力，用户可在 Agent 播报时随时插话、切换任务，并将实时音视频交互与后台 Core Agent 执行接入同一任务。该能力已在 Windows、Mac、HarmonyOS 等系统提供一键安装包，强调昇腾算力原生亲和。
返回信息流
新闻事件
SynthePulse Insight · AI 深度解读
当 AI 学会边聊边干活：WorkSwarm 全双工多模态想解决什么
版本 1 · 1 个来源
openJiuwen 发布 WorkSwarm 办公编码统一工作台的全双工多模态能力，把实时音视频对话与后台 Core Agent 工具执行拆成两条并行路径。它真正要回答的问题不是“AI 能不能边听边说”，而是当复杂任务还在后台跑时，用户的新问题能不能随时插进来。
- openJiuwen 发布 WorkSwarm 办公编码统一工作台的全双工多模态能力，官方提供 Windows、Mac、HarmonyOS 一键安装包。
- 全双工指 AI 边听边说，用户可随时打断、补充，对话不再严格按“你说完—我再说”的回合推进。
- WorkSwarm 用实时模型与 Core Agent 两条路径分工：前者看画面、听要求、及时回应，后者拆解任务、调用工具、推进后续工作。
- 音视频连接与工具任务分别管理，即使关闭全双工音视频，已提交给 Core Agent 的任务仍可继续执行。
- 目前支持 JoyAI 协议和 Qwen Omni 协议，可在设置中切换模型通道；JoyAI 由 ASR、LLM、TTS 三种模型拼接。
- 来源未给出延迟、打断响应时间、并发任务数等性能指标，也缺少独立第三方验证。
展开章节目录一个被反复回避的问题：任务在跑，人还能不能插话
一个被反复回避的问题：任务在跑，人还能不能插话
查资料、做分析都需要时间，但用户的新问题随时会来。工具任务运行时，AI 还能不能继续接话？这是 WorkSwarm 全双工多模态能力试图回答的核心问题。
要理解这件事，先要理解“全双工”。从用户视角看，传统语音助手更像对讲机：用户说完一段，AI 才能接话；AI 说话时用户插话，往往会被打断或忽略。全双工则类似于打电话：AI 可以边听、边说，用户能随时打断、补充，对话不再严格按“你说完—我再说”的回合推进。对用户最直接的变化不是多了一个技术名词，而是等待感被压缩。
openJiuwen 是由华为 2012 实验室、华为云、终端、计算、算力先遣队等团队联合高校、企业及开发者共同构建的开源 AI Agent 平台，WorkSwarm 即为其开源的办公编码统一工作台。它把实时音视频交互与 Core Agent 执行接入同一个任务：用户可以展示眼前画面、随时插话，也可以把需要进一步处理的工作交给后台 Core Agent。
插话不是打断，而是把新要求接进同一个任务
人和人交流，很少严格遵守“一方说完，另一方再开口”。看到新画面、发现理解偏了，或者只想先听重点，用户都会直接补上一句。在 WorkSwarm 播报时，用户可以说“先别介绍背景，直接说结论”。
系统检测到新的有效人声后，会停止当前播报，开始处理新指令；已经生成的文字仍保留在任务记录里。语音活动检测与噪声门限被用来降低背景声造成的误打断。来源中的视频演示显示，让 Agent 先朗读《岳阳楼记》，在过程中直接语音说朗读《兰亭集序》，可以自然快速切换。
这里有一个容易被忽略的边界：插话改变的是当前对话。已经交给 Core Agent 的工具任务有独立的运行状态，要取消它，得单独去任务控制里手动停止。用户说话时，系统要同时处理两个层面的事：对话层接住新要求，任务层管好已经跑起来的工作。
两条路径：实时模型管对话，Core Agent 管干活
一个看图问题，很容易变成需要搜索、分析和文件生成的任务。用户问“这是什么品牌”，之后可能补上一句“查一下它的资料，整理成一份文档”。而资料还没查完，用户的新问题可能已经来了。
WorkSwarm 用两条路径接住这两种节奏：实时模型负责看画面、听要求、及时回应；Core Agent 负责拆解任务、调用工具，把后续工作推进下去。搜索在后台运行，对话在前台继续。用户仍能追问眼前的画面，也能随时打断播报、补充要求。
当任务进入 Core Agent，页面会持续呈现任务状态、工具调用记录、执行结果和文件产物。用户看到的不再只是一个旋转的“加载中”，而是事情正在怎样向前推进。来源中的演示显示，下发一个通过工具调用阅读算法 Word 文档的任务后，右上角任务队列可以看到任务正在运行，同时用户仍能正常和 Agent 聊天。
任务完成后不会打断正在进行的聊天，而是先在文本框中输出总结信息，待这一轮对话结束后才汇报工作完成，并提取重要信息而非全部语音输出。
任务队列与音视频解耦：让“边聊边办”有可追踪的执行过程
前一个搜索还没结束，用户又交代了第二件事，怎么办？WorkSwarm 的全双工任务队列为后续要求安排了等待位置。用户可以调整顺序，把某项任务设为下一项，也可以停止等待中或正在执行的任务。对话持续进行时，哪些事在做、哪些还没开始，都有明确状态。
音视频连接与工具任务也分别管理。即使关闭全双工音视频，已经提交给 Core Agent 的任务仍可继续执行。完成后的文字、工具结果和文件，会回到原来的对话中。例如，通过镜头发起品牌查询后，用户可以结束音视频交互，稍后再回来查看资料。
这套设计的实际意义在于：工具任务可以排队、调整和停止；音视频连接与后台任务不再被简单绑定。现场交代的工作，由此有了可追踪的执行过程。
怎么用：安装包、模型通道与昇腾部署路径
openJiuwen 提供了 Windows、Mac、HarmonyOS 等系统的一键安装包，进入官网下载安装即可体验。模型和语音通道可以在设置中配置。
目前支持 JoyAI 协议和 Qwen Omni 协议，可以点击模型通道去切换。Qwen Omni realtime websocket 可以填官网 base_url 或者本地部署地址；JoyAI 是 ASR、LLM、TTS 三种模型拼接，支持三种都使用官方 API，或者其他平台的 ASR 和 TTS 模型。
此外，还支持基于华为云 ModelArts 平台、基于 vLLM-Omni 推理框架，在昇腾系列 NPU 部署全双工多模态模型，对接 WorkSwarm 多模态全双工能力。
需要打问号的地方
本文内容主要来自 openJiuwen 一方，缺少独立第三方验证。来源中的演示为作者自述视频演示，未提供可复现的公开测试数据。
全双工多模态能力的具体性能指标，如延迟、打断响应时间、并发任务数，在来源中未给出。任务队列可同时容纳的等待任务数量上限、关闭音视频后后台任务继续执行的具体时长与资源占用情况，来源也未说明。
昇腾 NPU 部署路径依赖华为云 ModelArts 与 vLLM-Omni 推理框架，来源未说明具体硬件型号与部署门槛，也未给出昇腾算力“原生亲和”的量化说明。模型通道支持 JoyAI 与 Qwen Omni 两种协议，来源未说明其他协议或模型的兼容范围。来源未披露 WorkSwarm 的版本号、发布时间线或后续迭代计划。
来源提及 Gemini Live 更新将后台工具调用放入实时交互，但未说明与 WorkSwarm 的对比结论或差异细节。openJiuwen 平台由华为多团队“联合高校、企业及开发者”构建的具体参与方与治理结构，来源也未详细说明。
可信度边界
本文基于 InfoQ 发布的产品发布类稿件，内容主要来自 openJiuwen 一方，缺少独立第三方验证。文中演示为作者自述视频演示，未提供可复现的公开测试数据。全双工多模态能力的具体性能指标、任务队列容量上限、昇腾部署门槛、版本号与迭代计划等，来源均未披露。
核心结论
WorkSwarm 全双工多模态能力的意义，不只是让 AI 能“边听边说”，而是让实时对话与 Core Agent 的后台执行真正并行：用户在前台像聊天一样随时打断、追问、补充，复杂任务在后台按自己的节奏继续查资料、调工具、做分析。这种“对话不中断、任务不停跑”的体验已经走出演示，开始成为可用的协作方式。但性能指标与独立验证的缺失，意味着它离“像同事一样边聊边办”的稳定体验还有待观察。
主报道
InfoQ
主报道来源