返回信息流
新闻事件
量子位
1 个来源

魔搭开源动态检索新框架Sirchmunk,无需预构建向量索引

ModelScope团队推出Sirchmunk框架,采用免索引的即时检索方式,直接在动态原始文件中定位并核验证据,无需预先构建向量索引。该框架通过LENS算法在预算约束下探索隐式证据空间,并将验证过的查询结果沉淀为可复用知识单元,实现知识库自进化。

SynthePulse Insight · AI 深度解读会员精读

不预建索引的检索:Sirchmunk 想解决的是索引维护成本,还是知识过期?

版本 1 · 1 个来源

ModelScope 团队推出的 Sirchmunk 把检索起点从“已建好的索引”挪回“当前原始文件”,用 LENS 算法在查询发生时定位并核验证据,再把验证过的结果沉淀为可复用知识单元。它真正针对的痛点,是静态知识库在时间敏感场景下的迅速过期,以及传统 RAG 在数据持续变化时的同步负担。但来源为团队自述,效果缺乏量化评测。

  • Sirchmunk 是 ModelScope 团队推出的免索引动态检索框架,核心算法为 LENS(隐式证据导航与检索)。
  • 它不要求整库预先完成 indexing,问题到来后直接在当前动态原始文件里定位并核验证据。
  • 最直接的收益是缩短 Time-to-First-Query:文件进入目录后不必等待一轮全量加工即可被查询。
展开章节目录被绕开的前提:知识是稳定的

被绕开的前提:知识是稳定的

静态知识库范式隐含一个前提——知识是稳定的。来源指出,一旦问题涉及复杂上下文或时间敏感场景,静态知识库会迅速过期:昨天正确的答案,今天就可能变成幻觉。这是 Sirchmunk 试图回应的起点,也是理解其设计取舍的关键。

传统 RAG 的流程是解析文档、切分文本、计算 embedding、写入向量库,查询时用问题召回 top-k 片段。语料稳定时这条路线成熟高效,问题出现在数据持续变化时:每新增、修改或删除一个文件,系统都要同步重新解析文档、更新 chunk、删除旧向量,并保证索引与原始文件同版本;更严重的是,embedding 模型升级时全部历史索引都需要重建。

于是索引从服务检索的组件,变成一条需要长期维护的数据管线。Sirchmunk 换了一种方式:把当前动态原始文件直接作为起点,查询发生时再去搜索、读取、核验,把算力集中在最可能包含答案的热点区域。最直接的收益是缩短 Time-to-First-Query——文件进入目录后,不必等待一轮全量加工就能被查询。

LENS 的五个动作与两层结构

Sirchmunk 的核心算法叫 LENS,全称 Latent Evidence Navigation and Search,即“隐式证据导航与检索”。其算法架构可归纳为五个动作:接收问题和当前时刻的原始文档;用关键词、路径结构、摘要和历史经验形成低成本先验;在预算内反复提出候选、读取原文、更新判断;合并证据,生成带来源的答案;把成功经验保存为可复用知识,反馈给未来的查询。

所谓“隐式证据空间”,指文档中所有可能作为证据的连续片段共同构成的搜索空间。LENS 把文档中任意连续片段(d,s,e)视为潜在证据窗口,不预先固定切分方式,由系统在问题到来后决定读取哪一段、边界向外扩展到什么位置。来源举的例子是一份 500 页维修手册,用户问“故障码 E217 为什么会在低温启动时触发”,答案可能分散在故障码说明、低温限制和启动流程三处,预先切好的固定 chunk 未必正好覆盖。

LENS 对每个事实需求追求“最小充分”的证据窗口:目标不是最短,而是尽量紧凑又不丢失上下文,以降低噪声并便于回到原文核验。检索同时受成本约束,包括搜索与读取文件成本、模型判断与工具循环成本、上下文 token 成本,B 为本次查询的总预算。问题因此转化为:在预算内,为每个必要事实定位到足够可靠的证据。

结构上 LENS 分两层。第一层用关键词命中、目录结构、文档摘要、层级索引或历史证据等多路低成本信号建立可能性地图;第二层按 Propose→Observe→Update 闭环,根据新读到的证据调整下一步动作。来源强调,树索引、摘要索引和目录清单只是可选的加速器,缺失或过期时搜索仍可回到原始文件。

停止条件同时看证据与预算:证据达到问题类型要求的充分程度时停止;预算耗尽时也必须停止,并保留不确定性,而不是强行给出一个看似完整的答案。不同问题的门槛不同,明确的事实查找可以相对宽松,日期比较、数值计算和多跳问题更严格。

限时免费

继续阅读完整分析

还有 4 节深入分析和完整结论

加载中

可信度边界

本文全部事实来自 ModelScope 团队投稿量子位的一篇稿件,属第一方自述,缺乏第三方独立验证。Sirchmunk 与 LENS 的检索效果、准确率或延迟改善幅度,来源未给出任何量化评测数据;SQuAD 回放为加快演示调低了多项触发阈值,其表现能否代表默认配置尚不明确;Meta Cluster 的有效性仅基于一次回放视频的观察。文中对设计动机与取舍的分析属基于来源的推断,不代表已验证结论。

主报道

量子位

主报道来源