Noisegate：面向不可信AI代理的差分隐私网关

Noisegate的出发点是一个现实困境：我们希望AI代理能够查询敏感数据集（如医疗记录、人口普查数据），但代理本身可能被操纵或存在错误。传统的做法是依赖LLM的“可信性”，但Noisegate的设计者认为，隐私保证不应依赖于LLM是否可信。

项目的核心思路是信任边界下移：LLM仅作为便利工具，负责将自然语言问题编译为结构化查询；所有隐私强制由下游的、经过充分测试的组件执行——即使查询是由人类手动输入的，这些组件的行为也不会改变。这种“信任边界纪律”将AI代理视为不可信输入，与生产系统中处理任何不可信输入的方式一致。

Noisegate最引人注目的特点是其“攻击画廊”：项目直接包含了三种经典隐私攻击的可运行实现，并针对自身引擎进行测试。差分攻击通过两个仅相差一个个体的聚合查询来隔离个人记录；成员推断攻击判断特定个体是否在数据集中；重识别攻击则试图从聚合结果中重新识别个体。

每种攻击都在隐私关闭时成功（例如，差分攻击精确恢复目标个体的薪资），在隐私开启时被击败。这些测试被集成到CI中，确保防御不会“悄悄腐烂”。这种设计将隐私声明从“声称”转变为可重复验证的工程事实。

Noisegate的噪声机制经过独立验证：与差分隐私参考实现OpenDP在35个噪声尺度检查中一致，误差小于1e-9；50万样本的分布测试通过，且包含阳性对照（证明测试本身能够检测到偏差）。这确保了数学基础的可靠性。

在效用方面，项目采用混合zCDP（零集中差分隐私）组合会计，在相同隐私预算下允许308次查询，而朴素会计仅允许100次——效用提升3倍。这意味着在同样的隐私保护水平下，用户可以提出更多问题。

信任边界被刻意保持小而确定：LLM提出查询，一个“枯燥但经过充分测试”的验证层执行所有强制。模型输出无法扩大自身权限。技术栈包括DuckDB（嵌入式数据库）、FastAPI（API框架）、Streamlit（演示界面）和MCP SDK（模型上下文协议），CI中运行超过250个测试。

项目提供了一个Claude Desktop会话记录作为演示：AI代理按诊断对20名患者进行分组，±12的噪声淹没了每个桶；当代理试图关闭噪声时，预算耗尽，网关返回拒绝而非更安静的答案。在32,561行的人口普查数据上，过窄的切片在信任边界被拒绝，而完整的教育程度细分则在规模上返回干净结果。

用户可以通过MCP服务器从Claude Desktop直接使用Noisegate。项目还提供了Docker Compose配置，方便快速部署评估。README建议：先观看GIF演示，然后浏览攻击画廊；深度审查可阅读DESIGN.md。