Thinky发布975B多模态开源模型

Thinky 于 2026 年 7 月 16 日发布 Inkling，这是其首个完整的大型语言模型。Inkling 是一个混合专家（MoE）Transformer，总参数 975B，每令牌激活参数 41B。模型采用 Apache 2.0 开源许可，支持文本、图像和音频输入，上下文窗口高达 1M 令牌。同时发布的 Inkling-Small 预览版总参数 276B，激活参数 12B，采用类似训练配方。

训练数据量为 45T 令牌（部分来源称 48T），涵盖文本、图像、音频和视频。模型从零开始训练，预训练始于去年冬天，1 月中旬起由小团队构建编码、推理和智能体训练。

Inkling 的架构包含多项独特设计：混合注意力机制采用 5:1 的局部-全局层比，局部窗口大小为 512；使用相对位置编码/相对注意力偏置替代 RoPE，被多位评论者称为大规模模型中最新颖的选择之一；在注意力/FFN 流周围添加短卷积层，其规模异乎寻常。

MoE 部分使用 2 个共享专家（而非常见的 1 个），并采用 DeepSeek 风格的无辅助损失负载均衡。优化方面，使用了 muP 和 MuonC/AdamC（修正权重衰减方法），并配备 8 个 MTP 头用于推测解码。这些细节来自社区对发布材料的技术解读。

Inkling 在 Artificial Analysis 智能指数上获得 41 分，成为美国开源模型领先者，超越 Nemotron 3 Ultra（38）、Gemma 4 31B（29）和 gpt-oss-120b（24）。但评论指出，它仍落后于中国开源模型 GLM-5.2（智能体基准）和 Kimi K2.6（多模态）。Design Arena 将 Inkling 列入智能体 Web 应用竞技场第 9 名（Elo 1257），与 Claude Opus 4.6 和 Gemini 3.5 Flash 同档，是美国开源模型中智能体工作负载排名最高的。

具体基准方面，GDPval-AA v2 Elo 1238，高于 Kimi K2.6（1190）和 DeepSeek v4 Flash max（1189）；τ³-Banking 24%，高于 Kimi K2.6（21%）和 DeepSeek v4 Flash max（23%）。用户反馈称其推理“简洁清晰”，工具调用能力强，长程错误率低。但需注意，这些基准数据来自第三方机构，并非 Thinky 官方发布。

Inkling 发布首日即获得异常广泛的生态支持，包括 vLLM、SGLang、Modal、Baseten、Databricks、Hugging Face 以及量化社区工具。Thinky 同时提供 Tinker 平台和 Playground 支持即时微调。API 上下文长度为 256K，定价区分 64K 和 256K 上下文。

Thinky 团队强调这是“第一天发布”和未来迭代的基础，而非最终前沿推进。Mira Murati 称其为公司“第一个模型”，Soumith Chintala 强调开源权重和原生多模态。这种务实定位与追求 SOTA 的模型形成对比。