前OpenAI CTO穆拉蒂的Thinking Machines发布Inkling模型，9750亿参数领先美国但落后中国

Inkling由Thinking Machines发布，总参数975B，活跃参数41B，采用Mixture-of-Experts（MoE）架构，包含256个专家。模型在45万亿tokens上训练，涵盖文本、图像、音频和视频数据。这是首个原生支持图像、文本和音频输入的开源大模型，上下文窗口达到1M tokens。

模型规模庞大：BF16完整检查点需要2TB VRAM，NVFP4量化版本需要600GB VRAM。NVFP4版本经过良好校准，可在Blackwell GPU上运行。

Inkling采用相对注意力（Relative Attention）替代常见的RoPE位置编码。每个注意力层学习一个额外的相对特征R投影，该投影根据查询与键之间的距离进行调整，并注入注意力模块。这种设计使模型直接学习位置信息。

模型使用混合注意力（Hybrid Attention）：解码器层以5:1的比例交替使用滑动窗口注意力（固定上下文窗口）和全局注意力（完整上下文长度）。最后一层使用全局注意力以生成丰富的特征表示。此外，模型在隐藏状态上应用短1D卷积（SConv），读取当前token和前W-1个隐藏状态，帮助处理局部依赖，释放注意力与MoE模块的局部表示负担。

Inkling的MoE路由同时评分路由专家和共享专家。Top-k选择从6个路由专家中选取，此外还有2个共享专家始终激活。这种设计结合了稀疏激活的效率与共享专家的稳定性。

Inkling的多模态输入处理采用简单模块，而非独立编码器。图像通过层次化MLP patchifier处理：多个线性层逐步合并像素，最终每个patch生成一个嵌入。音频输入通过离散化mel频谱图：每100ms的音频块转换为mel尺度，然后分类到精确的mel频谱图bin中。图像输入还包含额外的时间维度以支持视频处理，但官方未评估开箱即用的视频性能。

这种设计使模型能够原生处理任意模态组合，无需外部编码器，便于微调适应下游任务。

Inkling发布即获得transformers 5.14.0的any-to-any pipeline支持，以及SGLang、vLLM和llama.cpp的兼容。用户可通过Hugging Face的serverless推理路由或本地ggml量化部署。

推理时支持reasoning_effort参数，提供'none'、'minimal'、'low'、'medium'、'high'、'xhigh'和'max'七级选项，允许用户根据任务需求调整推理深度。模型还包含推测性MTP（Multi-Token Prediction）层以加速推理。

Inkling作为首个原生多模态开源大模型，填补了开源社区在统一多模态理解方面的空白。其简单多模态塔设计降低了微调门槛，而MoE架构使推理相对高效（41B活跃参数）。然而，模型规模导致部署成本极高：BF16版本需要2TB VRAM，即使量化版本也需要600GB VRAM，限制了社区广泛使用。

此外，模型在视频处理方面的能力未经官方评估，音频处理依赖离散化mel频谱图，可能在高保真音频任务中存在信息损失。相对注意力和短卷积等创新架构的实际效果有待社区进一步验证。