是石科技发布Meta-Infer引擎：PCIe显卡DeepSeek推理吞吐提升近7倍

是石科技（METASTONE）自研并推出Meta-Infer高效部署引擎，定位为面向异构加速芯片的企业级高性能大模型推理引擎，采用纯软件优化路线。其瞄准的对象是一类特定硬件：没有高速卡间互联、且不在主流开源框架官方验证矩阵内的长尾GPU，例如PCIe-Only显卡与部分国产GPU。

按来源描述，这类硬件并非“跑不起来”。开源框架能完成模型加载、权重下载与服务拉起，但算子会自动回退到低效通用实现，集合通信沿用面向NVLink硬件的调优参数，显存与并行配置沿用其他硬件的默认值。硬件本身没有缺陷，性能损失来自模型框架与硬件之间的适配鸿沟。

Meta-Infer的优化逻辑分为算模协同与通算重构两大阶段，最终沉淀为内核补齐、算子优化与通信重构、并行与容量调优、缓存复用四项核心能力。来源强调，全部优化收敛在引擎内部，全程无需改动模型权重与模型结构，也不改变原有业务任务语义——这意味着提升来自软件适配，而非算法或模型层面的改变。

最完整的一组数据来自DeepSeek-V4.1-Flash。在8张PCIe-Only显卡环境的社区Day0基线版本中，输入吞吐仅1932 tok/s。经过算模协同阶段的修复适配——补齐sparse-MLA Prefill快路径、替换FP8稠密GEMM慢内核、扩大PCIe-IPC通信快路径覆盖范围——吞吐提升至5850 tok/s。

随后进入通算重构阶段，手段包括注意力算子融合、裁剪投机解码草稿长度、计算通信重叠、区分Prefill/Decode并行策略、重新调校显存容量参数。输入吞吐从5850 tok/s进一步提升至13274 tok/s，整体实现6.87倍吞吐提升，并支持1M超长上下文。

值得注意的是，来源把第一阶段的提升定性为“不是创造全新算法，而是把硬件与框架本就具备、却被适配问题锁住的性能释放出来”。这一表述本身即是厂商对增益来源的解释，属于来源主张。

同样的思路复现在其他模型上：仅完成算模协同阶段，DeepSeek-V4-Flash、GLM5.3等多款模型即获得20%至33%不等的吞吐增益。这说明相当一部分损失确实发生在适配层，而非算力本身。