上海AI Lab与上交大提出NCP预训练任务，开源首个8.9B隐空间大模型

上海人工智能实验室与上海交通大学LUMIA Lab联合发布技术报告，提出"下一个概念预测（NCP）"预训练任务，并开源全球首个8.9B规模离散隐空间基座模型NCP-ArchPreview。该模型在5.73T Dolma-3语料上仅消耗51.3%的Token预算即追平OLMo-3-7B的最终预训练Loss，等效收敛速度提升1.95倍，GSM8K推理提升近6个点。团队已开源全部训练Checkpoint、权重及评估代码，此举可能推动大模型预训练范式从Token预测向概念预测演进。