中科大与智象 HiDream.ai 提出 Hi-DiT 混合扩散新范式，论文被 ECCV 2026 接收

高分辨率图像生成长期存在两条路线：Latent-space diffusion 通过 VAE 把图像压缩到低维 Latent manifold，计算开销低、训练稳定，但压缩与解码会丢失部分高频信息，纹理、边界和局部细节的恢复存在上限；Pixel-space diffusion 绕开 VAE，直接在像素或 patchified Pixel tokens 上建模，理论上更利于保留细节，但原始像素分布维度高、熵大，模型要在同一次去噪中同时学全局语义与局部高频纹理，容易出现容量竞争、优化缓慢和训练不稳定。

Hi-DiT 的出发点是把这一矛盾重新表述为时间分配问题：扩散去噪并非每个时间步都同质，高噪声早期更偏向恢复低频结构与全局语义，低噪声后期才更需要合成边缘、纹理等高频细节。与其让同一模型全程同时承担两种目标，不如让 Latent 与 Pixel 在不同阶段各司其职。这一判断是论文的核心论证前提，属于研究团队的推理主张，而非已被独立验证的结论。

Hi-DiT 是一个统一的 Hybrid Latent-Pixel Diffusion Transformer，并非简单把 Latent tokens 与 Pixel tokens 从头拼到尾。模型整体运行在一个参数共享的 Transformer backbone 中，使 Latent 与 Pixel 表征能够交互，同时通过不同的输入投影和输出预测头承担不同目标。

早期高噪声阶段主要依赖 Latent Stream，以 VAE Latent 为输入，学习全局结构、物体布局和低频语义，提供稳定的 semantic scaffold；进入后期低噪声阶段后 Pixel Stream 被激活，直接接收与当前噪声水平一致的 Pixel tokens，与 Latent tokens 一起送入共享 Transformer，此时 Latent predictor 继续保证结构一致性，Pixel predictor 负责恢复锐利的高频细节。

两个关键设计服务于同一目标。Time-Gated Injection 通过门控 G(t) 控制 Pixel stream 何时参与；High-Frequency Pixel Predictor 则针对传统 Pixel diffusion 常用单层线性投影从 token 直接回归大尺寸 patch、回归难度高的问题，改用分层 sub-Pixel decoding：先通过卷积与 PixelShuffle 逐步上采样，再预测局部 sub-patch，以降低高维像素回归难度。

论文称在 ImageNet class-conditional generation、ImageNet 512 高分辨率生成和 MS-COCO text-to-image generation 上均取得有竞争力的结果，其中 ImageNet 256×256 在 CFG 设置下达到 1.06 FID，ImageNet 512×512 达到 1.26 gFID。定性结果显示，相比纯 Pixel-space baseline JiT，Hi-DiT 生成的图像更稳定、局部纹理和物体形状更清晰，文生图与输入 prompt 的语义对齐也更紧。这些均为论文自述结果，来源为量子位对投稿论文的报道，尚无第三方复现或独立评测。

消融在 80 epoch 快速验证设置下进行：仅使用 vanilla Pixel stream 且无 Latent input 时 FID 为 3.38，说明直接从 patchified Pixel tokens 优化原始图像分布难度很高；加入 Latent input 后 FID 降至 1.74，说明 Latent stream 提供了有效的语义支架；进一步使用 High-Frequency Pixel Predictor 后 FID 达到 1.65，验证了分层像素预测头对细节建模的帮助。

时间门控阈值 τ 同样关键。若 Pixel stream 打开太早（如 τ=0.7），模型会在高噪声阶段同时预测低频语义和高频细节，重新引入容量竞争；若打开太晚（如 τ=0.1），Pixel stream 参与不足，细节恢复不充分。同样训练 80 epoch 时，τ=0.3 取得最好结果，FID 1.65、IS 267.7。

论文强调 Hi-DiT 并非用大幅增加计算量换效果。相比 SiT 和 VA-VAE，训练与推理开销只小幅增加：每个 epoch 训练时间从 17.1/17.7 分钟增至 18.1 分钟，单图推理时间从 1.52/1.58 秒增至 1.67 秒，峰值显存 35.52G。论文据此认为，考虑到 FID 从 2.06/1.35 进一步提升到 1.06，这一额外开销换来的质量收益比较划算。

需要区分事实与判断：上述 FID、gFID、IS、时间与显存数字均出自论文自述，经量子位报道转述，属于 source_claim 层级；ECCV 2026 接收这一状态同样来自该报道。论文给出的方向性结论——不必在 Latent 与 Pixel 两条路线之间二选一，而可让不同表征在去噪轨迹的不同阶段发挥不同作用——是基于上述实验的推断，其普适性有待更多任务与独立复现检验。

可核验的入口是代码：论文给出 GitHub 仓库 HiDream-ai/Hi-DiT。在缺少第三方复现的情况下，读者宜把性能结论视为待验证的强主张，而非已确立的行业结论。