信息驱动成像系统设计

许多成像系统的测量结果人类无法直接解读，例如智能手机的原始传感器数据、MRI 的频域测量、自动驾驶的相机和 LiDAR 数据。这些系统依赖算法提取信息，但传统评价指标如分辨率和信噪比只评估单个质量方面，难以比较不同系统间的权衡。

常见的替代方案是训练神经网络进行重建或分类，但这混淆了硬件质量和算法质量。BAIR 团队提出的框架直接从测量中估计信息内容，实现客观、统一的评价，无需主观视觉评估或部署时不可用的地面真值。

互信息 I(X;Y) 分解为 H(Y) - H(Y|X)，其中 H(Y) 是测量总变异性，H(Y|X) 是仅由噪声引起的变异性。成像系统的噪声物理特性已知（光子散粒噪声服从泊松分布，电子读出噪声为高斯分布），因此可以直接计算 H(Y|X)，只需从数据中学习 H(Y)。

团队测试了三种模型：平稳高斯过程（最快）、全高斯（中等）、自回归 PixelCNN（最准确）。该方法提供真实信息的上界，建模误差只会高估，不会低估。

在彩色摄影中，信息估计正确排序了拜耳模式、随机排列和学习排列三种滤色器设计的重建质量，与神经网络去马赛克结果一致，无需重建算法。在射电天文领域，信息估计预测了不同望远镜配置的重建质量，使选址无需昂贵的图像重建。

在无透镜成像中，信息估计预测了镜头、微透镜阵列和扩散器在不同噪声水平下的重建精度。在显微镜领域，信息估计与预测蛋白质表达的神经网络准确性相关，避免了昂贵的蛋白质标记实验。所有案例中，更高信息对应更好的下游性能。

IDEAL 方法通过信息估计的梯度上升优化成像参数，避免了端到端优化中通过整个解码器反向传播带来的内存和优化困难。在彩色滤色器设计测试中，从随机排列开始，IDEAL 逐步改进设计，最终在信息内容和重建质量上匹配端到端优化。

IDEAL 的计算效率使得设计以前难以处理的成像系统成为可能，并可能扩展到其他感知领域，只要系统可建模为确定性编码加已知噪声。