X射线断层扫描是一种强大的非破坏性成像技术，广泛应用于从材料科学到医学诊断的各个领域。然而，当投影图像的采集角度受限时，就会出现所谓的“缺失楔角”问题，导致重建图像中出现严重伪影和分辨率下降。这种问题在对集成电路（IC）或使用原位细胞进行成像时尤为突出，因为这些场景下的几何限制使得投影角度无法达到理想状态。
近日，美国布鲁克海文国家实验室的研究团队开发出一种名为PFITRE的新方法，它将深度学习与迭代重建算法相结合，通过优化物理和图像域的解决方案，实现了高质量的图像重建，相关成果已发表在npj Computational Materials上。
该方法不仅在实验数据集上表现出色，还在多种不同的X射线显微技术中验证了其有效性，为3D X射线成像技术的发展开辟了新的可能性。
X射线断层扫描是一种强大的非破坏性成像技术，广泛应用于从材料科学到医学诊断的各个领域。然而，当投影图像的采集角度受限时，就会出现所谓的“缺失楔角”问题，导致重建图像中出现严重伪影和分辨率下降。这种问题在对集成电路（IC）或使用原位细胞进行成像时尤为突出，因为这些场景下的几何限制使得投影角度无法达到理想状态。
近日，美国布鲁克海文国家实验室的研究团队开发出一种名为PFITRE的新方法，它将深度学习与迭代重建算法相结合，通过优化物理和图像域的解决方案，实现了高质量的图像重建，相关成果已发表在npj Computational Materials上。
该方法不仅在实验数据集上表现出色，还在多种不同的X射线显微技术中验证了其有效性，为3D X射线成像技术的发展开辟了新的可能性。
PFITRE的核心在于其独特的设计和训练方法。研究团队采用了基于U-net的卷积神经网络架构，并对其进行了改进，加入了残差密集块（RDB）和扩张卷积层，以增强网络的特征捕捉能力和多尺度信息融合能力。通过在合成数据集上训练，该网络能够学习到样本的特征以及与有限角度断层扫描相关的伪影和失真。
上图展示了“缺失楔角”问题的示意图、数据采集模式以及PFITRE方法的流程图。图中清晰地描绘了当投影角度不足180°时，反空间中未被采样的楔形区域，以及PFITRE如何通过结合ADMM算法和改进的U-net网络，逐步纠正和恢复受损的断层扫描重建图像。(图源：npj Comput. Mater.）
上图比较了不同网络架构在有限角度断层扫描中的伪影校正性能。图中展示了经过线性求解器重建后的图像（第一列），以及使用不同网络架构进行校正后的图像（第二至四列）和真实图像（最后一列）。可以看出，经过改进的U-net网络能够有效地恢复图像中的细节，尤其是在处理集成电路图像时，其效果远优于传统的U-net和CycleGAN架构。(图源：npj Comput. Mater.）
在迭代重建过程中，PFITRE利用交替方向乘子法（ADMM）将物理求解器和网络相结合，确保了重建图像的物理一致性和视觉效果。实验结果表明，PFITRE在处理有限角度数据时，无论是从定量指标（如L1距离、VGG损失、结构相似性指数SSIM和峰值信噪比PSNR）还是从定性视觉效果上，都显著优于传统的U-net架构和其他深度学习方法。此外，PFITRE还展示了对稀疏投影数据的泛化能力，即使在未专门针对这种情况进行训练的情况下，也能有效地提高重建质量。
上图展示了在包含有限角度伪影、噪声、错位和归一化问题的合成数据上，网络进行图像域校正的效果。图中对比了仅在有限角度伪影上训练的网络和在包含噪声数据集上训练的网络的输出结果。结果表明，经过噪声数据集训练的网络能够更好地处理实验数据中的复杂伪影，进一步证明了PFITRE方法的鲁棒性和泛化能力。(图源：npj Comput. Mater.）
上图展示了在有限角度条件下，使用不同方法对IC样本进行断层扫描重建的结果。图中比较了PFITRE方法与传统方法（如Gridrec、MLEM、FISTA）以及基于机器学习的GANrec方法的重建效果。PFITRE在所有情况下都显示出显著的优越性，即使在投影角度仅为84°的情况下，也能重建出接近真实图像的高质量图像。此外，图中还展示了3D体积渲染和沿厚度方向的横截面，进一步证明了PFITRE在处理有限角度数据时的有效性。(图源：npj Comput. Mater.）
上图展示了PFITRE在迭代过程中对IC样本的两层图像的逐步改进。可以看出随着迭代次数的增加，图像的质量逐渐提高，边缘更加清晰，细节更加丰富。此外，图中还展示了迭代过程中根均方误差（RMSE）的变化，表明在大约5次迭代后，重建结果趋于收敛，这为实际应用中确定所需的迭代次数提供了参考。(图源：npj Comput. Mater.）
上图比较了在不同投影角度分布下，使用PFITRE方法重建的平面IC样本的结果。图中展示了对称和非对称分布的投影角度对重建质量的影响。结果表明，当投影角度对称分布时，重建图像的质量更好，尤其是在投影角度较小时。这为实际应用中选择合适的投影角度分布提供了指导。(图源：npj Comput. Mater.）
上图展示了PFITRE在处理其他样本（如锂离子电池电极）和稀疏数据集时的泛化能力。图中比较了PFITRE与其他方法在不同投影角度和稀疏度水平下的重建结果。结果表明，即使在样本和模态未包含在训练数据集中的情况下，PFITRE仍然能够显著提高重建质量，证明了其在处理稀疏数据时的潜力和泛化能力。(图源：npj Comput. Mater.）
总结与展望 PFITRE不仅解决了“缺失楔角”问题，还提高了图像重建的稳定性和泛化能力，为X射线纳米断层扫描技术带来了新的希望。 这一技术的进步有望在多个领域产生深远影响，例如在材料科学中更精确地分析材料结构，在医学成像中更准确地诊断疾病。 未来，随着3D模型的进一步发展和训练数据集的多样化，PFITRE有望克服当前的局限性，如对特定伪影的处理能力，从而在更广泛的应用场景中发挥更大的作用。 这项研究不仅展示了AI在图像重建中的强大能力，也为未来相关领域的研究提供了新的思路和方法。
来源：人工智能化学与材料
