Resfusion，NeurIPS 2024提出的图像恢复新框架是什么？

海报

最近我们在NeurIPS 2024上有一项新工作，简单介绍一下。

项目地址：GitHub - nkicsl/Resfusion NeurIPS 2024 发表的 Resfusion 项目，提出了一种基于先验残差噪声的去噪扩散概率模型，用于图像修复。该方法通过结合残差噪声信息，显著提升了图像恢复的质量和效率。代码及资源已在 GitHub 上开源，研究者和开发者可以借此探索扩散模型在图像处理领域的更多可能性。欢迎访问项目页面，了解详细技术内容并参与讨论。海报地址：https://neurips.cc/virtual/2024/poster/95696，欢迎访问查看详细内容。

我们提出了Resfusion，一个通用框架，通过在扩散前向过程融入残差项，从噪声退化图像直接开始反向采样。

需要解决的问题传统基于扩散的图像恢复方法以退化图像为条件输入，引导反向采样过程，同时保持原始去噪机制不变。但由于退化图像已包含低频信息，从高斯白噪声开始采样会增加冗余步骤。为此，部分研究（如RDDM）尝试直接从退化图像或加噪图像生成清晰图像。然而，这些方法仍存在一些局限性，例如对复杂退化类型的适应性不足、生成质量受限以及模型泛化能力较弱等问题，难以在多样化的应用场景中取得理想效果。我们在做什么事情我们提出了一种通用框架Resfusion，通过在扩散前向过程中融入残差项，从退化图像直接开始反向采样。该采样流程与DDPM保持一致。我们引入了加权剩余噪声（resnoise）作为预测目标，明确建立了残差项与噪声项之间的权重关系。借助平滑等价变换，Resfusion能够确定最优加速步骤，同时保留现有噪声计划的完整性，从而统一训练与推理过程。实验结果表明，Resfusion仅需五个采样步骤即可展现竞争力，并适用于图像生成任务，展现出强大的通用性和可推广性。这一方法为高效图像生成提供了新思路。

若在前向过程中引入残差项R，由于反向过程起点包含未知的R，它属于后验分布。我们要找到与其等价的先验分布，这可视为两者的一个交点，是分布间的关联之处。

该算法与DDPM基本一致，仅预测目标改为resnoise。

画面感