描述

Relations between digital images and continuous-domain images

如上图所示,作者假设真实世界中的图像信号是连续的(continuous),而我们拍的照片只是这个连续空间的一个采样而已,作者认为采样的过程如下

  1. 连续的图像信号经过相机的点扩散函数(point spread function,PSF,其实就像一个 Gaussian filter)变得稍微 blur;
  2. 以某个分辨率对其进行采样。

光有这个假设还不够,作者又假设了一个更绝的:一张自然的图像(natural image)内部的 patch 里面带有 inherent recurrence property,这些属性可以帮助我们预测该照片经过的 PSF 操作,并以此来做图像超分。原话是这么说的

This is done by exploiting the inherent recurrence property of small natural image patches (either internally within the same image, or externally in a collection of other natural images). In particular, we show that recurrence of small patches across scales of the low-res image (which forms the basis for single-image SR), can also be used for estimating the optimal blur kernel. This leads to significant improvement in SR results.

厉害了,以下是算法示意图。

Kernel estimation

具体步骤如下:

  1. 初始化一个 blur 核 $k$;
  2. 用 $k$ 对图像 $l$ 进行 blur,再下采样 $\alpha$ 倍,得到图像 $l^\alpha$;
  3. 取图像 $l$ 的所有某个大小的 patch 为集合 $S$,取图像 $l^\alpha$ 的所有同样大小的 patch 为集合 $S^\alpha$;
  4. 用最近邻算法(nearest neighbors)分别在 $S$、$S^\alpha$ 中各选出一个 patch,使得他们的差异最小,记为 $q$、$r^\alpha$;
  5. 找到 $l^\alpha$ 中的 $r^\alpha$ 在 $l$ 中对应的高分辨率的 patch $r$;
  6. 假定 $q$ 就是 $r$ 下采样的结果,利用最小二乘法求解 blur 核的值,赋给 $k$;
  7. 重复第 2~6 步,直到收敛。

参考