1.本文创新点:
提出了一个CNN,可以同时估计光流和视频中模糊的隐藏帧
为了更好的研究连续帧的特性,在CNN模型中开发了一种时间清晰度。
2.算法介绍:
该算法包含optical flow estimation module, latent image restoration module, temporal sharpness piror.
optical flow estimation module为latent image restoration module提供运动信息,而latent frame restoration module又进一步优化了optical flow estimation module,让它更准确。temporal sharpness prior可以从邻域的帧探索出sharpness pixels,从而更好的进行帧的恢复。所有模型在统一的框架里以端到端的方式统一训练。
optical flow estimation通过PWC-Net进行计算。
Latent frame restoration module用差分模型重建latent frame,用一个deep CNN模型重建latent frame Ii
用双线性插值计算wraped frames。
temporal sharpness prior module:定义评分标准:
如果接近1,则像素越清晰,用S来帮助深度神经网络区分一个像素是否清晰,并且帮助latent frame恢复。为了增强S的鲁棒性,定义了D:
定义latent frame 重建: