Burst photography for high dynamic range and low-light imaging on mobile cameras 论文笔记
@(sinbad)[360sinbad@gmail.com]
论文简介
HDRPlus 是2016年google出的一篇论文，号称当年应用在Google Pixel2上的超级夜景模式。特点是采用多帧短曝光合成，有利于更加鲁棒的配准，同时曝光设定的足够低，从而避免高光区域过曝；直接在raw图上处理，减少信息损失；以及新的融合方法对运动和噪声更加鲁棒。在2021年，Pixel5上，HDR+进一步优化，通过融合以不同曝光时间拍摄的图像来提高图像质量（特别是光影部分），从而产生更自然的色彩、更丰富的细节和纹理，并降低噪声。
应用场景：高动态范围（HDR）场景中（如下图）的阴影部分噪声较大，这是因为所有拍摄的图像都曝光不足。
原因是因为连拍中的噪声，一种叫散粒噪声（shot noise），仅取决于拍摄时获得的总进光量，理想情况下连续拍摄可以达到和长时间曝光一样的效果。遗憾的是，在拍摄每一帧时，传感器会引入第二种噪声：读出噪声（read noise）。读出噪声与拍摄时的进光量无关，而是取决于所拍摄的帧数，也就是每拍摄一帧都会额外增加固定量的读出吱声。这就是为什么用连拍方法来减少总噪声不如简单地长时间曝光来得有效，所以作者推荐使用包围式曝光使得算法兼具高光保护和降噪功能的情况下，同时拍摄短曝光帧和长曝光帧。所以作者利用ZSL技术，在按下快门后增加了一帧长曝光帧的拍摄。
整合多帧算法work flow
按照这个思路，我们可以整理出多帧算法大致pipeline如下.
