最新开源抠图技术，实时快速高分辨率，4k(30fps)、现代GPU（60fps）
公众号『我爱计算机视觉』关注算法，更关注思想的价值
#抠图#
Real-Time High-Resolution Background Matting
华盛顿大学学者提出一种实时的、高分辨率的背景替换技术，在4K分辨率下，该技术的运行速度为30fps，在现代GPU上，高清的运行速度为 60fps。技术是基于背景抠图，其中一帧额外的背景被捕获并用于恢复 alpha matte(前景蒙版)和前景层。
该技术主要的挑战是计算高质量的 alpha matte(前景蒙版)，保留 strand-level 头发细节，同时实时处理高分辨率图像。
为了实现这一目标，作者采用两个神经网络；一个基础网络计算一个低分辨率的结果，结果由第二个网络在高分辨率下对选定的补丁进行完善。还引入两个大规模的视频和图像抠图数据集：VideoMatte240K 和 PhotoMatte13K/85。
与先前最先进的抠图方法相比，该方法可以获得更高质量的结果，同时在速度和分辨率上都有显著提升。
作者称本项工作的目的是通过视频通话中的背景替换，实现创造性的应用，给用户提供更多的隐私选择。对于被用在不法之处，可以通过水印和其他安全技术来缓解。
authors | Shanchuan Lin, Andrey Ryabtsev, Soumyadip Sengupta, Brian Curless, Steve Seitz, Ira Kemelmacher-Shlizerman
units | 华盛顿大学
paper | Real-Time High-Resolution Background Matting
github | PeterL1n/BackgroundMattingV2
home | Real-Time High-Resolution Background Matting
Background Matting V2
我爱计算机视觉的视频
· 7 播放
发布于 3 小时前
图像处理
抠图Matting
实时快速高分辨率