Michal Ries等人在论文《Content Based Video Quality Estimation for H.264/AVC Video Streaming》中,描述了一种基于视频内容的视频质量评价方法。有一定的参考价值,在此记录一下。
该质量评价方法的特别之处在于,根据视频内容的复杂程度将视频分成了几类,每种类别分别使用不同的模型系数。而一般的视频质量评价方法通常只有一个模型以及一套固定的系数。
该论文将视频序列分为5类,以下是其中几类的截图(少了一类)
五类包括:
news(新闻):仅有一小块感兴趣区域在运动(比如人脸,一般占视频画面的15%),背景是静止的。
soccer(足球):包含大面积统一方向的运动。镜头通常会在一个统一颜色的背景下(绿色)跟踪一个快速运动的物体(足球)。
cartoon(卡通):主题在运动,背景是绝对静止的(没有自然特性)。
panorama(全景画):包含大面积统一方向的运动,运动方向是一致的。
rest(其他):除以上几种之外的视频都属于这一类。通常包含大量杂乱的运动,或者有很多镜头切换。
对视频内容进行分类的Content classifier(内容分类器)设计如下图所示:
下图统计了五种类别的视频中,统一运动所占的百分比以及零运动矢量百分比的经验累积分布函数。
注:ECDF全称empirical cumulative distribution functions,经验累积分布函数。
对Content classifier(内容分类器)进行测试的结果如下表所示。False detection反映的是对视频进行了错误的分类的百分率。就是视频本身属于其他类,却分到了这一类。Good match反映的是对视频进行了正确的分类的百分率。
由表可见,内容分类器基本上是比较准确的。
测试序列的设置如下表所示。测试序列时长为10秒,分辨率为SIF,编码为H.264 baseline profile 1b。下表所示一共有36种组合。
测试使用的设备如下图所示,是一个PDA。
下图是视频质量评价系统的设计。
实验结果数据分析方面,用到了principal component analysis(PCA,主成分分析)
注:主成分分析作用是:将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法。又称主分量分析。
PCA分析结果如下图所示。
注:BR代表码率。FR代表帧率。
最终给出的视频客观质量评价模型的形式如下:
最终给出的视频客观质量评价模型如下式所示:
注:BR代表码率。FR代表帧率。
并且给出了五种不同的内容相应的系数:
下表所示是对该模型性能的验证。
r代表的是皮尔逊相关系数(Pearson correlation coefficient)
r'代表的是Spearman相关系数(Spearmank correlation factor)
该模型预测的视频质量和实际主观视频质量之间的关系如下图所示: