h.264码率控制

h.264码率控制
h.264的码流传输是基于目前有限的网络带宽来进行的，以目前的压缩效率来说，运动不算剧烈、细节不多的影像，在720p的情况下，1000kbps压缩损耗较少（psnr较大），能达到比较好的观赏效果，1080p则需要2000kbps。当然，随着图像运动剧烈程度加大，细节增多的情况，则需要更大的bps来保证图像效果。

另外由于图像序列中，并非所有的图像都有相同的细节，因此应该在细节多的图像上分配更多的bit，而细节少的图像则分配更少的bit。同一道理，在一张图像上，可能某些位置的细节较多，那就应该在那里分配跟多的bit，否则分配更少的bit。

h.264的编码码率控制就是考虑到以上的这些情况，制定了码率控制标准。以下以JVT-H017r3为例，分析h.264码率控制模块。

码率控制三个阶段

如前面所说，h.264码率控制可以分为三个阶段：
1. GOP级码率控制
2. Picture级码率控制
3. Basic Unit级码率控制
GOP级的码率控制

h.264的码流控制是建立在存在虚拟参考解码器的基础上的，即希望通过码率控制做到：编码端编码出来的码流，在经过设定好的bps传输后，解码端解码播放时是同步的（不延迟），下面的outflow可以看做是传输到解码端。

可以通过上图加以理解，途中为某个GOP在某一时刻的编码状态，Not coded 为未编码图像，coded为已编码图像，图像编码后会以Bit Stream(码流)的形式输出到Virtual Buffer中，这里的Virtual Buffer 并不一定实际存在于实际编码器中，而是算法虚拟出来的缓存区，主要是维护码流的输入与输出，在缓冲区中的码流会以某一速率进行输出（outflow）。

1. Virtual Buffer

对于Virtual Buffer的大小，是可计算的

$\begin{aligned} V_{i} (1) = {\begin{matrix} 0 & i = 1 \\ V_{i - 1} (N_{i - 1}) & o t h e r \end{matrix} \\ V_{i} (j) = V_{i} (j - 1) + b_{i} (j - 1) - \frac{R_{i} (j - 1)}{f} j = 2, 3, . . ., N_{i} \end{aligned}$

$i$
- 如果是视频序列的第一帧，那么以编码数为 $0$
- 如果是其他GOP的第一帧，那么缓存区大小则为上一个GOP剩下来的大小。
- 在其他情况下，缓存区大小为上一帧的缓存区大小加上上一帧编码后码流大小，减去码流流出的大小。
2. Remain Picture Bit

对于当前GOP未编码的图像的bit大小，是未知的，因此需要进行预测

$B_{i} (j) = {\begin{matrix} \frac{R_{i} (j)}{f} \times N_{i} - V_{i} (j) & j = 1 \\ B_{i} (j - 1) + \frac{R_{i} (j) - R_{i} (j - 1)}{f} \times (N_{i} - j + 1) - b_{i} (j - 1) & j = 2, 3, . . ., N_{i} \end{matrix}$

在设定初始值的时候，请注意 $- V i (j)$

在其他情况下，预测值B收到上一帧的预测值影像，也收到带宽的变化影响，最后当然要减去上一帧编码所用的bit数。

在码率没有变化的情况下，会被简化成：

$B_{i} (j) = B_{i} (j - 1) - b_{i} (j - 1)$

3. 设定I帧QP

对于一个GOP，首当其冲是要设定好它第一帧（I、IDR）的QP，如果是视频序列的第一帧，也就是第一个GOP的第一帧：

$Q P_{1} (1) = {\begin{matrix} 40 & b p p ⩽ l_{1} \\ 30 & l_{1} < b p p ⩽ l_{2} \\ 20 & l_{2} < b p p ⩽ l_{3} \\ 10 & b p p > l_{3} \end{matrix}$

$b p p = \frac{R_{1} (1)}{f \times N_{p i x e l}}$

$N_{p i x e l}$

对于QCIF/CIF， $l_{1} = 0.15, l_{2} = 0.45, l_{3} = 0.9$

对于大于CIF的图像， $l_{1} = 0.6, l_{2} = 1.4, l_{3} = 2.4$

而对于其他GOP，有

$Q P_{i} (1) = m a x {Q P_{i - 1} (1) - 2, m i n {Q P_{i - 1} (1) + 2, \frac{S u m P Q P (i - 1)}{N_{p} (i - 1)} - m i n {2, \frac{N_{i - 1}}{15}}}}$

平滑处理：

$Q P_{i} (1) = Q P_{i} (1) - 1 i f Q P_{i} (1) > Q P_{i - 1} (N_{i - 1} - L) - 2$

Picture级码率控制

1. 设定B帧QP

对于B帧，都是以B帧两端的参考帧的QP来计算当前B帧QP值。分两种情况，假设两个参考帧间的B帧数为 $L$

当 $L = 1$

$Q P_{i} (j + 1) = {\begin{matrix} \frac{Q P_{i} (j) + Q P_{i} (j + 2) + 2}{2} & i f Q P_{i} (j) \neq Q P_{i} (j + 2) \\ Q P_{i} (j) + 2 & O t h e r w i s e \end{matrix}$

当 $L > 1$

$Q P_{i} (j + k) = Q P_{i} (j) + α + m a x {m i n {\frac{Q P_{i} (j + L + 1) - Q P_{i} (j)}{L - 1}, 2 \times (k - 1)}, - 2 \times (k - 1)}$

$α = {\begin{matrix} - 3 & Q P_{i} (j + L + 1) - Q P_{i} (j) ⩽ & - 2 \times L - 3 \\ - 2 & Q P_{i} (j + L + 1) - Q P_{i} (j) ⩽ & - 2 \times L - 2 \\ - 1 & Q P_{i} (j + L + 1) - Q P_{i} (j) ⩽ & - 2 \times L - 1 \\ 0 & Q P_{i} (j + L + 1) - Q P_{i} (j) ⩽ & - 2 \times L \\ 1 & Q P_{i} (j + L + 1) - Q P_{i} (j) ⩽ & - 2 \times L + 1 \\ 2 & O t h e r w i s e \end{matrix}$

2. 设定P帧QP

P帧码率控制主要分为三步：
1. 算出当前P帧的目标bit
2. 通过目标bit算出当前帧PQ
3. 把当前帧PQ与前面帧的PQ进行对比，做平滑处理
为了算出当前P帧的目标bit，需要的参数有三个：Virtual Buffer，Remain Picture Bit，Target Buffer Level。其中前两个参数在前面的GOP级的码率控制中已经获得，下面来引入讨论一个新的概念，目标缓存级别（Target Buffer Level）。

这个级别（Level）用来修正待编码图像对清空缓存区的贡献，基本思想是清空缓存区的工作应该更多由非参考图像来承担，由于B帧的QP普遍会比两端的P帧大，也就是相对来说会占用更小的缓存区域，那么P帧就可以降低QP来提高图像编码质量，那么P帧编码为码流后占用的缓存区会更大。Target Buffer Level 代表的就是P帧在缓存区的占用情况，当有B帧时的Target Buffer Level 会比没有B帧时的大。

计算方式如下：

$S_{i} (2) = V_{i} (2)$

$S_{i} (j + 1) = S_{i} (j) - \frac{S_{i} (2)}{N_{p} (i) - 1} + \frac{{\bar{W}}_{p, i} (j) \times (L + 1) \times R_{i} (j)}{f \times ({\bar{W}}_{p, i} (j) + {\bar{W}}_{b, i} (j) \times L)} - \frac{R_{i} (j)}{f}$

$\begin{aligned} {\bar{W}}_{p, i} (j) & = \frac{W_{p, i} (j)}{8} + \frac{7 \times {\bar{W}}_{p, i} (j - 1)}{8} \\ {\bar{W}}_{b, i} (j) & = \frac{W_{b, i} (j)}{8} + \frac{7 \times {\bar{W}}_{b, i} (j - 1)}{8} \\ W_{p, i} (j) & = b_{i} (j) \times Q P_{p, i} (j) \\ W_{b, i} (j) & = \frac{b_{i} (j) \times Q P_{b, i} (j)}{1.3636} \end{aligned}$

$W_{p}$

当没有B帧时，可以简化为：

$S_{i} (j + 1) = S_{i} (j) - \frac{S_{i} (2)}{N_{p} (i) - 1}$

这表明Target Buffer Level会越来越小，在当前GOP末尾会趋向于 $0$

最后结合Virtual buffer，Remain Picture bit，Target Buffer Level三者求出当前P帧的目标bit。

$\begin{aligned} {\tilde{T}}_{i} (j) & = \frac{R_{i} (j)}{f} + γ \times (S_{i} (j) - V_{i} (j)) \\ {\hat{T}}_{i} (j) & = \frac{W_{p, i} (j - 1) \times B_{i} (j)}{W_{p, i} (j - 1) \times N_{p, γ} + W_{b, i} (j - 1) \times N_{b, γ}} \\ T_{i} (j) & = β \times {\hat{T}}_{i} (j) + (1 - β) \times {\tilde{T}}_{i} (j) \end{aligned}$

当然还有上下界判断（略）。

得到目标bit后就可以求当前P帧的量化步长（求解下面一元二次方程），然后通过量化步长得到量化参数，

$T_{i} (j) = c_{1} \times \frac{{\tilde{σ}}_{i} (j)}{Q_{s t e p, i} (j)} + c_{2} \times \frac{{\tilde{σ}}_{i} (j)}{Q_{s t e p, i}^{2} (j)} - m_{h, i} (j)$

${\tilde{σ}}_{i} (j) = a_{1} \times σ_{i} (j - 1 - L) + a_{2}$

其中， $σ_{i} (j - l - L)$

最后也少不了对比上一P帧进行平滑QP的处理（略）。

Basic Unit级码率控制

这个其实跟“设定P帧QP”有同样的三个步骤，只是把Picture分开了成Basic Unit然后再一一计算，对当前Basic Unit进行码率控制、编码，然后轮到下一个Basic Unit。

首先需要求当前basic unit的目标bit数，

$\tilde{b_{l}} = T_{r} \times \frac{{\tilde{σ}}_{l, i}^{2} (l)}{\sum_{k = l}^{N_{u n i t}} {\tilde{σ}}_{l, i}^{2} (k)}$

其中， ${\tilde{σ}}_{i} (j)$

第二步要预测当前P帧的Basic Unit平均的头部大小（包括mv等）。

$\begin{aligned} {\tilde{m}}_{h d r, l} & = {\tilde{m}}_{h d r, l - 1} \times (1 - \frac{1}{l}) + \frac{{\hat{m}}_{h d r, l}}{l} \\ m_{h d r, l} & = {\tilde{m}}_{h d r, l} \times \frac{l}{N_{u n i t}} + m_{h d r, 1} \times (1 - \frac{l}{N_{u n i t}}); 1 ⩽ l ⩽ N_{u n i t} \end{aligned}$

其中， ${\tilde{m}}_{h d r, l}$

然后用目标bit减去header bit得到预测的纹理bit数。

${\hat{b}}_{l} = {\tilde{b}}_{l} - m_{h d r, l}$

最后就是求量化参数了，这个跟上面Picture级的一样，只是把复杂度换成了以Basic Unit为单位。

还有就是平滑（略）。
相关阅读:
20170417列表的count计数、index、reverse、sort函数
 （一）grpc-创建一个简单的grpc 客户端和服务器
 通用装饰器
 Git学习（一）：Git介绍、仓库和分支等基本概念解释
 APP测试
 接口测试用例设计
 笔记整理
 接口测试
 gzip -压缩与解压缩
 declare 命令 -声明shell 变量
原文地址：https://www.cnblogs.com/xumaojun/p/8523475.html

最新文章
计算机网络
 计算机基础
 八、类
 七、模块
 六、迭代器、生成器和装饰器
 五、函数
 四、文件操作
 三、深浅拷贝
 二、控制流
 一、变量和数据类型

码率控制三个阶段

GOP级的码率控制

1. Virtual Buffer

2. Remain Picture Bit

3. 设定I帧QP

Picture级码率控制

1. 设定B帧QP

2. 设定P帧QP

Basic Unit级码率控制