Depth Map Error Concealment for 3D High Efficiency Video Coding

Yang ZHOU; Jiayi WU; Yu LU; Haibing YIN

doi:10.11999/JEIT180926

Volume 41 Issue 11

Nov. 2019

Turn off MathJax

Article Contents

Article Navigation > Journal of Electronics & Information Technology > 2019 > 41(11): 2760-2767

Wu Wanchun, Wen Geyi. THE NUMERICAL SOLUTIONS OF CUT-OFF FREQUENCY IN TWO DIELECTRIC LAYERED WAVEGUIDES BY USING BOUNDARY ELEMENT METHOD[J]. Journal of Electronics & Information Technology, 1987, 9(6): 498-506.

Citation:

Yang ZHOU, Jiayi WU, Yu LU, Haibing YIN. Depth Map Error Concealment for 3D High Efficiency Video Coding[J]. Journal of Electronics & Information Technology, 2019, 41(11): 2760-2767. doi: 10.11999/JEIT180926

Citation:

PDF( 1571 KB)

Depth Map Error Concealment for 3D High Efficiency Video Coding

doi: 10.11999/JEIT180926

Institute of Telecommunication Engineering, Hangzhou Dianzi University, Hangzhou 310018, China

Funds: Zhejiang Province Natural Science Fundation (LY17F020027), The National Natural Science Foundation of China (61401132, 61572449)

Received Date: 2018-09-30
Rev Recd Date: 2019-04-05

Available Online: 2019-05-21

Publish Date: 2019-11-01

Abstract

Abstract

By using the intra-view and inter-view correlations and the motion vector-sharing, a depth map error concealment approach is proposed for 3D video coding based on the High Efficiency Video Coding (3D-HEVC) to combat the packet loss of the depth video transmission. Based on the Hierarchical B-frame Prediction (HBP) structure in 3D-HEVC and textured features of the depth map, all the lost coding units are firstly categorized into two classes, i.e., motion blocks and static blocks. Then, according to the outer boundary matching criterion combining the texture structure, the optimal motion/disparity vector is chosen for the damaged motion blocks to conduct the motion/disparity compensation based error concealment. Whereas, the direct copy is applied to concealling the damaged static blocks quickly. Finally, for the concealed blocks whose qualities are not ideal, the new motion/disparity compensation blocks reconstructed by the reference frames recombination are applied to improning the qualities of those blocks. The experimental results show that the repaired depth map concealed by the proposed approach can achieve 0.25～2.03 dB gain in term of the Peak-Signal-to-Noise Ratio (PSNR) and 0.001～0.006 gain in term of Structural Similarity Index Measure(SSIM). Moreover, the subjective visual quality of the repaired area is better in lines with the original depth maps.
- 3D-High Efficiency Video Coding(3D-HEVC),
- Multi-view video plus depth,
- Matching criterion,
- Disparity vector,
- Error concealment

FullText(HTML)

1. 引言

3维(Three Dimension, 3D)视频能给观众带来更高的逼真度和身临其镜的沉浸感，越来越受到用户的欢迎和喜爱。多视点视频加深度是当前3D高效视频编码(3D video coding based on the High Efficiency Video Coding, 3D-HEVC)所采用的主要编码格式，它通过虚拟视点合成技术将压缩传输后的有限个视点信息在解码端进行拓展，降低了传输信息量。深度图是用来绘制虚拟视点的基础视图，其质量高低直接影响解码端的视点合成效果。然而，压缩后的深度码流在无线传输中因网络拥堵或外界干扰等原因会产生丢包，导致深度图解码出错，进而造成虚拟视点合成失真。

错误隐藏技术是在解码端利用视频流帧间/帧内压缩冗余来隐藏解码帧中的出错区域，以达到主观视觉上不易觉察的效果。根据错误隐藏时参考区域获取位置不同可分成帧间错误隐藏^[1]、帧内错误隐藏^[2]和混合错误隐藏^[3]3类。目前针对2D视频的错误隐藏技术已相对成熟，但由于3D视频压缩需利用视点间相关性来取得高效压缩，且当前3D视频压缩标准采用分层B帧预测结构(Hierarchical B-frame Prediction, HBP)替代了传统的IPPP预测结构，所以先前的2D视频错误隐藏方法不能直接应用到3D视频中。

根据有无使用深度信息，3D视频编码格式主要分成两类：不含深度图信息的双视(立体)/多视点视频(stereo/multiview video)编码和单/多视点视频加深度(2D/multiview video + depth)编码。面向无深度图的3D视频错误隐藏的方法主要有：基于贝叶斯滤波器的预测运动/视差矢量滤除法^[4]，基于丢失帧重要性的分层错误隐藏法^[5]，多模式错误隐藏法^[6]，重建区域边界匹配加权法^[7]，基于时域/视点间一致性准则的错误隐藏法^[8]，全局视差矢量补偿法^[9]，多视点视频运动矢量外推错误隐藏法^[10]。面向单/多视点视频加深度的3D视频错误隐藏，Huang等人^[11]结合深度图的运动矢量辅助信息，运用运动矢量外推法进行丢失块错误隐藏。Tai等人^[12]在运动矢量估计中利用深度图的边缘信息，提出了一种基于运动矢量外推法的整帧丢失错误隐藏法。时琳等人^[13]结合深度信息对错误宏块的编码模式进行估计，然后根据编码模式选用视点内或视点间参考信息来重建错误宏块。Yang等人^[14]结合深度图平滑约束进行I帧时域错误隐藏。Yan等人^[15]根据深度差异大小选用不同的方法进行丢失块错误掩盖。但上述方法常假设深度序列码流在传输中并未发生误码为前提，然后利用正常解码的深度信息来提升隐藏效果。

在单/多视点视频加深度编码格式的3D视频传输中，深度图码流约占总码流的1/4。在编码端，研究者正在为提高深度图压缩性能而努力^[16]。深度图在传输过程中会不可避免地发生丢包，针对深度图出错，Hewage等人^[17]提出了一种基于彩色图运动矢量共享的深度图错误隐藏方法。Assuncao等人^[18]利用丢失块周边正确解码的深度图像块和彩色图像块信息，来实现帧内编码深度图的空域错误隐藏。但这些方法都是面向H.264/AVC标准下基于IPPP预测结构的3D视频码流，并与彩色序列错误隐藏合在一起，尚未有专门针对深度图出错的错误掩盖算法。

与彩色序列不同，深度图具有陡峭的边缘和大片的平坦区，图像中物体内部区域较平滑而边缘较锐利。3D-HEVC对传统编解码器进行改进，比如关闭了对深度图边缘有不利影响的去方块滤波，采用整像素精度的矢量补偿来减少计算复杂度等。因此在解码端深度图错误隐藏时也需相应地采用有别于彩色图的错误隐藏方法。本文先提出了一种基于整像素的深度图运动/视差补偿错误隐藏算法来适应深度图相对于纹理图做出的改进；然后在此基础上，针对修复质量不佳的重建块又提出了一种基于参考列表重组合的隐藏块质量提升法。它通过判断重组合参考块的质量高低，来获取相对最佳的运动/视差矢量和最佳的参考帧组，接着在最佳参考帧组上进行丢失单元的运动/视差矢量补偿，进而获得修复质量更佳的错误隐藏单元。

2. 结合运动特性的位移矢量补偿错误隐藏法

2.1 算法总体描述

算法总体流程框图如图1所示，它主要由3部分构成：(1)丢失单元分类：将深度图丢失单元划分为静止块和运动块两种类型；(2)构建待选矢量集，进行丢失区域错误隐藏：对静止块使用直接拷贝法进行错误掩盖，对运动块使用运动/视差补偿法进行错误掩盖；(3)隐藏块质量提升：对修复质量较差的隐藏块进行基于参考列表重组的质量提升。

图 1 算法总体流程图

下载: 全尺寸图片幻灯片

2.2 丢失块的划分

由于3D-HEVC采用HBP编码结构，本文根据丢失块在前向、后向参考帧中同位块的平均像素差来判断丢失块的类型，计算公式为

${T_{\rm h}} = \left| {{B_{t1}} - {B_{t2}}} \right|$

(1)

式中B_t1, B_t2分别为前向和后向参考帧中大小为64×64同位块的平均像素值。经过实验测试，当平均像素差T_h大于阈值1时，将当前丢失块判断为运动块，反之则判断为静止块。对静止块采用直接复制参考帧中的同位块像素进行错误掩盖；对运动块，则构建待选矢量集，采用基于位移矢量补偿的方法进行错误掩盖。

2.3 基于矢量补偿的运动块错误隐藏法

2.3.1 构建待选矢量集

待选矢量集由3部分组成：基于空域相关性的运动/视差矢量集、全局视差矢量和共享运动矢量。

(1)运动/视差位移矢量集：本文分别选择大小为4×4的左下块0、左块1、左上块2、上块3、右上块4和下块5的运动/视差矢量来构建运动/视差矢量集，如图2所示，其对应的位移矢量集为{SV₀, SV₁, SV₂, SV₃, SV₄, SV₅}。如果上述待选块中某些块也发生丢失则放弃该块的运动/视差矢量。上述候选块的选择方式沿袭HEVC标准中运动矢量预测的规律，采用相关性较大的5个块(即左下块、左块、左上块、上块、右上块)的运动矢量作为候选，同时本文又添加了下块5的运动/视差矢量SV₅来提高估计准确度。

图 2 丢失块周围邻块位移矢量的选择

下载: 全尺寸图片幻灯片

(2)共享运动矢量：由于深度图中某块的运动矢量与对应纹理图中同位块的运动矢量相近，因此可将纹理图中正确解码的运动信息共享给对应的深度图受损块。但在3D-HEVC编码中，纹理图运动估计采用1/4像素精度，深度图采用整像素精度，在运动/视差矢量共享时需将纹理图的矢量值缩小4倍。如果对应的同位块为帧内编码块，则取周围邻块非零运动矢量的平均值作为当前共享运动矢量，并将该共享运动矢量加入待选矢量集，标注为SV₆。

(3)全局视差矢量：相同时刻、不同视点的多视点深度图间存在较强的视点间相关性，计算当前帧的全局视差矢量

${\text{D}}{{\text{V}}_{\rm{g}}}{\rm{ = }}\frac{1}{N}\sum\limits_{i = 0}^N {{\text{D}}{{\text{V}}_i}}$

(2)

其中N为大小8×8且存在视差矢量的块的数量，DV_i为第i个8×8块的视差矢量值，DV_g为计算出的全局视差矢量值。将全局视差矢量加入待选矢量集，标注为SV₇。

2.3.2 丢失块重建

本文采用位移矢量补偿法来填补丢失/出错块，通过位移矢量值的偏移计算来找到重建像素值。在隐藏块与周边相邻块匹配程度计算中，本文提出了一种联合彩色纹理图匹配度的深度图外边界匹配算法。它通过分别计算深度图加权外边界匹配度和纹理图加权外边界失配度，来测量隐藏块的重建效果，计算式为

${D_{{\rm{T}} - {\rm{W}}}} = D_{\rm{w}}^{\rm{d}} + D_{\rm{w}}^{\rm{t}}$

(3)

其中，D_T-W为失配度； $D_{\rm{w}}^{\rm{d}}$ 表示当前深度图中，丢失块与通过候选位移矢量在参考帧中找到的补偿块二者之间的加权外边界失配度； $D_{\rm{w}}^{\rm{t}}$ 表示当前深度图相对应的纹理图中的同位块，与该同位块通过纹理图位移矢量找到的补偿块二者之间的加权外边界失配度。当D_T-W值越小，表明受损块的重建质量越好。然后在待选矢量集中，选择矢量补偿中D_T-W值最小的重建块作为丢失单元的错误隐藏块。式(3)中，加权外边界匹配算法 (Weighted Overlap Block Matching Algorithm, WOBMA)是通过计算当前丢失块四周正确接收的外边界单行像素值与参考块外边界像素值的差异来求取重建块的失配度，即

$\begin{align} {D_w} \!=\!& \frac{1}{{({w_{\rm T}} + {w_{\rm L}} + {w_{\rm B}} + {w_{\rm R}}) \cdot M}}\\ {\rm{}} &\!\cdot\! \left( {{w_{\rm T}}} \right. \cdot \sum\limits_{k = 0}^{M - 1} {|{p_1}(x + k,y - 1) - {p_2}(x' + k,y' - 1)|} \\ {\rm{}}&\!+\! {w_{\rm L}} \cdot \sum\limits_{j = 0}^{M - 1} {|{p_1}(x - 1,y + j) - {p_2}(x' - 1,y' + j)|} \\ {\rm{}}&\!+\! {w_{\rm B}} \cdot \sum\limits_{k = 0}^{M - 1} {|{p_1}(x \!+\! k,y + M) \!-\! {p_2}(x' + k,y' + M)|} \;\\ {\rm{}}&\!+\! {w_{\rm R}} \cdot \sum\limits_{j = 0}^{M - 1} {|{p_1}(x + M,y + j) \!-\! {p_2}(x' \!+\! M,y' \!+\! j)} \left. {\rm{|}} \right) \end{align}\\ \hspace{219pt}(4)$

其中， ${p_1}(x,y)$ 和 ${p_2}(x',y')$ 分别表示丢失块和参考块在块左上角坐标点 $(x,y)$ , $(x',y')$ 处的像素值，k, j分别表示丢失块内边界像素横、纵坐标的变化值，M是丢失块的边长，w_T, w_L, w_B和w_R分别是丢失块上、左、下、右外边界分配的权重值。权重w_i, i∈{T, L, B, R}，根据相邻块是否正确解码取

${w_i} = \left\{ \begin{array}{l} 1.0,\;\;\;\;\;\;\;\;\,{\text{正确接收的块}}\\ {\rm{0}}{\rm{.5,}}\;\;\;\;\;\;\;\;\,\,{\text{错误隐藏算法恢复的块}}\\ {\rm{0,}}\;\;\;\;\;\;\;\;\;\;\,\,\,\,\!{\text{没有恢复的丢失块}} \end{array} \right.$

(5)

考虑到在基于运动/视差补偿的深度图错误隐藏完成后，有些修复块的D_T-W值较大，重建质量不理想。导致该问题的原因主要是：(1)单双向参考方式选择有误；(2)双向参考时的参考候选帧选择有误。因此需对隐藏质量不佳的重建块进行后处理，下文采用参考帧拆分重组法对质量不佳的隐藏块进行质量提升。

3. 质量提升

3.1 丢失块组合重建

在HBP编码结构中，某丢失块B_t可能是单向参考块也可能是双向参考块。若是单向参考，则通过运动/视差补偿在参考帧中获取匹配块作为重建块；若是双向参考，则在前后参考帧中分别获取候选块，并将这两个候选块的像素值相加取均值作为重建像素值，计算公式为

${B_t}(x,y) = {w_1}{B_{t1}}({x'_1},{y'_1}) + {w_2}{B_{t2}}({x'_2},{y'_2})$

(6)

其中 ${B_t}(x,y)$ 为丢失块像素点坐标 $(x,y)$ 处的像素值，w₁和w₂是权重，双向参考时各取0.5。

3.2 利用参考帧重组合进行修复块质量提升

具体实现过程如下：

(1)根据丢失块相邻块的位移矢量，在各参考帧中获取重建块。在3D-HEVC编码结构中，设某帧图像有2个常用参考列表L0, L1，每个参考列表分别包含有K个参考帧R，即 L0{R0₀,R0₁, ···, R0_K}, L1{R1₀,R1₁, ···, R1_K}。根据丢失块四周正确解码单元的运动/视差矢量，对丢失块进行运动/视差矢量补偿，在相应参考帧中获取待选重建块。

(2)判断重建参考块位置是否发生遮挡，剔除不可用的参考帧。下文先判断丢失块是否为相对于前景物体运动而被遮挡的块，具体步骤如下：

步骤 1　选择遮挡判断块。选取丢失块A_i四周相邻的8个4×4大小的PU块，及其参考帧中对应补偿块A_i′四周8个同位块作为遮挡判断块。

步骤 2　判断参考补偿块是否被遮挡。深度图像素值大小是由物体与深度相机的距离决定的，距离镜头越近的物体其像素值越大。当发生遮挡时，被遮挡块的像素值会被前景块所替代，进而导致被遮挡块的像素值显著增大。因此可通过计算参考帧中对应运动/视差补偿块A_i $'$ 与当前块A_i的平均像素差来判断是否发生遮挡，即当平均像素差显著增大时则发生了遮挡，否则未发生遮挡。平均像素差计算公式为

$\begin{align} {\rm{}}& \delta \!=\! \sum\limits_{{g}= 0}^{M - 1} {\sum\limits_{h = 0}^{M - 1} [{A_i}^\prime (x' \!+\! {g},y' + h) - {A_i}} (x \!+\! {g},y \!+\! h)]/{M^2}\\ {\rm{}}& \hspace{218pt}(7) \end{align}$

其中， ${A_i}^\prime (x' + {g},{\kern 1pt} \,y' + h)\,$ 和 ${A_i}(x + {g},y + h)$ 分别为补偿块和丢失块四周相邻判断块内坐标 $(x' +$ ${g},y' + h)$ 和 $(x + g,y + h)$ 处的像素值g, h分别为横纵坐标偏移量，i为判断块号，M为判断块的边长，M =4。当周边判断块中有一个块的 $\delta$ 值大于阈值Th2时，则判断参考补偿块发生了遮挡，其中Th2值通过实验设为20。若该运动/视差补偿块判断为被遮挡块，则表明当前补偿块所在帧不适合作为参考帧，将其设定为“不可用”参考帧进行剔除。

(3)根据新的参考帧表，组合从各参考帧中获得的待选重建块进行受损块重建。将各参考帧中获取到的重建参考块进行两两组合，得到新的重建参考块，如表1所示。表1中，P_i块表示只使用单向运动/视差补偿获得的待选重建块。B_i块表示使用双向运动/视差补偿组合得到的待选重建块。若表中含有因遮挡而剔除的参考帧，则去除其对应的重建块。利用式(6)计算重组合后各待选重建块的像素值。

表 1 组合参考块对应表

参考列表	参考帧号	L0				L1
参考列表	参考帧号	R0₀	R0₁	…	R0_K	R1₀	R1₁	…	R1_K
L0	R0₀	P₀	–	–		B₀₀	B₀₁	B₀_i	B₀_K
	R0₁	–	P₁	–		B₁₀	B₁₁	B₁_i	B₁_K
	∶	–	–	P_i		B_i₀	B_i₁	B_ii	B_iK
	R0_K				P_K	B_K₀	B_K₁	B_Ki	B_KK
L1	R1₀	B₀₀	B₁₀	B_i₀	B_K₀	P_K₊₁	–	–
	R1₁	B₀₁	B₁₁	B_i₁	B_K₁	–	P_K₊₂	–
	∶	B₀_i	B₁_i	B_ii	B_Ki	–	–	P_K₊_i
	R1_K	B₀_K	B₁_K	B_iK	B_KK				P₂_K

下载: 导出CSV

| 显示表格

最后，根据式(3)选择失配度最小的重建块作为质量提升后的最终重建块。

4. 实验结果与讨论

4.1 实验条件设置

为验证算法性能，本文算法被嵌入到3D-HEVC校验平台HTM14.0^[19]中进行对比实验。测试数据集选用Poznanstreet, Kendo, Bookarrival和Balloons这4种不同类型的多视点加深度序列，其中Poznanstreet的分辨率为1920×1088，其它序列为1024×768。测试电脑配置为Intel Corei5-3407, 3.20 GHz处理器，4.00 G内存。实验条件设置如下：各个序列的编解码结构采用HBP结构，GOP长度为8；量化参数(Quantization Parameter, QP)设为25, 30，编码帧率为25 Hz; CU最大尺寸为64×64，编码帧率为25帧/s，每个序列共测试了96帧；实验对比采用逐帧比较的方法，实验中假设I帧不出错，出错帧的CU丢失率分别设为50%, 25%和10%，每种丢失率下设置了10种不同的错误模式，实验结果取均值。

由于面向HBP编码结构的3D-HEVC视频流错误隐藏算法极少，本文选用3种算法进行性能比较：(1) 文献[6]：Song等人提出的面向HBP编码结构的多视点视频错误隐藏法，该方法给出了时域错误隐藏，视点间错误隐藏和多假设错误隐藏3种错误隐藏模式，最后基于模式选择准则选择相对最优的方式进行错误隐藏；(2)文献[7]：将Peng等人^[7]提出的基于HEVC的帧间错误隐藏法延伸到3D-HEVC错误隐藏中，结合了视点间相关性，该算法利用丢失块在视点间的同位块，采用与该同位块相同的块划分模式，并根据加权边界契合度准则，选择边界契合度最高的预测单元，将其运动矢量用作恢复受损块的运动矢量进行错误掩盖；(3)Motion Vector Compensation (MVC)：采用第2节时域运动矢量补偿法进行错误掩盖，未利用视点间相关性进行错误掩盖。

4.2 客观质量比较与讨论

表2分别所示为QP值等于30和25时，帧CU丢失率为10%, 25%和50%条件下，经本文算法和文献[6]，文献[7]，MVC算法进行错误隐藏后，各测试序列重建B帧图像的平均PSNR值。从表2中可以看出，本文算法对不同视频深度序列均表现出良好的修复效果，取得了更高的PSNR值。比如当QP等于30，本文算法相较于文献[6]算法，在CU丢失率为10%, 25%和50%条件下，受损恢复图像的平均PNSR值能分别提高0.25～0.72 dB, 0.32～0.74 dB, 0.56～1.27 dB；相较于文献[7]算法，平均PNSR值能分别提高0.32～1.05 dB, 0.38～1.11 dB, 0.76～2.03 dB。其中，对于Poznanstreet的深度序列，由于运动程度较为剧烈，本文算法的性能提升效果更加明显，一些存在较强运动特征的修复帧的PSNR值能提升2.7～3.6 dB。此外，对于由相机移动拍摄的Kendo深度序列，深度会随相机运动发生改变，本文算法可拆分重组出更接近丢失块原有运动/视差补偿方式的重建块，提升了运动/视差矢量补偿后找到的重建像素块的匹配度。

表 2 QP=30, 25时各测试序列重建图像平均PSNR计算结果(dB)

QP	序列	原始	错误率50%				错误率25%				错误率10%
QP	序列	原始	文献[6]	文献[7]	MVC	本文算法	文献[6]	文献[7]	MVC	本文算法	文献[6]	文献[7]	MVC	本文算法
30	Kendo	42.761	36.406	36.122	35.894	37.103	37.896	37.359	36.786	38.310	39.449	38.925	38.025	39.833
	Bookarrival	39.923	36.932	35.911	35.656	37.525	37.865	37.171	36.526	38.286	38.338	37.699	37.389	38.747
	Poznanstreet	44.028	39.593	38.834	36.662	40.864	41.155	41.028	40.799	41.890	41.450	41.219	40.983	42.171
	Balloon	40.574	38.713	38.512	37.691	39.269	39.514	39.456	38.347	39.839	39.706	39.638	38.485	39.958
25	Kendo	45.874	36.736	36.548	36.096	37.499	39.227	38.058	37.287	39.655	41.368	39.688	39.133	41.501
	Bookarrival	41.625	37.981	36.733	36.354	38.270	38.411	37.488	36.947	39.921	39.728	39.196	38.463	40.187
	Poznanstreet	46.122	39.955	38.928	37.066	41.561	41.723	41.178	40.802	42.319	42.113	41.797	41.207	42.622
	Balloon	44.022	40.829	39.434	39.156	41.247	41.899	41.277	40.894	42.149	42.234	42.158	41.084	42.612

下载: 导出CSV

| 显示表格

同时，表3分别给出了不同QP值和不同CU丢失率下，经本文算法和上述3种算法隐藏后各测试序列重建图像的平均结构相似度(SSIM^[20])值。对于Poznanstreet序列，本文算法相比文献[6]和文献[7]算法平均SSIM值能分别最高提升0.0039(QP30)和0.0027(QP25)。从结果上看SSIM值提升幅度不大，这是由于深度图值是反映相机成像平面距离拍摄物体远近的灰度值，纹理结构相对单一，因此SSIM值差别不明显。

表 3 QP=30, 25时各测试序列重建图像平均SSIM计算结果

QP	序列	原始	错误率50%				错误率25%				错误率10%
QP	序列	原始	文献[6]	文献[7]	MVC	本文算法	文献[6]	文献[7]	MVC	本文算法	文献[6]	文献[7]	MVC	本文算法
30	Kendo	0.9867	0.9708	0.9688	0.9647	0.9721	0.9780	0.9776	0.9733	0.9785	0.9819	0.9816	0.9766	0.9822
	Bookarrival	0.9565	0.9482	0.9457	0.9422	0.9495	0.9503	0.9481	0.9452	0.9510	0.9525	0.9518	0.9477	0.9534
	Poznanstreet	0.9795	0.9732	0.9720	0.9714	0.9759	0.9746	0.9740	0.9738	0.9767	0.9751	0.9750	0.9744	0.9769
	Balloon	0.9767	0.9738	0.9733	0.9720	0.9743	0.9745	0.9742	0.9736	0.9751	0.9747	0.9746	0.9743	0.9757
25	Kendo	0.9874	0.9722	0.9696	0.9660	0.9751	0.9789	0.9783	0.9765	0.9796	0.9828	0.9824	0.9795	0.9832
	Bookarrival	0.9701	0.9577	0.9547	0.9539	0.9598	0.9634	0.9627	0.9613	0.9641	0.9643	0.9642	0.9633	0.9655
	Poznanstreet	0.9878	0.9818	0.9803	0.9796	0.9824	0.9825	0.9821	0.9816	0.9848	0.9843	0.9841	0.9824	0.9849
	Balloon	0.9855	0.9810	0.9803	0.9796	0.9821	0.9834	0.9833	0.9828	0.9839	0.9841	0.9836	0.9835	0.9844

下载: 导出CSV

| 显示表格

图3给出了Poznanstreet第3视点的PSNR值逐帧比较图。从图3可看出，相较于对比方法，本文算法对于绝大多数出错帧都能取得更高的PSNR值，且对于某些帧其PSNR值有显著提升，如第5、36帧等。

图 3 PSNR逐帧测试结果曲线图

下载: 全尺寸图片幻灯片

4.3 主观质量比较与讨论

为比较错误隐藏后的主观质量，本节给出了部分深度修复序列的主观效果图。图4和图5分别给出了Poznanstreet和Kenda深度序列的第3视点第3帧在QP值等于25、帧丢包率为25%时(格形丢包)的错误隐藏效果主观图。图4和图5两图中，(a)为无错误的解码效果图；(b)为未经错误隐藏的出错图；(c)为使用MVC法错误隐藏后的效果图；(d)为经Song方法错误隐藏后的效果图；(e)为经Peng方法隐藏后的效果图；(f)为使用本文方法隐藏后的效果图。对比上述子图可发现：图4(c)、图4(d)和图4(e)的车尾部分都存在明显的重建失真，图4(d)中的车头也存在较大的重建失真；图5(c)和图5(d)在背景墙壁区域都存在格形重建失真。通过本文方法重建的丢失块(如图4(f)、图5(f)所示)，虽然也存在少量不显著的失真，但在主观察觉质量上明显优于其它对比算法，修复后图像的深度质量最接近原始值。

图 4 Poznanstreet第3视点第3帧错误隐藏结果

下载: 全尺寸图片幻灯片

图 5 Kendo第3视点第3帧主观测试结果

下载: 全尺寸图片幻灯片

4.4 算法复杂度分析

由于解码时间受计算机配置、运行环境等因素影响，且每次解码时间并不稳定，所以每次实验重复运行5次取平均时间来进行复杂度分析。在实验中，每组测试序列各选择了96帧进行测试，构成12个GOP，每个GOP中都固定某时刻帧出错进行错误隐藏，统计各测试序列的解码运行时间，测试结果如表4所示。从表4可得，文献[6]算法由于需采用了3种不同的隐藏算法分别进行错误掩盖，然后再择优选择隐藏性能最好的算法进行错误掩盖，导致计算复杂度显著增加；文献[7]利用了块划分准则，需预判断重建块的大小，当重建单元尺寸小时耗费的计算量较大；而本文算法考虑了深度图区域平坦性以及在深度图编码时运用到的简单深度编码模式(SDC)，此模式没有编码单元划分信息，因而本文算法不进行子块划分，增加的解码时长相对较少。在HTM平台上的测量结果显示本文算法对解码的实时性影响较小。

表 4 各测试序列解码运行时间(s)

序列	原解码	文献[6]	文献[7]	MVC	本文
Kendo	188.71	231.45	198.83	192.07	194.19
Balloon	172.35	216.14	178.13	173.82	174.69
Bookarrival	175.86	219.35	183.19	177.18	179.13
Poznanstreet	483.67	558.15	498.68	484.68	486.07

下载: 导出CSV

| 显示表格

5. 结束语

鉴于3D-HEVC编码标准中采用了多视点视频加深度图的编码格式，而深度图码流在无线传输过程中会不可避免地发生包丢失。针对此问题，本文提出了一种面向3D-HEVC的深度图错误隐藏方法。它首先基于运动/视差矢量补偿错误隐藏法，提出一种新的隐藏块与周边正确块的匹配准则来选取更优的重建块。同时，针对错误掩盖质量较大的丢失块，运用参考帧重组和运动/视差矢量再优化对其进行质量提升。实验结果表明提出的深度图隐藏法能在不明显增加解码时间的条件下，有效地提高深度序列的错误隐藏性能。在下一步研究中，将探求如何将虚拟视点绘制技术与错误掩盖技术相结合来重建出错帧。

References(20)

References

LI Yufeng and CHEN Ruining. Motion vector recovery for video error concealment based on plane fitting[J]. Computer Engineering &Applications, 2018, 54(2): 182–187. doi: 10.3778/j.issn.1002-8331.1608-0085

XU Dawen and WANG Rangding. Two-dimensional reversible data hiding-based approach for intra-frame error concealment in H.264/AVC[J]. Journal of Visual Communication& Image Representation, 2016, 47(2): 369–379. doi: 10.1016/j.jvcir.2013.12.008

ZABIHI S M, GHANEI Y H, and MEHRSHAD N. Adaptive temporal error concealment method based on the MB behavior estimation in the video[C]. The 7th International Conference on Computer and Knowledge Engineering. Mashhad, Iran, 2017: 193–198.

EL-SHAFAI W, EL-RABAIE S, EL-HALAWANY M M, et al. Recursive Bayesian filtering-based error concealment scheme for 3D video communication over severely lossy wireless channels[J]. Circuits Systems & Signal Processing, 2018(20): 1–32. doi: 10.1007/s00034-018-0786-8

周洋, 蒋刚毅, 郁梅, 等. 面向HBP编码格式的立体视频B帧整帧丢失分层错误隐藏算法[J]. 电子与信息学报, 2014, 36(2): 377–383. doi: 10.3724/SP.J.1146.2013.00528

ZHOU Yang, JIANG Gangyi, YU Mei, et al. A hierarchical error concealment algorithm for entire B-frame loss in stereoscopic video coding with hierarchical B pictures[J]. Journal of Electronics &Information Technology, 2014, 36(2): 377–383. doi: 10.3724/SP.J.1146.2013.00528

SONG K, CHUNG T, OH Y, et al. Error concealment of multi-view video sequences using inter-view and intra-view correlations[J]. Journal of Visual Communication & Image Representation, 2009, 20(4): 281–292. doi: 10.1016/j.jvcir.2009.02.002

PENG Yantsung and COSMAN P C. Weighted boundary matching error concealment for HEVC using block partition decisions[C]. The 48th Asilomar Conference on Signals, Systems & Computers, Grove, USA, 2014: 921–925. doi: 10.1109/ACSSC.2014.7094587.

KHATTAK S, MAUGEY T, HAMZAOUI R, et al. Temporal and inter-view consistent error concealment technique for multiview plus depth video[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2016, 26(5): 829–840. doi: 10.1109/TCSVT.2015.2418631

LIU Shujie, CHEN Ying, WANG Yekui, et al. Frame loss error concealment for multiview video coding[C]. IEEE International Symposium on Circuits and Systems (ISCAS 2008), Washington, USA, 2008: 3470–3473.

ZHOU Yuan, XIANG Wei, and WANG Gengkun. Frame loss concealment for multiview video transmission over wireless multimedia sensor networks[J]. IEEE Sensors Journal, 2015, 15(3): 1892–1901. doi: 10.1109/JSEN.2014.2366511

HUANG Pincheng, LIN Jieru, LI Gwolong, et al. Improved depth-assisted error concealment algorithm for 3D video transmission[J]. IEEE Transactions on Multimedia, 2017, 19(11): 2625–2632. doi: 10.1109/TMM.2017.2694218

TAI Shenchuan, WANG Chuenching, HONG Chienshiang, et al. An efficient full frame algorithm for object-based error concealment in 3D depth-based video[J]. Multimedia Tools & Applications, 2016, 75(16): 9927–9947. doi: 10.1007/s11042-015-2899-4

时琳, 刘荣科, 李君烨. 基于深度信息的立体视频错误隐藏方法[J]. 电子与信息学报, 2012, 34(7): 1678–1684. doi: 10.3724/SP.J.1146.2011.01107

SHI Ling, LIU Rongke, and LI Junye. Error concealment based on depth information for stereoscopic video coding[J]. Journal of Electronics &Information Technology, 2012, 34(7): 1678–1684. doi: 10.3724/SP.J.1146.2011.01107

YANG Meng, LAN Xuguang, ZHENG Nanning, et al. Depth-assisted temporal error concealment for intra frame slices in 3-D video[J]. IEEE Transactions on Broadcasting, 2014, 60(2): 385–393. doi: 10.1109/TBC.2014.2321676

YAN Bo and ZHOU Jie. Efficient frame concealment for depth image-based 3-D video transmission[J]. IEEE Transactions on Multimedia, 2012, 14(3): 936–941. doi: 10.1109/TMM.2012.2184743

MERKLE P, MULLER K, MARPE D, et al. Depth intra coding for 3D video based on geometric primitives[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2016, 26(3): 570–582. doi: 10.1109/TCSVT.2015.2407791

HEWAGE C T E R, WORRALL S, DOGAN S, et al. Frame concealment algorithm for stereoscopic video using motion vector sharing[C]. 2008 IEEE International Conference on Multimedia and Expo, Hannover, Germany, 2008: 485–488. doi: 10.1109/ICME.2008.4607477.

ASSUNCAO P, MARCELINO S, SOARES S, et al. Spatial error concealment for intra-coded depth maps in multiview video-plus-depth[J]. Multimedia Tools &Applications, 2017, 76(12): 13835–13858. doi: 10.1007/s11042-016-3766-7

HTM Reference Software 14.0. http://hevc.kw.bbc.co.uk/git/w/jctvc-3de.git, 2016.

WANG Zhou, BOVIK A C, SHEIKH H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600–612. doi: 10.3969/j.issn.1006-8961.2006.12.00.003

Relative Articles

Supplements(0)

Cited By

Cited by
Periodical cited type(1)
1. 李林聪，姚远志，张晓雅，张卫明，俞能海. 基于修改概率转换和非加性嵌入失真的视频隐写方法. 电子与信息学报. 2020(10): 2357-2364 . 本站查看
Other cited types(2)

Proportional views

Proportional views

通讯作者: 陈斌, bchen63@163.com

1.
沈阳化工大学材料科学与工程学院沈阳 110142

Figures(5) / Tables(4)

Get Citation

PDF

XML

Article Metrics

Article views (2214) PDF downloads(43)