本篇论文是由厦门大学的袁飞,黄联芬,姚彦发表于《光电工程》2008年1月刊上。
本文针对视频质量的评测应用,通过在视频帧内图像和帧间图像的处理过程中引入人眼视觉系统(HVS)的主要特性,克服传统PSNR 算法在序列质量检测应用方面的缺陷。在帧内图像处理上利用人眼对边缘轮廓失真具有较强敏感性的特点,设计了基于图像边缘的检测方案以提高对典型空域失真的检测性能;在帧间图像处理上,通过测量帧间时域能量的变化,获得序列在时域轴上的典型特征,并据此对空域检测结果进行修正。
人眼的掩蔽效应:掩蔽是指当存在多个激励时,激励间的互相干扰导致视觉阈值发生变化的现象。视觉阈值的存在使低于阈值的损伤不被觉察;而掩蔽的存在则使视阈值变化提升,从而能够容纳更多无法察觉的损伤。典型的掩蔽效应主要有:“对比掩蔽”(如人眼对损伤的敏感度在非常亮或非常暗的区域下降);“纹理掩蔽”(如人眼对损伤的敏感度在图像纹理复杂区比平坦区低); “运动掩蔽”(如人眼对内容随时间变化大的图像块的损伤敏感度低);“切换掩蔽”(如场景切换后的瞬间1∼3 帧,人眼对损伤的可见性下降)等。
1、帧内图像的处理方法:
HVS 的主要特征表明,人眼对图像边缘通常格外关注,边缘能量的损失大小将很大程度上影响评价分的高低,因此采用水平与垂直方向的边缘滤波。此外,人眼对视觉兴趣区域(ROI,Range of Interest)内的图像失真比其外失真会敏感很多,需要判断新增方块边缘的闭合程度、区域大小及出现位置,并据此修正边缘检测索引图:
其中,表示第k 帧的边缘像素均方误差;
和
分别表示第k 帧原始图像和待测图像在(i,j)位置的边缘图;
表示经方块效应修正后的检测索引图;Q(k)表示
内的总像素点。
2、帧间图像的处理方法:
根据HVS 的特性,当图像运动较快时人眼无法区分图像中较高的空间频率;而在图像静止时,却能分辨高得多的空间频率。
该方法在帧间图像处理上设计了两个任务:“切换点记录”和“帧率估算”。“切换点记录”的目的是记录场景切换的帧号;而“帧率估算”的目的是检测待测帧流畅性是否劣于参考帧,从而可根据流畅性指标判断是否需要对最后结果进行加权。切换点及帧率的估算采用图像的帧间差值距离度量:
其中,k 表示当前帧序号;(i,j)表示其帧内轮廓边缘的像素点坐标;Y 表示图像轮廓边缘的亮度值。
3、整体融合与修正
首先,根据掩盖特性在“切换点记录”,忽略场景切换点前后3 帧的差值影响,可得总体的边缘MSE 值及边缘PSNR 值为:
其中,。
其次是对所得的,结合估计帧率进行加权。视频重建时常会用内插或重复帧的方法恢复丢帧,因此即可通过选择质量衰减因子λ的方式来修正影响:
算法测试:
测试分两大部分,其一是视频文件,其二是静止图片。对每部分都分别测试PSNR 值和改进PSNR 值,并结合主观感受进行对比。素材的误码形态分三类:第一类劣化形态是由Matlab 函数生成高斯、椒盐、泊松等误码噪声;第二类劣化形态是诸如DPSK、QPSK 等调制后在不同误码等级下的劣化失真;第三类则使用诸如WCDMA、CDMA2000等完整协议栈和空中接口的综合业务仿真,本研究中采用3GPP/3GPP2 的3G 视频流媒体和RTP 传输测试
环境。下图为测试环境设置: