张云研究团队提出一种基于深度学习的图像级 JND 预测模型

中国科学院深圳先进技术研究院高性能计算技术研究中心张云研究团队在图像级 JND 预测的研究取得进展。相应成果为“Liu HH, Zhang Y,Zhang H, et al.Deep learning based picture wise just noticeable distortion prediction for image compress[J].IEEE Transactions on Image Processing, 2020,29(1): 641-656(基于深度学习的图像级 JND 预测与图像压缩应用)”。

人眼不能察觉图像中处于一定阈值以下的图像像素细微的变化，该阈值就是人眼的恰可感知失真(Just Noticeable Distortion，JND)阈值，代表着图像中的视觉冗余度。JND 阈值描述了人眼能感知的图像最小失真，反映了人类视觉系统的感知能力及敏感度，被广泛应用于图像/视频编码、流媒体应用和水印技术中。传统的像素域和频率域 JND 模型，只针对单个像素/频率的 JND阈值进行估计，难以准确估计整幅图像的 JND阈值，而人眼是对整幅图像的质量进行感知。为此，该研究提出一种基于深度学习的图像级 JND预测模型。

该模型首先训练出二分类感知失真判别器，其能对压缩图像的失真能否被人眼感知进行预测；其次，通过训练好的判别器对待测图像和与待测图像对应的压缩图像进行感知失真判别，得到判别结果集合；最后，通过 JND 搜索策略对感知失真判别结果集合进行容错处理，从而降低JND 阈值的预测偏差，预测得到待测图像的 JND阈值。

以美国南加州大学 Kuo 教授等人提出的MCL-JCI 公开数据集为例，对所提方法的有效性进行对比验证。实验结果表明，所提出的 JND模型预测偏差，即 ΔPSNR 约为 0.7 dB，优于传统像素域以及频率域的 JND 模型。应用到 JPEG图像压缩中，可在相同视觉质量下节省约 88%的比特率。

该研究首次提出图像级 JND 预测模型的建模方法，有助于揭示人眼视觉系统视觉质量感知过程，可服务于图像/视频编解码、流媒体应用。

传统失真模型与基于 JND 的失真模型