加密域图像处理综述

卓 力，龙海霞，彭远帆，李晓光，张 菁

（北京工业大学城市交通学院，北京 100124）

加密域图像处理综述

卓 力，龙海霞，彭远帆，李晓光，张 菁

（北京工业大学城市交通学院，北京 100124）

随着人们越来越关心隐私安全问题，关于加密域信号处理的研究得到了广泛关注，而往往包含大量个人隐私的图像也有必要以隐私保护的方式进行处理.回顾了近年来加密域图像处理中的各种领域，包括基本的图像处理技术，如加密域的线性变换、线性滤波和特征提取，以及进一步的图像处理应用，如安全图像隐写、安全图像检索和加密图像压缩，并且总结了这些方向的研究趋势和前景.

加密域；图像处理；隐私保护

近年来，随着云计算和物联网等应用对安全需求的不断增加，人们开始研究在加密域内进行信号处理的可能性，即在不解密的情况下，直接对加密后的信号进行处理（又称安全信号处理），在保证用户信息安全的同时又不牺牲信号处理的功能.

图像由于包含大量个人信息，因此是安全信号处理中的一个重要方向.目前加密域图像处理的研究已经取得了一些进展，但是仍有许多工作有待完成.由于加密技术和图像处理技术相对独立，处理加密后的图像要比处理原始图像困难许多.然而近年来在该领域的研究取得了许多重要进展.早期的技术主要依靠加入可信任第三方来保护用户隐私.例如Hu等［1］提出的安全图像滤波方案，需要将滤波结果分成3部分来持有.这种加入第三方的方案导致加密域图像处理难以付诸实践且效率低下，而目前的技术通过使用更先进的信息安全计算技术，例如同态加密和混沌电路来避免该问题.在这些信息安全计算技术的帮助下，从线性变换到安全图像检索，人们一直在不断提出新的安全图像处理技术和方法.虽然有关加密域信号处理的综述［2-4］已经对一部分安全图像检索技术进行了回顾，但是在该领域依旧有相当多的技术进展有待总结.本文将介绍的安全图像处理技术如下:

1）基本加密域图像处理操作.包括各种基本的加密域图像处理方法，例如信号组合、线性变换、特征提取、滤波等.这些方法在传统图像处理领域往往也是后续处理操作的基础.

2）安全图像隐写.对加密图像进行信息嵌入，该技术与安全图像水印［5］不同，其关注点主要在嵌入信息的容量和嵌入后的不可见性.

3）加密图像压缩.该技术可以对加密后的图像进行压缩，并在理论上达到和先压缩再加密一样的性能.

4）加密域的图像检索.该技术将图像检索和隐私信息保护结合起来，可以在不泄露用户隐私的情况下实现图像检索.

1　安全场景

本章将简要介绍加密技术所应用到的安全场景.本文主要关注涉及两方面的安全场景，即需求对图像进行处理的用户和提供图像处理服务的服务商.对于更为详尽的安全模型介绍，读者可以参考Lagendijk等［3］的综述.

第1类是只涉及用户隐私的安全场景.这在云计算中经常出现，例如只提供运算和存储资源的云服务器，它只执行一些众所周知的信号处理任务，因此没必要对自己使用的算法和数据保密.在这种场景中，唯一需要保护的是用户的数据安全，即处理的是用户加密后的数据，而服务器端的相关算法和数据则是明文的.本文将要综述的加密域线性变换、加密图像压缩和安全图像检索应用于该场景.本文将该场景称为部分隐私保护的安全场景.

第2类是除了用户的隐私，服务器端的相关算法和数据也是保密的.该场景下，由于服务器和用户互相都是保密的，也就意味着信号处理任务将完全在加密域下完成.本文要综述的技术中，将加密域线性滤波、特征提取、安全图像隐写和安全机器学习应用于该场景.本文将该场景称为完全隐私保护的安全场景.

2　加密方法与安全计算工具

本章将介绍在加密域图像处理技术中经常使用的一些特定的加密方法和计算工具，这些加密方法考虑了后续图像处理的需求，因此往往会在加密后保持明文的一些性质，从而使得加密域的图像处理更加方便，同时又不失安全性.

2.1同态加密

同态加密是指可以在密文域执行运算，运算后仍是密文，且其解密结果和明文执行对应的运算的结果相一致的加密方法.具体的定义为

D（E（x1*x2））=x1°x2

式中E（·）、D（·）分别为加密运算和解密运算.该加密技术在部分和完全隐私保护场景中都有运用，即用户使用这种技术加密图像后交由服务器进行进一步运算，例如特征提取等.

目前广泛使用的同态加密技术都只能实现有限种类的运算.由于图像处理技术一般需要线性运算，因此能实现明文加法的同态加密（即加同态加密）被广泛采用，例如Paillier加密方法［6］.同态加密的优势是其在加密域运算时无需额外通信.但是其大多采用公钥加密方式，使用长密钥来保证安全，因此计算复杂度较高.此外同态加密目前只能执行定点运算.如果加入小数，那么数据首先要乘以一个放大因子，随后进行量化.而放大因子会在每次加密域乘法中逐渐累积，直至超过加密方法的加密范围，该现象称之为密文膨胀［7］.密文膨胀会严重限制在同态加密域进行计算的算法的精度和复杂度.

2.2安全计算协议

本文将用于补足同态加密所无法执行的加密域运算，例如当乘数与被乘数都被加密时，Paillier无法执行加密域乘法的安全协议称为安全计算协议.这些协议需要用户和服务器相互协作来完成，并绝大多数用于完全隐私保护的安全场景，即用户和服务器需要在互相保密的情况下来执行协议.

为了补足目前同态加密在运算种类上的限制，各种各样的安全计算协议被提出.例如在隐私保护的人脸识别［8］中使用的算术比较协议，可以使服务器和用户在均不知道加密数大小的情况下完成明文排序.Troncoso-Pastoriza等［7］则提出了在 Paillier加密域下对加密内容进行重新量化，从而解决密文膨胀问题的安全计算协议.而有的安全计算协议［9］可以用来在多个同态加密方法中来回切换.

虽然安全计算协议似乎可以完成任何加密域运算，但是需要注意的是，这些运算是依靠用户与服务器间的多轮通信来完成的，因此只适合处理少量数据.

2.3混沌电路

混沌电路［10］可以在加密域运算所有布尔函数，一般也和同态加密混合使用来补足同态加密的不足.该技术首先将要执行的算法转化为布尔电路，随后通过私钥加密方法来保护各个逻辑门的输入输出.混沌电路主要应用于完全隐私保护的安全场景，服务器根据用户要求的服务生成混沌电路，随后用户将该混沌电路下载下来，并使用其来处理图像或图像特征.

虽然混沌电路可以执行任意布尔函数，但是由于它需要对数据的每个二进制位进行加密，因此在可以使用同态加密实现的加密域算法中，其效率一般要比同态加密低.当运行混沌电路时，首先需要执行一个不经意传输协议来保护用户隐私.该协议和用户下载混沌电路操作都包含通信成本.因此相比于安全计算协议，混沌电路在初始化过程中的通信成本较高，但是它在运算时无需额外通信，因此更适合处理一些步骤较多的复杂算法.

2.4保序加密和非对称点积保持加密

保序加密和非对称点积保持加密都用于安全图像检索，用来保护用户的索引和查询，且都在加密后保持明文间关系的一些信息.由于这些信息可以直接应用到检索过程当中，因此当查询使用这些方法加密的索引时，检索效率很高.

保序加密［11-12］可以在加密后使密文保持明文间的大小顺序.由于对密文排序就可以直接完成对明文排序，因此检索用该方法加密的索引效率很高.但是需要注意的是，保留索引的顺序信息可能导致对应存储数据的统计信息泄露［13］.而且保序加密本身的安全性也有待研究，目前的研究表明保序加密肯定会泄露一些额外信息，如明文间的接近程度［14］.

Wong等［15］提出的非对称点积保持加密原本是用来处理安全临近搜索的加密方法.在安全临近搜索中，用户将加密后数据存储在服务器，并在检索时交由服务器在加密域进行检索，同时服务器无法得到关于用户存储数据和查询内容的任何信息.该检索过程与下文将介绍的安全图像检索技术十分相似.非对称点积保持加密可以保持查询与被查询数据间距离的顺序.非对称体现在，加密后，有效的距离运算只能在查询和被查询数据间进行.而查询与查询之间，被查询与被查询数据间在加密后是无法进行运算的.该特点可以有效防止服务器分析用户存储数据和查询的统计信息.

3　基本加密域图像处理操作

在本章中，用户希望将图像交由服务器进行处理，例如使用服务器的滤波器进行滤波，同时就图像内容对服务器保密.本章所介绍的技术有可能作为其他安全图像处理技术的前期准备步骤.

3.1加密域线性变换

离散余弦变换、离散小波变换、离散傅里叶变换和Walsh-Hadamard变换是图像处理中常用的线性变换，且由于这些变换只涉及线性运算，因此可以有效地由同态加密进行加密域实现.但是对于这些变换，相比解决加密域的实现问题，解决密文膨胀问题显得更为关键.

Bianchi等［16-17］提出了加密域的离散傅里叶变换、快速傅里叶变换、离散余弦变换和快速离散余弦变换.这些变换都涉及加密域数乘（即加密信号与未加密变换系数在加密域下相乘），当使用Paillier加密算法时需要使用计算复杂度较高的模指数运算.虽然这些变换可以使用快速算法来提高效率，但是这些快速算均涉及在递归过程中使用放大后的变换系数进行加密域数乘运算，因此会导致严重的密文膨胀问题.

Zheng等［18-19］提出了加密域离散小波变换和Walsh-Hadamard变换.由于Walsh-Hadamard变换的变换系数由±1组成，因此使用同态加密实现时无需放大因子和加密域数乘运算，快速算法也没有密文膨胀问题.加密域离散小波变换由于密文膨胀问题，无法使用快速傅里叶变换来提高效率，这导致其每个尺度的计算复杂度至少为O（n2）.但是当计算有理小波变换时，放大问题因此可以在经历正反变换后，使用乘逆方法 （multiplicative inverse method，MIM）消除.如图1所示，其中E［x］和E［s］分别为加密信号及其小波变换结果，K为放大因子［18］.该方法通过对输出结果与放大因子的模倒数进行模指数运算来消除放大因子.该技术无法应用到加密域离散傅里叶变换和离散余弦变换，因为它们的变换系数包含无理数，使得输出结果无法保证为放大因子的整数倍.

3.2加密域线性滤波

在部分隐私保护的安全场景下，加密域线性滤波可以有效地由同态加密实现，但是其自身特性使得其很难保护服务器持有的滤波器系数［2］.当然依然有一些可以同时保护用户和服务器隐私的安全线性滤波方法.

Hu等［1］提出了2个安全多方图像滤波方案. 第1个方案中通过将滤波结果分为2部分，使得用户和服务器分别持有，来保证滤波结果的安全，但是该结果无法用于后续运算，因此实际意义不大.第2个方案中，通过加入可信任第三方，滤波结果被分为3份交由三方分别持有，该滤波结果可以交由后续运算继续处理.

Troncoso-Pastoriza等［7］提出了一个安全自适应滤波方案.在该方案中，包含一个目标信号持有者A和一个希望使用A的目标信号进行自适应滤波的信号持有者B，双方都希望对各自的信号保密.该方案使用同态加密完成了基于最小均方算法的加密域自适应滤波.虽然最小均方算法只涉及线性运算，但是该算法同样面临密文膨胀问题.密文膨胀问题限制了最小均方算法的迭代步数，导致其无法到达收敛状态.因此该方案，分别基于混沌电路混沌和安全计算协议，进一步提出了2个加密域去除放大因子的方法.

3.3加密域机器学习

聚类、支持向量机、神经网络等是图像检索、人脸识别、表情识别等应用领域常采用的机器学习方法，用于建立映射或者识别模型.由于训练和分类数据以及分类结果可能涉及用户隐私，因此有必要采用隐私保护的机器学习方法，目的是在不泄露其他用户数据的前提下，使用户得知自身数据的分类结果，同时又能保护服务器的分类模型不暴露给用户.

研究者们已经提出了聚类［20-22］、神经网络［23］和支持向量机［24］的加密域实现算法.这些算法由于涉及非线性运算，只使用同态加密是不足以完成加密域实现的，所以有许多安全计算协议被应用到这些算法中.例如算数比较协议被用于线性分支程序［25］的阈值比较，加密切换协议用于在加密域同时实现明文加法和乘法［9］.混沌电路也被用于执行一些机器学习中较为复杂的算法［26］.这最终导致这些算法在执行过程中往往涉及大量的通信成本而难以被用户接受.

3.4加密域图像特征提取

图像特征提取在图像检索、图像配准等应用中用途广泛，但是其算法普遍比较复杂，不适宜在加密域进行.目前的加密域特征提取研究工作主要包括加密域尺度不变特征转换（scale invariant feature transform，SIFT）特征提取算法、加密域加速鲁棒特征（speeded up robust features，SURF）提取算法和基于特征脸的面部特征提取算法等.

Hsu等［27］使用Paillier加密图像，并从中直接提取SIFT特征.该方案还提出了一个无需交互即可完成在Paillier加密域进行数值比较的算法.Bai等［28］提出了加密域SURF特征提取算法.该算法同样通过Pailier加密来进行加密域实现，但是它通过交互通信来完成算法中的非线性运算，因此涉及较高的通信成本.实验结果表明，这2个算法均可以产生与其明文对应算法同样的结果.

Erkin等［8］提出了基于特征脸的人脸识别的加密域实现.特征脸是通过对训练集图像进行主成分分析得到的，而特征提取则将面部图像投影到特征脸所张成的子空间完成.由于投影过程只涉及线性运算，因此，可以有效地由同态加密实现，且无需交互.

4　安全图像隐写

图像隐写指向图像中嵌入不可见信息的技术.它与图像水印的不同点在于，图像水印重视嵌入水印的健壮性而图像隐写重视可嵌入信息的容量.本章将简要介绍安全图像隐写，即对加密后图像进行隐写的技术发展.

第1个安全图像隐写的方案由Puech等［29］提出.该方案对图像使用一种流加密技术进行加密，之后直接使用基于DCT的图像水印技术［30］对加密图像进行信息隐写.虽然使用该种方法进行隐写的加密图像在解密后具有很高的PSNR，但是嵌入后的图像是无法恢复到原始图像的，限制了该技术的应用范围.因此，后续的安全图像隐写研究集中到了安全可恢复图像隐写上.

安全可恢复图像隐写技术是指对加密图像嵌入信息，且在该信息被提取后，图像可以无失真恢复的技术.这种技术适用于同时需要保密和无失真传输图像的应用场景，例如传输医学［31］和军事用途的图像.信道管理员可以将一些额外信息嵌入到图像中，例如数字签名或者数据标记，来帮助图像接收方了解图像的传输过程.

第1个安全可恢复图像隐写技术同样由Puech等［32］提出.该方案中，图像首先被分块，随后由高级加密标准（advanced encryption standard，AES）算法加密，形成若干个分块加密图像.信息以二进制形式嵌入，直接通过对各个分块密文的比特位进行修改来完成.信息提取和图像恢复则借助一般图像的像素间相关性来完成.首先通过对嵌入位置分别尝试2个可能的嵌入值（即0或者1）来进行解密，随后在解密结果中，选择图像的局部标准偏差较小（即像素间相关度高）的结果作为正确的解密结果，从而确定嵌入信息和解密图像.

Zhang［33］提出的安全图像隐写技术与之相似. Zhang的技术中，图像首先以像素点为单位进行加密，随后在进行信息嵌入时进行分块.信息嵌入时，加密图像的每个分块被进一步分为2个加密像素集合.随后根据嵌入信息的值来选择修改哪个集合中的加密像素值.信息提取和图像恢复则同样按照Peuch等［32］方案中的借助像素间相关性来完成.由于该技术中，图像分块的步骤是在加密之后，因此信息的嵌入位置更加灵活.Zhang［34］还进一步提出了一个可分离的安全可恢复图像隐写技术，该技术中图像恢复和信息提取分别由2个不同的密钥控制.而根据接收方所持有的密钥不同，图像恢复和信息提取可以分开进行.关于安全可恢复图像隐写的其他研究工作［35-37］则主要集中在提高嵌入效率上.

5　加密图像压缩

传统的加密信号传输过程是先压缩再加密后压缩，然而该过程是可以改变的，即压缩加密信号［2］.其原理是，在使用对称加密时，密文和密钥是相关的，由于接收方持有密钥，因此密文是可以压缩的.具体来讲，压缩是通过对密文进行信道编码，而后只传输校验位，接收方则通过校验位和密钥来恢复信息.

对于加密图像，除了密钥和密文间的相关性，像素间的相关性同样可以用来压缩加密图像.目前已经有各种各样的方法被提出用来压缩加密图像，这些方法具体可以分为2类:一类是根据Ishwar等［38］所提出的，基于 Slepian-Wolf理论［12］和 Wyner-Ziv理论［39］，使用分布式信源编码来压缩加密图像的方法，这些方法主要集中在无损压缩方面；另一类方法则主要集中于有损压缩方面，大多采用量化的方法来实现压缩.

5.1基于分布式信源编码的加密图像压缩

基于分布式信源编码的加密图像压缩方法均采用Ishwar等所提出的方法框架，且全部是无损压缩方法，这些方法致力于寻找更好的去除像素间相关性的方法来提高压缩效率.

Schonberg等［40］提出了针对二值图像的压缩方法.该方法对图像使用马尔科夫场建模，通过利用加密图像中的空间相关性，其压缩率比直接使用Ishwar方法来压缩加密图像要更高.Schonberg等［41］还提出了加密视频压缩方法，并通过该方法利用视频的时间相关性来进一步提高压缩率.对于单帧图像，该方法使用之前提出的二值加密图像压缩方法来压缩单帧的最高、次高比特位.对于多帧压缩，该方法通过多帧预测产生一个对当前解码帧的估计，辅助解码，从而可以获得更高的压缩率.

Lazzeretti等［42］提出了第1个适用于灰度和彩色加密图像的压缩方法.对于灰度图像，在图像被加密前，对图像每个像素点使用其邻近的像素点进行预测，用预测值替换原始像素值，从而去除比特平面的空间相关性.对于彩色图像，则在加密前将图像从RGB空间转至YCbCr空间，为了保证无损压缩，采用的是一个整数近似转换方法.由于在YCbCr空间中各个颜色分量独立，因此可以对每个颜色分量单独使用灰度图像的压缩方法进行压缩.

Monica等［43］和Liu等［44］提出了加密图像的分辨率渐进压缩方法.该方法首先将加密图像下采样从而得到图像的多分辨率表示.随后该方法将除最低分辨率之外的子图像全部根据基于Slepian-Wolf理论的方法进行压缩.接收方首先接收到的是未经压缩的最低分辨率图像，随后针对其他分辨率的子图像通过插值生成预测，来辅助恢复其他子图像.由于考虑到多分辨率中像素的相关性，该方法的压缩效率比 Schonberg等［41-45］压缩单帧图像的方法更高.

5.2其他加密图像压缩方法

除了基于分布式信源编码的压缩方法，人们也提出了其他的加密图像压缩方法.这些方法所使用的加密和压缩手段各不相同，因此难以通过统一的理论框架对其安全性和压缩能力进行评估.

Kumar等［46］首次提出了基于压缩感知对加密图像进行有损压缩的方法，该方法的加密方法是对图像进行乱序操作，随后对其进行压缩感知，即与度量矩阵相乘，之后再进行量化.在接收方，首先进行反量化，随后使用基追踪（basis pursuiting）来重建图像.

类似Wyner-Ziv理论，Kang等［47］证明了使用乱序加密，采用率失真编码方法进行压缩时，先加密再压缩可以达到与先压缩再加密相同的压缩率和安全性.而Zhang［48］则提出了具体实现方法，该方法对图像大部分区域进行乱序来加密，随后通过对加密图像的正交变换系数进行量化和求模来实现压缩.

Zhang等［49］还进一步提出了加密图像的可扩展压缩方法，该方法通过对图像的每个像素点加一个伪随机数来进行加密.与Monica等［43］和Liu等［44］的方法类似，该方法同样先通过下降采样得到图像的多分辨率表示，并对除了最低分辨率之外的子图像进行压缩.压缩方法是对加密图像进行Walsh-Hadamard变换，随后对变换系数进行量化.接收方首先解密获得最低分辨率图像，随后通过接收其他分辨率图像的变换系数来逐级恢复出高分辨率的图像.

Rengarajaswamy等［50］提出了一种基于多极树集合分裂算法（set partitioning in hierarchical trees，SPIHT）的加密图像压缩方法，其中SPIHT是一种高效的小波图像压缩算法.该方法首先对每个像素点单独进行随机异或加密，得到加密图像，然后利用SPIHT算法对加密图像进行压缩编码.该方法既可以实现有损压缩，也可无损压缩.Kang等［51］则使用上下 文 自 适 应 插 值 方 法 （contextadaptive interpolation，CAI）来进一步提高了该方法的压缩效率.

6　安全图像检索

安全图像检索是指在不解密数据、避免信息泄露的前提下进行检索，目的在于提供足够安全性的同时，达到和明文检索相当的检索性能.这种技术对于管理、检索存储在第三方的加密数据有重要的应用价值.例如个人邮箱、云存储和医疗数据等.目前加密域的图像检索技术都是基于内容的图像检索（content-based image retrieval，CBIR）框架提出的. CBIR是目前一种主流的图像检索技术，其基本思想是利用图像的特征来表征图像的内容，通过特征的相似度匹配，将特征相似的图像作为检索结果.

根据加密过程与检索过程中特征提取的先后顺序，加密域图像检索可以分为基于加密特征的检索和基于加密图像的检索2类.

6.1基于加密特征的安全图像检索

基于加密特征的检索是在CBIR框架中加入加密环节，其基本思想是首先提取图像的特征，然后对特征进行加密，对加密后的特征进行相似性对比，将特征最相似的作为检索结果，具体过程如图2所示.

Lu等［52］提出了一种基于特征向量的安全图像检索方案.该方案由3个加密方法组成.首先对图像特征的每个比特平面进行随机化，即打乱比特平面顺序，并与伪随机序列异或.随后将特征的每一维度转化为一元数表示，并再次乱序，与伪随机序列异或.最后，特征被随机投影到一个相对低维空间.由于特征加密时，只要密钥相同，距离即可近似保持，因此检索时，只要查询和加密索引使用相同密钥加密，即可在加密域完成检索.Lu等通过组合这3种方法，使得该检索方案的安全性相对较高，可以抵抗已知明文攻击（known plain-text attack，KPA）.

Abdulsada等［53］提出了一种基于局部敏感哈希和非对称点积保持加密（asymmetric scalar-productpreserving encnyption，ASPE）方法［15］的安全检索方法.其中局部敏感哈希用来在加密前建立快速索引来提高效率.随后非对称点积保持加密被用于索引和查询加密.该方案由于使用了局部敏感哈希，因而可以应对较大规模的检索任务.

除了使用特征向量，图像检索还可以借助视觉词汇树方法，使用倒排索引来完成.倒排索引在加密域文本检索中已经有着广泛的应用，基于各种加密方法的检索方案也已经被提出，其中包括同态加密［13，54］、保序加密［55-56］和非对称点积保持加密［57-58］.

Lu等［59］提出了2个基于倒排索引的安全图像检索方案.这2个方案分别使用保序加密和Min-Hash［60］来加密索引.由于保序加密在加密后可以保持倒排索引中的词频反文档频率（term frequencyinverse document frequency，TF-IDF）值，因此检索可以直接在加密域通过对比Jaccard相似度来完成. Min-Hash方法是对提取的视觉单词利用随机Hash函数映射后，根据Jaccard相似度准则进行度量，即计算Min-Hash值相等数量，从而判断2幅图像的相似性.虽然实验表明这2个方案都有良好的检索性能，但是它们都会在KPA下泄露信息，因此这2个方案的安全性要比Lu等［52］提出的基于特征向量的安全检索方案低一些.

6.2基于加密图像的安全图像检索

基于加密图像的检索是用户对图像进行加密，并将加密后的图像提交到服务器端，特征提取和相似性度量则在服务器端完成.服务器端无需解密即可完成检索，因此可以有效保证用户图像信息的安全.

这种方法比较具有代表性的是Hsu等［27］的方法，该方法基于所提出的加密域SIFT特征提取算法，提出了加密域SIFT特征对比方法.对于2个特征矢量的相似度，使用L1距离进行度量，实现了加密图像的检索.研究结果表明:采用这种加密域的图像检索方法可以获得与明文域图像检索相当的性能.

与基于加密特征的图像检索相比，这种方法需要对图像的每个像素点进行加密，因此计算数据量大，计算复杂度高.

7　挑战与展望

本文介绍了加密域图像处理技术在近些年的研究进展情况，虽然有许多图像处理技术已经可以在保护隐私的情况下实现，但该技术依旧面临许多问题.具体包括:

第一个挑战是加密域的计算精度和密文膨胀问题.同态加密作为加密域图像处理的重要工具是许多技术和应用的基础.但是同态加密只支持定点运算，导致可以实现的算法精度和复杂度受到严重限制.而后者带来的问题更为严重，因为这导致许多加密域基础图像处理技术的结果无法继续在加密域做进一步处理.因此加密域图像处理技术对在同态加密域进行浮点运算的需求尤为迫切.

对于安全图像隐写，该研究首先面临的问题是缺乏标准库来对方案进行评价.虽然处理医学图像是该技术的主要应用之一，但是在所有回顾的文章中，只有一张医学图像参与了实验，其他图像多为普通的照片，且各个方案所使用的图像也各不相同，造成很难对这些方案的性能进行比较.对于安全可恢复图像隐写，该技术还面临另一个难题.关于该技术的方案所采用的恢复方案都是基于图像像素相关信息的，而该信息会随着图像的不同而不同.这意味着图像恢复后是否无失真是不确定的.对于明文域的可恢复图像隐写，可以通过事先检查提取信息后的图像是否无失真来保证嵌入信息后图像的可恢复性.但是这对于安全图像隐写是不现实的，因为只有解密图像后才能检查是否失真.而在安全图像隐写的应用场景中，嵌入信息方是无法解密图像的.因此安全可恢复图像隐写需要一种可以在解密图像前，估计嵌入信息后加密图像是否可无失真恢复的方法.实际上，加密信号压缩也面临过类似的问题，即在不解密信号的情况下估计信号的熵来确定压缩率，具体问题则可以参考Schonberg等［61］的研究.

对于基于Slepian-Wolf理论的加密图像压缩方法，其性能依旧有提升空间.因为目前大多采用较为简单的方法来去除图像像素间的相关性，因此如果采用较为先进的基于小波或者离散余弦变换的方法，其性能可能会进一步提高.加密图像压缩面临的另一个问题是该技术缺乏具体的应用场景.不过正如Zhang［34］所提及的，该技术可以与安全图像隐写相结合，对嵌入信息后的加密图像进行进一步无失真压缩，而不影响后续的图像恢复和信息提取操作.但是目前还没有针对嵌入信息后的加密图像的压缩方法.

在安全图像检索方面，虽然目前已经有一些技术可以实现高效的加密域图像检索，但是其安全模型依旧有待研究.目前的研究工作都大多只考虑了用户的密钥安全，而在安全图像检索场景下，除了密钥，用户的隐私安全还涉及许多其他方面.这在云安全检索中已经有一些值得参考的研究工作［57］.此外，相较于安全图像检索，人们对加密域文本检索已经进行了大量的研究工作，并得出了许多有意义的成果.由于图像检索在使用视觉词汇来表示图像时，其检索过程与检索文本相似，因此可以更多地尝试将加密域文本检索的技术应用到安全图像检索中.

最后，全同态加密［62］将会对加密域图像处理技术带来巨大影响.当所有操作均可以在同态加密域下实现，安全计算协议将会失去价值，而许多图像处理技术将可以轻而易举地在加密域实现.但是由于目前全同态加密还无法实际应用，因此这期间依旧需要开发出更高效的安全协议来弥补当前同态加密的不足.同时目前还有大量的图像处理技术没有对应的安全方法实现，在这方面依旧有很多工作可以进行.

［1］HU N，CHEUNG S S，NGUYEN T.Secure image filtering ［C］∥ ImageProcessing，2006IEEEInternational Conference on.Piscataway，N J:IEEE，2006:1553-1556.

［2］ERKIN Z， PIVAA， KATZENBEISSERS， etal. Protection and retrieval of encrypted multimedia content: when cryptographymeetssignalprocessing［J/OL］. EURASIP Journal on Information Security，2007，2007 （17）:1-20［2015-01-11］.http:∥dx.doi.org/10.1155/ 2007/78943.

［3］LAGENDIJK R L，ERKIN Z，BARNI M.Encrypted signal processing for privacy protection:conveying the utility of homomorphic encryption and multiparty computation［J］. Signal Processing Magazine，2013，30（1）:82-105.

［4］PUECH W，ERKIN Z，BARNI M，et al.Emerging cryptographic challenges in image and video processing［C］∥Image Processing（ICIP），2012 19th IEEE International Conference on.Piscataway，NJ:IEEE，2012:2629-2632.

［5］BIANCHI T，PIVA A.Secure watermarking for multimedia content protection:a review of its benefits and open issues ［J］.Signal Processing Magazine，2013，30（2）:87-96.

［6］PAILLIERP.Public-keycryptosystemsbasedon composite degree residuosity classes［C］∥Advances in Cryptology—EUROCRYPT'99.Berlin:Springer，1999: 223-238.

［7］TRONCOSO-PASTORIZA J R，PÉREZ-GONZÁLEZ F. Secure adaptive filtering［J］.Information Forensics and Security，IEEE Transactions on，2011，6（2）:469-485.

［8］ERKIN Z，FRANZ M，GUAJARDO J，et al.Privacypreserving face recognition［C/OL］∥Privacy Enhancing Technologies.Berlin:Springer，2009:235-253［2015-02-07］.http:∥dx.doi.org/10.1007/978-3-642-03168-7_ 14.

［9］UPMANYU M，NAMBOODIRI A M，SRINATHAN K，et al.Blindauthentication:asecurecrypto-biometric verification protocol［J］.InformationForensicsand Security，IEEE Transactions on，2010，5（2）:255-268.

［10］BELLAREM，HOANGVT，ROGAWAYP. Foundations of garbled circuits［C/OL］∥Proceedings of the2012ACMConferenceonComputerand Communications Security.New York，NY:ACM，2012: 784-796［2015-02-08］.http:∥doi.acm.org/10.1145/ 2382196.2382279.

［11］AGRAWAL R，KIERNAN J，SRIKANT R，et al.Order preserving encryptionfornumericdata［C/OL］∥Proceedings of the 2004 ACM SIGMOD International Conference on Management of Data.Newyork，NY: ACM，2004:563-574［2015-02-08］.http:∥doi.acm. org/10.1145/1007568.1007632.

［12］SLEPIAN D，WOLF J K.Noiseless coding of correlated information sources［J］.InformationTheory，IEEE Transactions on，1973，19（4）:471-480.

［13］LU P，YU J，DONG X，et al.Privacy-aware multikeyword top-k search over untrust data cloud［C］∥Parallel and Distributed Systems（ICPADS），2012 IEEE 18thInternationalConferenceon.Piscataway，NJ: IEEE，2012:252-259.

［14］BOLDYREVA A，CHENETTE N，LEE Y，et al.Orderpreserving symmetric encryption［M/OL］∥Advances in Cryptology-EUROCRYPT 2009.Berlin:Springer，2009: 224-241［2015-02-13］.http:∥dx.doi.org/10.1007/ 978-3-642-01001-9_13.

［15］WONG W K，CHEUNG D W，KAO B，et al.Secure kNN computation on encrypted databases［C/OL］∥Proceedings of the 2009 ACM SIGMOD International Conference on Management of Data.New York，NY: ACM，2009:139-152［2015-02-13］.http:∥doi.acm. org/10.1145/1559845.1559862.

［16］BIANCHI T，PIVA A，BARNI M.On the implementation of the discrete Fourier transform in the encrypted domain ［J］.InformationForensicsandSecurity，IEEE Transactions on，2009，4（1）:86-97.

［17］BIANCHI T，PIVA A，BARNI M.Encrypted domain DCT based on homomorphic cryptosystems［J/OL］. EURASIP Journal on Information Security，2009，2009 （1）:1-12［2015-02-13］.http:∥dx.doi.org/10.1155/ 2009/716357.

［18］ZHENG P，HUANG J.Discrete wavelet transform and data expansionreductioninhomomorphicencrypted domain［J］.Image Processing，IEEE Transactions on，2013，22（6）:2455-2468.

［19］ZHENG P，HUANG J.Walsh-Hadamard transform in the homomorphic encrypted domain and its application in image watermarking［C/OL］∥ InformationHiding. Berlin:Springer，2013:240-254［2015-02-14］.http: ∥dx.doi.org/10.1007/978-3-642-36373-3_16.

［20］JAGANNATHANG，PILLAIIPAKKAMNATTK，WRIGHT R N.A new privacy-preserving distributed kclustering algorithm［C］∥Proceeding of the 2006 SIAM Internation on Data Mining.Bethesda，MD:SDM，2006: 494-498.

［21］JAGANNATHAN G，WRIGHT R N.Privacy-preserving distributed k-means clustering over arbitrarily partitioned data［C/OL］∥ ProceedingsoftheEleventhACMSIGKDDInternationalConferenceonKnowledge Discovery in Data Mining.New York，NY:ACM，2005: 593-599［2015-02-22］.http:∥doi.acm.org/10.1145/ 1081870.1081942.

［22］LIU J，HUANG J Z，LUO J，et al.Privacy preserving distributed DBSCAN clustering［C/OL］∥Proceedings of the 2012 Joint EDBT/ICDT Workshops.New York，NY: ACM，2012:177-185［2015-02-22］.http:∥doi.acm. org/10.1145/2320765.2320819.

［23］BARBOSA M，BROUARD T，CAUCHIE S，et al. Secure biometric authentication with improved accuracy ［C/OL］∥Information Security and Privacy.Berlin: Springer，2008:21-36［2015-02-22］.http:∥dx.doi. org/10.1155/2007/37343.

［24］BARBOSA M，BROUARD T，CAUCHIE S，et al. Secure biometric authentication with improved accuracy ［C/OL］∥Information Security and Privacy.Berlin: Springer，2008:21-36［2015-02-22］.http:∥dx.doi. org/10.1007/978-3-540-70500-0_3.

［25］BARNI M，FAILLA P，LAZZERETTI R，et al.Privacypreserving ECG classification with branching programs and neural networks［J］.Information Forensics and Security，IEEE Transactions on，2011，6（2）:452-468.

［26］NIKOLAENKO V，WEINSBERG U，IOANNIDIS S，et al.Privacy-preserving ridge regression on hundreds of millions of records［C］∥Security and Privacy（SP），2013 IEEE Symposium on.Piscataway，NJ:IEEE，2013:334-348.

［27］HSU C Y，LU C S，PEI S C.Image feature extraction in encrypted domain with privacy-preserving SIFT［J］. Image Processing，IEEE Transactions on，2012，21 （11）:4593-4607.

［28］BAI Y，ZHUO L，CHENG B，et al.Surf feature extraction in encrypted jomain［C］∥Multimedia and Expo （ICME），2014IEEEInternationalConferenceon. Piscataway，NJ:IEEE，2014:1-6.

［29］PUECHW， RODRIGUESJM.Anewcryptowatermarking method for medical images safe transfer［C］∥Signal Processing Conference，2004 12th European. Piscataway，NJ:IEEE，2004:1481-1484.

［30］LO-VARCO G，PUECH W，DUMAS M.DCT-based watermarking method using error correction coding［C］∥ICAPR′03:International Conference on Advances in Pattern Recognition.Verlay Bevlin Heidelberg:Calcutta，2003:347-350.

［31］HUANG H C，FANG W C.Integrity preservation and privacy protection for medical images with histogrambased reversible data hiding［C］∥Life Science Systems and Applications Workshop（LiSSA），2011 IEEE/NIH. Piscataway，NJ:IEEE，2011:108-111.

［32］PUECH W，Chaumont M，Strauss O.A reversible data hiding method for encrypted images［C］∥Electronic Imaging 2008，InternationalSocietyforOpticsand Photonics.Bellingham，WA:SPIE，2008:68191E-68191E-9.

［33］ZHANG X.Reversible data hiding in encrypted image ［J］.Signal Processing Letters，2011，18（4）:255-258.

［34］ZHANG X.Separable reversible data hiding in encrypted image［J］.Information Forensics and Security，IEEE Transactions on，2012，7（2）:826-832.

［35］WU X，SUN W.High-capacity reversible data hiding in encrypted images by prediction error［J/OL］.Signal Processing，2014，104:387-400［2015-02-26］.http:∥www.sciencedirect.com/science/article/pii/S016516841 4002138.doi:10.1016/j.sigpro.2014.04.032.

［36］ZHANG W，MA K，YU N.Reversibility improved data hiding in encrypted images［J/OL］.Signal Processing，2014，94:118-127［2015-02-26］.http:∥ www. sciencedirect.com/science/article/pii/S0165168413002417. doi:10.1016/j.sigpro.2013.06.

［37］ZHANG X，QIAN Z，FENG G，et al.Efficient reversible data hiding in encrypted images［J/OL］.Journal of Visual Communication and Image Representation，2014，25（2）:322-328［2015-02-26］.http:∥ www. sciencedirect.com/science/article/pii/S1047320313001892. doi:10.1016/j.jvcir.2013.11.001.

［38］ISHWAR P，PRABHAKARAN V，RAMCHANDRAN K. Compressing encrypted sources using side-information coding［C］∥ISIT 2004.Piscataway，NJ:IEEE，2004: 210.

［39］WYNER A D，ZIV J.The rate-distortion function for source coding with side information at the decoder［J］. Information Theory，IEEE Transactions on，1976，22 （1）:1-10.

［40］SCHONBERG D，DRAPER S，RAMCHANDRAN K.On compression of encrypted images［C］∥Image Processing，2006 IEEE International Conference on.Piscataway，NJ: IEEE，2006:269-272.

［41］SCHONBERG D，YEO C，DRAPER S C，et al.On compression of encrypted video［C］∥Data Compression Conference，2007.Piscataway，NJ:IEEE，2007:173-182.

［42］LAZZERETTI R，BARNI M.Lossless compression of encrypted grey-level and color images［C］∥Signal Processing Conference，2008 16th European.Piscataway，NJ:IEEE，2008:1-5.

［43］MONICA D N，SHUNMUGANATHAN K L，SURESH L P.Efficient compression of encrypted grayscale images ［C］∥Signal Processing，Communication，Computing andNetworkingTechnologies（ICSCCN），2011 International Conference on.Piscataway，NJ:IEEE，2011:564-568.

［44］LIU W，ZENG W，DONG L，et al.Efficient compression of encrypted grayscale images［J］.Image Processing，IEEE Transactions on，2010，19（4）:1097-1102.

［45］SCHONBERG D H.Practical distributed source coding and its application to the compression of encrypted data ［M］.Ann Arbor，Michigan:ProQuest，2007:84-99.

［46］KUMAR AA，MAKURA.Lossycompressionof encrypted image by compressive sensing technique［C］∥TENCON2009-2009IEEERegion10Conference. Piscataway.NJ:IEEE，2009:1-5.

［47］KANG W，LIU N.Compressing encrypted data:a permutation approach［C］∥Communication，Control，and Computing（Allerton），2012 50th Annual Allerton Conference on.Piscataway，NJ:IEEE，2012:1382-1386.

［48］ZHANGX.Lossycompressionanditerative reconstruction for encrypted image［J］.Information Forensics and Security，IEEE Transactions on，2011，6 （1）:53-58.

［49］ZHANG X，FENG G，REN Y，et al.Scalable coding of encryptedimages［J］.ImageProcessing，IEEE Transactions on，2012，21（6）:3108-3114.

［50］RENGARAJASWAMYC，ROSALINESI.SPIRT compression on encrypted images［C］∥Information& CommunicationTechnologies（ICT），2013IEEE Conference on.Piscutaway，NJ:IEEE，2013:336-341.

［51］KANG X，XU X，PENG A，et al.Scalable lossy compression for pixel-value encrypted images［C］∥Data CompressionConference（DCC）.Piscataway，NJ: IEEE，2012:400-400.

［52］LU W，VARNA A L，SWAMINATHAN A，et al.Secure imageretrievalthroughfeatureprotection［C］∥Acoustics，Speech and Signal Processing，2009 IEEE International Conference on.Piscataway，NJ:IEEE，2009:1533-1536.

［53］ABDULSADA A I，ALI A N，ABDULJABBAR Z A，et al.Secure image retrieval over untrusted cloud servers ［J］.International Journal of Engineering and Advanced Technology，2013，3:140-143.

［54］YU J，LU P，ZHU Y，et al.Toward secure multikeyword top-k retrieval over encrypted cloud data［J］.Dependable and Secure Computing，IEEE Transactions on，2013，10 （4）:239-250.

［55］WANG C，CAO N，LI J，et al.Secure ranked keyword search over encrypted cloud data［C］∥Distributed ComputingSystems（ICDCS），2010IEEE30th International Conference on.Piscataway，NJ:IEEE，2010:253-262.

［56］WANG C，CAO N，REN K，et al.Enabling secure and efficient ranked keyword search over outsourced cloud data［J］.ParallelandDistributedSystems，IEEE Transactions on，2012，23（8）:1467-1479.

［57］CAO N，WANG C，LI M，et al.Privacy-preserving multi-keyword ranked search over encrypted cloud data ［J］.ParallelandDistributedSystems，IEEE Transactions on，2014，25（1）:222-233.

［58］YANG C，ZHANG W，XU J，et al.A fast privacypreserving multi-keyword search scheme on cloud data ［C］∥Cloud and Service Computing（CSC），2012 International Conference on.Piscataway，NJ:IEEE，2012:104-110.

［59］LU W，SWAMINATHAN A，VARNA A L，et al. Enabling search over encrypted multimedia databases［C/ OL］∥International Society for Optics and Photonics. IS&T/SPIE Electronic Imaging，2009:725418-725418-11［2015-03-24］.http:∥dx.doi.org/10.1117/12. 806980.

［60］BRODER A Z，CHARIKAR M，FRIEZE A M，et al. Min-wise independent permutations［J/OL］.Journal of Computer and System Sciences，2000，60（3）:630-659 ［2015-03-01］.http:∥doi.acm.org/10.1145/276698. 276781.

［61］SCHONBERG D，DRAPER S C，RAMCHANDRAN K. On blind compression of encrypted data approaching the source entropy rate［C］∥Signal Processing Conference，2005 13th European.Piscataway，NJ:IEEE，2005:1-4.

［62］GENTRY C.Fully homomorphic encryption using ideal lattices［C/OL］∥STOC.New York，NY:ACM，2009: 169-178［2015-03-24］.http:∥doi.acm.org/10.1145/ 1536414.1536440.

（责任编辑 吕小红）

Image Processing in Encrypted Domain:a Comprehensive Survey

ZHUO Li，LONG Haixia，PENG Yuanfan，LI Xiaoguang，ZHANG Jing
（College of Metropolitan Transportation，Beijing University of Technology，Beijing 100124，China）

With the ever increasing concern of privacy security，signal processing in encrypted domain has drawn considerable attentions.Since an image often contain much personal and privacy information，it is also necessary to process images in a privacy protection manner.This article reviewed the recent advances in secure image processing in a variety of fields，including fundamental image processing techniques like linear transforms，linear filtering and feature extraction in encrypted domain and further image processing applications like secure image data hiding，secure image retrieval and encrypted image compression.The future research trends and prospects in these directions were also presented in this article.

encrypted domain；image processing；privacy preserving

U 38；TP 391

A

0254-0037（2016）02-0174-10

10.11936/bjutxb2015040056

2015-04-20

国家自然科学基金资助项目（61372149）；北京市自然科学基金资助项目（4142009）

卓 力（1971—），女，教授，主要从事图像/视频的编码与传输、多媒体内容分析和多媒体信息安全方面的研究，E-mail:zhuoli@bjut.edu.cn