基于CMOS图像传感器的压缩感知成像算法

张淑芳，瞿广财，徐江涛，李 凯

(天津大学电子信息工程学院，天津 300072)

压缩感知(compressive sensing，CS)是近几年提出的新研究领域，它以信号的稀疏表示和逼近理论为基础，充分利用了信号结构的稀疏特性，通过低维空间、欠奈奎斯特采样数据的非相关测量实现高维稀疏信号的感知[1-3]．它突破了奈奎斯特采样定理的限制，将信号采样和压缩同时进行，使得低采样高分辨率信号重构成为可能．压缩传感理论带来了信号采集理论的变革，在压缩成像、模拟信息转换、医学图像处理、无线传感网络和生物传感等领域具有广阔的应用前景．

国内外学者对压缩感知成像系统进行了大量研究．2006年Rice大学研制了一种单像素压缩感知成像系统[4]，利用数字微镜装置(digital micromirror device，DMD)完成图像在随机二值模型上线性投影的光学计算．该系统为低像素相机拍摄高质量图像提供了可能，但它需要时序上的多次测量才能采集到图像重构所需的足够数据，无法应用在实时场合．MIT的Fergus等[5]提出一种使用“随机镜头”的相机，该相机将镜头用随机反射镜面替代，在使用前需对相机进行耗时且复杂的校准．Duke大学的 COMP-I小组提出采用多孔径技术实现更薄的相机[6]，系统使用孔径成像及金属掩膜达到焦平面编码的目的，最后运用重构算法得到重构图像．该系统结构较为复杂，实现困难．2008年 Robucci等[7]提出了基于压缩感知的CMOS图像传感器，在 A/D转换之前应用压缩感知理论对模拟信号进行压缩计算，从而以较低的功耗获得较高的图像分辨率．它首先将图像分成不重叠的块，然后应用压缩感知理论对每一图像块的模拟像素矩阵进行压缩计算．该方法需要增加模拟寄存器来存储随机矩阵和其他的附加电路，实现复杂．2009年Jacques等[8]提出基于随机卷积的CMOS压缩成像方法，它通过控制移位寄存器来对光电转换得到的模拟信号进行随机卷积计算，从而实现对模拟信号的压缩．该方法与 Robucci等提出的方法相比，具有实现电路简单、抗噪性能良好和非线性等优点，但它利用移位寄存器产生伪随机码，并在每一像素中放置一个一位的存储单元，需要额外的工艺流程，并且需进行多次移位操作获取测量值，降低了图像获取效率．

本文在上述研究的基础上，提出了一种新的基于CMOS图像传感器的压缩感知成像算法．该算法以压缩感知理论为基础，引入了并行处理的理念，对A/D转换前的模拟像素矩阵以列为单位进行压缩计算，可并行获取多个测量值．该方法的实现电路简单，并且运用并行处理的思想有效缩短了测量值的获取时间，大大降低了CMOS图像传感器的功耗．

1 压缩感知理论

如果信号在某变换域中大部分元素都为零，则信号在该变换域是稀疏的．一般来说时域内的自然信号都是非稀疏的，但在某些变换域中则可能是稀疏的．根据调和分析理论，一个长度为 N 的一维离散时间信号，是 RN空间N×1维的列向量，可以表示为

式中：Ψ为N×N维标准正交基；s是信号x在该正交基上展开的系数向量．iΨ为正交基Ψ中的列向量，维系数向量s中的元素，如果系数向量s中仅有K个元素不为零，信号x可用N个基向量中K个基向量的线性组合表示，则称x是K阶稀疏信号．

压缩感知是建立在信号稀疏表示基础上的信号采样理论，可实现对稀疏信号的直接采样．该理论指出，任意N维K阶稀疏信号x的稀疏表示s可通过x在 RN空间的维随机测量值y以很高的概率精确重建，随机测量过程的数学表示为

式中：y为M维随机测量值；Φ为M×N维随机测量矩阵．当ΦΨ满足约束等距特性(restricted isometry property，RIP)[9]时，通过求解 l1-范数约束最优化问题，从欠定方程式(2)M 个测量数据中重构出信号 x的最优稀疏解ˆs，即

文献[9]从大量自然图像的离散梯度都是稀疏的角度出发，提出了适合二维图像压缩重构的最小全变分法(total variation，TV)，其重构质量较好，但重构速度较慢，2009年Li[10]在此基础上提出了基于最小全变分法的TVAL3算法，它将全变分法和增广拉格朗日函数相结合来有效提高图像重构的速度和质量.

压缩感知由少量线性测量值通过求解最优化问题直接得到信号的压缩表示，降低了对传感器件分辨率的要求，使得低采样超高分辨率信号获取成为可能.

2 基于压缩感知的CMOS成像算法

2.1 传统CMOS图像传感器信号采集和处理方法

目前常用的图像传感器分为 CCD和 CMOS两种．尽管在相同像素下 CCD的成像通透性、明锐度都很好，但是 CCD制造工艺较复杂，功耗较高．CMOS图像传感器在标准 CMOS工艺制程下制造，可将读出电路、模数转换电路和图像信号处理等全部集成到单芯片中，具有较高的集成度，其功耗和成本都得到了大幅度的下降．同时，CMOS 图像传感器通过采用影像光源自动增益补偿技术、自动亮度控制、边缘增强以及伽马矫正等先进的影像控制技术，完全可以达到与 CCD图像传感器相媲美的效果，使得CMOS图像传感器的应用越来越广泛．

CMOS图像传感器分为无源像素传感器(PPS)和有源像素传感器(APS)两种．PPS的填充系数和量子效率都很高，但读出噪声和功耗较高．APS中每一像素内都有自己的放大器，在像素内引入缓冲器或放大器可以改善像素的性能，目前大量广泛采用的是APS传感器．传统的 CMOS图像传感器信号采集处理流程如图 1所示．对采集数据的压缩是在 A/D转换之后进行的，对于高分辨率高帧率图像的获取，需要高速率宽频带的 A/D转换模块，这不仅导致了功耗的提高并且会使制造成本增加；并且在压缩编码时仅对采样数据变换(DCT或者小波)后少数绝对值较大的系数进行，而抛弃大量为零或者接近于零的系数，从而对采样资源造成大量浪费．

图1 传统CMOS图像传感器信号采集处理流程Fig.1 Signal acquisition and processing flow of traditional CMOS image sensor

2.2 基于压缩感知的CMOS成像算法

如果在 CMOS图像传感器中引入压缩感知技术，在图像光电转换之后，直接对模拟信号进行压缩感知采样，将信号采集和压缩并行进行，然后再对其进行A/D转换，就可有效减少输入A/D转换模块的数据量，提高 A/D转换的速度，降低系统功耗．基于压缩感知的 CMOS图像传感器信号采集处理流程如图2所示．

图2 基于压缩感知的CMOS图像传感器信号采集处理流程Fig.2 Signal acquisition and processing flow of CMOS image sensor based on compressive sensing theory

文献[7]和[8]基于上述思路提出了相应的实现方法，但文献[7]的实现方法对电路改动较大，实现比较困难；文献[8]对此进行了改进，通过采用随机卷积来实现对模拟信号的压缩感知，实现方法较前者容易，但移位寄存器的初始化过程比较耗时，因此获取测量值的效率很低，功耗大且获取时间长．

为了克服上述实现方法的缺点，本文采用了并行处理的理念，基于压缩感知理论对 A/D转换前的模拟像素矩阵以列为单位进行压缩计算，可并行获取多个测量值，大大缩短了测量值的获取时间，降低了CMOS图像传感器的功耗．并且该方法的实现电路简单，需要的附加电路较少，较容易实现．

2.2.1 压缩采样算法的实现

对于CMOS图像传感器A/D转换前N×N的模拟像素矩阵，如果把该矩阵表示为长度为2N的一机测量矩阵，y表示 K( K ≪N2)维测量值，一般在时可以较大的概率精确恢复原始图像．

为了加快压缩采样速度，本文以列为单位对 N2个像素进行并行压缩采样，采样时将每一列的 N个像素作为一个单位，对 N列进行并行处理，即对于每一个随机向量，在压缩采样时 N列都同时乘以该随机向量，一次就可得到 N个测量值，取 M 个随机向量则可得到M×N个测量值．该过程可表示为

用矩阵的形式可表示为

式中：XN×N为 N×N 维的模拟像素矩阵；xi(i＝1，2，3，…，N)为X的 N 维列向量；YM×N为测量值矩阵；为Y的 M 维列向量；ΦM×N为随机测量矩阵；jΦ(j＝1，2，3，…，M)为Φ的行向量．

从式(4)和式(5)可以看出，在进行压缩采样时，对于每一个随机测量行向量jΦ，通过与X中每一个列向量xi相乘得到 N个测量值，将这些测量值进行A/D转换得到最终的输出值．对于M≪N个随机测量行向量，共可得到 M×N个测量值，这里取 M＝N/P，那么该方法重构图像所需要的测量值的个数K＝M×N＝N2/P．但由于采用了并行计算的理念，在设计电路时，每一个jΦ与N个列向量xi相乘可并行进行，从而大大加快了计算速度．

2.2.2 电路实现

利用第2.2.1节中算法设计的基于列处理的压缩感知成像电路结构示意图如图3所示．其中LFSR表示线性反馈移位寄存器，它可以由种子产生一个长度为M×N的伪随机的0～1序列．单个像素结构如图4所示[11]，采用了 5个晶体管来实现像素的光电转换、存储和行选择，其中M1为复位晶体管，M2为传输晶体管，M3为放大晶体管，M4为输出选择晶体管，M5为全局复位晶体管．MPA作为模拟信号存储节点，M4的控制信号SEL作为行选择器的输出控制信号，SEL为 1时表示该行像素被选择，否则该行像素不被选择．

图3 压缩感知成像电路结构示意Fig.3 Sketch of compressive sensing imaging circuitstructure

图4 单个像素结构Fig.4 Single pixel structure diagram

图 5为一个简单的累加器实现电路，在 CMOS电路中模拟累加器可以通过开关电容积分器实现，此电路结构较为成熟，其中运放的信号建立精度和电容的匹配会直接影响积分器的线性度．

图5 累加器实现电路Fig.5 Implementation circuit of the accumulator

不同于前面所提到的使用随机卷积实现压缩感知的 CMOS图像传感器，本文提出的结构不需要在每一像素的光电二极管附近放置一个 1,bit的存储器，这不仅可以降低制造工艺的复杂度，减少工艺流程，并且该技术也是在A/D转换之前应用压缩感知，有效减少了需要传输的数据量，可以降低 A/D转换模块的带宽，从而加快处理速度，降低功耗．

利用图 3所示的电路结构获取测量值的流程如图6所示．其实现的步骤如下．

图6 获取测量值的流程Fig.6 Flow chart of acquiring measurements

步骤 1初始化．利用 LFSR，根据种子产生一个长度为M×N的伪随机的0～1序列，令S＝1．

步骤 2取随机向量．将产生的伪随机序列压入移位寄存器中，经过N个周期后在移位寄存器中产生一个长度为N的随机向量．

步骤 3转存．在控制信号作用下，将长度为N的序列转存到行选择器中．这个长度为N的序列即为 CMOS图像传感器的模拟像素矩阵每一列所要乘的随机测量矩阵的行向量．

步骤 4并行压缩感知．这里利用行选择器来实现乘法器的功能，其中行选信号 SEL值为 1表示该行像素被选择，值为 0表示该行像素不被选择．在同一时间内各列并行运算，每一列中被选择的模拟像素的电压或电流值通过累加器进行相加得到一个观测值，从而可并行获取N列像素的N个测量值．

步骤 5输出每一列的测量值．通过多路选择器依次选择各列，N列中各列的测量值经过模数转换模块A/D后依次输出．并令S＝S＋1．

步骤6如果S≤M，取下一个随机行向量，否则转入步骤7．如果S≤M，转入步骤2重新开始执行，此时移位寄存器中的值已经移动了N位，在 LFSR产生的序列中取第 2个长度为N的随机序列，并转存到行选择器中，获取下一组测量值所需要的随机向量．

步骤 7结束整个流程．依据上述步骤，经过M次循环后，获得了最终的M×N个测量值．

本文设计的基于列处理的 CMOS图像传感器的压缩感知成像电路结构，不仅具有采用压缩感知成像系统的通用性、加密性、鲁棒性和可伸缩性等特征，而且相比于采用随机卷积的 CMOS成像系统，该结构可以缩短测量值的获取时间，有效降低传感器功耗，并且相比于其他采用压缩感知的成像系统，结构简单容易实现．

3 仿真结果与分析

进行稀疏重构．其重构图像的 PSNR值分别为34.18,dB和 32.33,dB，其主观效果如图 8所示，其中图8(a)为原始图像，图 8(b)和8(c)分别为文献[8]所提算法和本文所提算法得到的重构图像．从图 8可以看出，两种算法都能较好地恢复出原始图像的基本信息，整体效果相差不大．但是本文所提方法应用并行压缩采样的思想，能有效缩短采样值的获取时间；

文献[4-7]提出的压缩成像系统在测量值获取时间和系统结构上都存在一些不足，文献[8]提出的基于随机卷积的 CMOS压缩成像方法在电路结构上较容易实现，但是在初始化时移位寄存器需要进行多次移位操作．本文所提算法采用并行化的思想进行电路实现，有效缩短了测量值的获取时间，从而降低了系统功耗．图 7为利用上述两种方法分别对 CMOS图像传感器得到的N×N个模拟像素进行压缩感知获取测量值时所用成像周期的比较，其中T表示一个或者多个时钟周期，M表示利用压缩感知理论获取测量值的个数(M＜N)．图 7(a)为基于随机卷积CMOS压缩成像方法所用的成像周期，约为N2＋(N2＋1)N个T；图 7(b)为本文所提并行压缩感知算法的成像周期数，约为N＋(1＋N)M个T．从上述结果可以看出，本文所提算法能有效减少测量值的获取时间，从而降低了功耗．

图7 成像周期比较Fig.7 Comparison of image cycles

为了验证重构图像的主客观质量，本文选用LENA 图像作为测试图像，并分别利用文献[8]所提方法和本文所提并行算法对其进行50%的压缩采样，在获取M个测量值后，利用目前重构质量较好的TVAL3算法进行原始图像的重构．其中文献[8]采用±1的 Rademacher伪随机序列作为测量矩阵，以整幅图像为单位进行原始图像重构，本文选用 0～1的Bernoulli伪随机序列作为测量矩阵，对图像各列依次另外，在解码端进行图像重构时，文献[8]所提算法需要等待所有的测量值获取后才能进行，而本文所提并行算法只需要获取一列测量数据就能进行重构，可有效减少内存空间，提高重构速度．

图8 原图像及重构图像Fig.8 Original image and reconstructed images

4 结 语

本文以压缩感知理论为基础，提出了一种基于CMOS图像传感器的压缩感知成像算法．该算法引入了并行处理的理念，对 A/D转换前的模拟像素矩阵以列为单位进行压缩计算，大大提高了采样效率，降低了CMOS图像传感器的功耗．利用MATLAB语言进行仿真实现，结果表明该方法能快速有效地获取测量值，且重构图像质量较好．

［1］ Donoho D L. Compressed sensing[J].IEEE Transactions on Information Theory，2006，52(4)：1289-1306.

［2］ 石光明，刘丹华，高大化，等. 压缩感知理论及其研究进展[J]. 电子学报，2009，37(5)：1070-1081.Shi Guangming，Liu Danhua，Gao Dahua，et al. Advances in theory and application of compressed sensing[J].Acta Electronica Sinica，2009，37(5)：1070-1081(in Chinese).

［3］ 李树涛，魏 丹. 压缩传感综述[J]. 自动化学报，2009，35(11)：1369-1377.Li Shutao，Wei Dan. A survey on compressive sensing[J].Acta Automatica Sinica，2009，35(11)：1369-1377(in Chinese).

［4］ Duarte M F，Davenport M A，Takbar D，et al. Singlepixel imaging via compressive sampling[J].IEEE SignalProcessing Magazine，2008，25(2)：83-91.

［5］ Fergus R，Torralba A，Freeman W T. Random Lens Imaging[R]. Cambridge，MA：MIT Computer Science and Artificial Intelligence Laboratory (MIT CSAIL)，2006.

［6］ Pitsianis N P，Brady D J，Portnoy A，et al. Compressive imaging sensors[C]//Proceedings of the SPIE，Intelligent Integrated Microsystems.Orlando，FL，2006：62320A-1-9.

［7］ Robucci R，Chiu L K，Gray J，et al. Compressive sensing on a CMOS separable transform image sensor[C]//Proceedings of the International Conference on Acoustics，Speech，and Signal Processing，ICASSP2008.Las Vegas，Nevada，2008：5125-5128.

［8］ Jacques L，Vandergheynst P，Bibet A，et al. CMOS compressed imaging by random convolution[C]//Proceedings of the2009IEEE International Conference on Acoustics，Speech and Signal Processing，ICASSP2009.Taipei，China，2009：2877-2880.

［9］ Candes E J，Romberg J K，Tao T. Stable signal recovery from incomplete and inaccurate measurements[J].Communications on Pure and Applied Mathematics，2006，59(8)：1207-1223.

［10］ Li Chengbo. An Efficient Algorithm for Total Variation Regularization with Applications to the Single Pixel Camera and Compressive Sensing[D]. Houston：Department of Computational and Applied Mathematics，Rice University，2009.

［11］ Li Binqiao，Sun Zhongyan，Xu Jiangtao. Wide dynamic range CMOS image sensor with in-pixel doubleexposure and synthesis[J].Journal of Semiconductors，2010，31(5)：0550021-0550025.