基于树莓派的单像素成像系统

何自豪，韩佳成，王琳淼，赵天赐，张素恒

(河北大学 物理科学与技术学院，河北 保定 071002)

近年来，单像素成像技术作为一种新型成像技术引起广泛关注.单像素成像与传统的阵列探测器成像相比，其图像信息的获取方式与采集效率不同，在硬件复杂度和工业成本方面占有一定优势，对于推动未来成像系统的简化和集成，具有潜在应用前景.现阶段，阵列传感器件在红外、太赫兹波段的应用并不成熟，并且三维成像、光谱成像对器件的分辨率和灵敏度要求苛刻，其应用受到限制，因此单像素成像技术的出现，为解决这些问题带来了新的途径.

单像素成像发展至今，先后经历了计算鬼成像、基于压缩感知的单像素成像和基扫描单像素成像3个阶段[1].基扫描单像素成像是使用确定性的正交变换基底图案进行空间光调制的成像方法.通过采用完备的基底图案进行空间光调制，可以无失真地重构物体的像，这是该成像方法的显著优势.2015年，李明飞等人提出了基于沃尔什-哈达玛变换的单像素成像方案[2]，之后他们又研究了矩阵优化排序的压缩采样快速成像方案[3].2016年，张子邦等人引入了傅里叶单像素成像技术[4-6].此外，他还对比了傅里叶单像素成像与哈达玛单像素成像在欠采样情况下的成像质量[7].2016年，Liu Bao-Lei等人提出基于离散余弦变换的单像素成像方案[8].2017年，Rousset L等人又提出基于小波预测的自适应基扫描单像素成像方案[9].这些基扫描成像方案极大的推动了单像素成像技术实用化进程.

虽然国内外在单像素成像领域已经开展了大量的研究工作，提出多种成像系统.但这些单像素成像系统集成度较高，可操作性差，价格昂贵，不利于在实验教学中推广.本文提出了一种基于树莓派的单像素成像系统.该系统以基扫描单像素成像技术为基础，以树莓派为核心，并采用Python语言进行软件开发，结构简单，成本低廉，可操作性强，非常适合实验教学.本文首先介绍基扫描单像素成像的原理，然后分别从硬件和软件两个方面详细介绍系统结构，最后展示哈达玛和傅里叶两种基扫描单像素成像实验结果.

1 基扫描单像素成像原理

基扫描单像素成像依次向物体投影一套完备的正交变换基底图案，并逐一测量每一基底图案照明时物体的漫反射光强，从而获取物体的各个频谱分量，再通过逆变换重建物体的像.

1.1 哈达玛单像素成像

二维的哈达玛变换与其逆变换定义为

(1)

(2)

(3)

{Puv|u,v=0,1,…,N-1}

(4)

其中基底矩阵Puv的矩阵元为

Puv(x,y)=H(u,x)H(y,v)

(5)

其中x,y=0,1,…,N-1.若将哈达玛矩阵H的第u行和v行的行向量分别为记为Hu与Hv，则由式(5)可知，基底矩阵Puv还可表示为

(6)

考虑到哈达玛矩阵HT=H.这时式(3)可表示为

(7)

其中〈·,·〉F代表Frobenius内积.由式(7)可知，只要逐一计算物体采样矩阵与基底矩阵序列中每一基底矩阵的内积，即可得到物体的哈达玛频谱.

在单像成像中，首先根据基底矩阵序列生成基底图案序列，然后再将所有基底图案逐一投影到物体上形成结构光照明，最后利用单像素测探器记录物体的漫反射光强，即可获取物体完备的频谱.由于结构光照明是对光强调制，无法直接表达哈达玛基底矩阵中的负值.通常采用差分法来解决该问题.于是将每个基底矩阵Puv转化为两幅基底图案

(8)

然后把这两幅基底图案依次投影到物体上，单像素探测器测得的漫反射物光强分别为

(9)

其中I0为投影光源的强度，Ib为不受调制的背景光强度分布矩阵，k是探测器的光电响应系数.通过差分即可得到相应的哈达玛频谱分量，

(10)

其中α=1/kI0.此外，差分还能去除背景光影响.

在成像过程中，依次向物体投影整套基底图案

(11)

测得漫反射物光强序列为

{D(+)(u,v),D(-)(u,v)|u,v=0,1,…,N-1}

(12)

从而得到物体的哈达玛频谱矩阵，

(13)

最后再利用式(2)对频谱矩阵进行逆变换即可获取物体的重构像.

图1 差分哈达玛单像素成像基底图案(4×4像素)

哈达玛单像素成像的空间采样间隔由投影到物体上的基底图案的最小结构单元的尺寸来决定.通过最近邻域法放大基底图案和调整投影距离均可改变空间采样间隔，以获得最佳的成像效果.

1.2 傅里叶单像素成像

二维离散傅里叶变换定义为

(14)

其中u=0,1,…,M-1;v=0,1,…,N-1，M与N分别为物体采样矩阵F的行列数.二维离散傅里叶逆变换定义为

(15)

其中x=0,1,…,M-1;y=0,1,…N-1.考虑到离散傅里叶变换的周期性，引入离散傅里叶变换基底矩阵序列

(16)

其中基底矩阵Tuv的矩阵阵元为

(17)

其中

(18)

其中⎣·」与「·⎤分别代表向下取整运算与向上取整运算.二维离散傅里叶变换式(14)可表示为

(19)

由式(19)可知，物体的离散傅里叶频谱可通过计算物体采样矩阵与基底矩阵序列所有基底矩阵的内积获得.

由式(17)可知，离散傅里叶变换基底矩阵为复矩阵.为了通过光强调制表达该基底矩阵，通常借助于四步相移法.首先将基底矩阵序列中的每个基底矩阵Tuv经相移后转化为四幅余弦基底图案

(20)

其中Re{·}代表取实部.然后把这四幅基底图案依次投影到物体上，单像素探测器测出的漫反射物光强分别为

(21)

由欧拉公式可计算出相应的频谱分量

i[D(π/2)(u,v)-D(3π/2)(u,v)]}

(22)

可以看出，四步相移法的本质仍为差分运算，同样可以消除背景光的影响.

在基于傅里叶变换的单像素成像过程中，依次向物体投影整套余弦基底图案

(23)

测得漫反射物光强度序列为

(24)

从而得到物体的离散傅里叶频谱矩阵

(25)

然后再对频谱矩阵进行逆变换，则有

(26)

式中ifft代表二维离散傅里叶逆变换.但这时得到的重构像Fc中心位于矩阵左上角，不便观察.考虑到离散傅里叶变换的周期性，通过fftshift操作对重构像进行调整，即

F=fftshift(Fc)

(27)

最终获得物体的重构像.

图2 四步相移傅里叶单像素成像基底图案(4×4像素)

考虑到物体的分布函数(物体光强反射率)为实值函数，物体采样矩阵的傅里叶频谱满足共轭对称性，即

(28)

因此，可以仅测量频谱中的零频及负频分量，再用式(28)补全正频分量，从而获得完整的频谱[6].这时测量次数可减少一半.当物体的细节不太丰富时，还可以进行欠采样成像，进一步减少测量次数，加快成像速度，详见参考文献[7].

当u与v均取最大值时，即

|um|=⎣M/2」,|vm|=⎣N/2」

(29)

余弦基底图案空间频率最高.投影到物体上的该余弦条纹沿x方向与y方向空间周期的一半即为傅里叶单像素成像的空间采样间隔.对式(18)中离散坐标序列进行线性取值，可以放大基底图案，进而改变成像的空间采样间隔.此外，还可以通过调整投影距离改变成像的空间采样间隔.

2 基于树莓派的单像素成像系统设计

树莓派是为普及计算机编程教育而设计的基于ARM架构的微型电脑，其体积小、价格低、接口丰富、性能强大.树莓派的操作系统Raspberry Pi OS基于Linux完全开源，功能完备，并且预置了Python的开发环镜.因此，它非常适合编程学习和创客开发.本文提出在实验教学中利用树莓派代替传统计算机搭建单像素成像系统，非常有利于锻炼学生的动手能力，培养其创新思维.

2.1 硬件设计

硬件系统如图3所示，主要由3部分组成：控制单元、图像投影单元和数据采集单元.系统的核心是控制单元，由树莓派(4B)构成.控制单元主要负责生成基底图案，控制投影和数据采集，进行数据处理与计算重构图像.图像投影单元由米家激光投影仪(L185JCN)构成，通过HDMI接口与树莓派连接.投影单元将树莓派发送来的基底图案投影到物体上.数据采集单元由光强传感器(OPT101)，滤波模块与数据采集卡(MCC-118)3个部分构成.光强传感器将基底图案照明下的漫反射物光强度转换为电压信号输送给滤波模块.滤波模块是由RC滤波电路构成的低通滤波器，它可将光电转换过程中产生的大量噪声去除.经滤波后的电压信号送给数据采集卡，由采集卡进行模数转换.数据采集卡通过GPIO接口与树莓派连接，它在树莓派的控制下进行数据采集，并将采集到的光强数据回传给树莓派.

图3 硬件系统框图

整个系统成本较低，其中树莓派(4B)380元，数采卡(MCC-118)990元，光强传感器(OPT101)4元，米家激光投影仪(L185JCN)5000元，合计6374元.在演示实验中，可采用多媒体教室的投影仪[11]总成本可降至1500元以内.

2.2 程序设计

单像素成像系统程序采用Python语言开发，它简洁、易读，并且具有强大的扩展能力.程序主要完成基底图案生成与显示，数据采集，图像重构等操作，程序流程如图4所示.

图4 程序流程框图

程序开始运行后，首先执行初始化操作，包括导入科学计算库、数据采集库与图像显示库，实例化采集卡并设定采集参数，初始化显示模块并设定显示参数.然后构建一个生成器(generator)用于迭代生成全部基底图案，以避免大量的内存消耗.接下来迭代显示每一张基底图案，在循环过程中，每显示一张基底图案，先延时100 ms，待图像显示稳定后，再进行数据采集.对于每幅基底图案，将以10-4s的采样速率，采集400个样本，再对这400个样本求平均，作为该幅基底图案照明时的漫反射物光强度.当循环显示全部基底图案后，计算重构图像，并将重构图像保存并显示在屏幕上.

3 实验验证

按照上述的系统设计方案，开发了如图5所示的实验装置，来验证设计方案的可行性.实验中，将河北大学校名与校徽制作成剪纸置于黑色幕布上作为物体，如图6所示.两物体大小相同，长宽均为0.6 m.实验采用哈达玛与傅里叶两种基扫描单像素成像方式分别对这两个物体成像.

图5 实验装置图

图6 待成像物体，物体的长与宽均为0.6 m

在对河北大学校名进行成像时，取像的分辨率为128×128像素.采用哈达玛单像素成像时，直接生成的哈达玛基底图案大小仅为128×128像素.为了便于投影，首先按最近邻域法将图像放大到1024×1024像素，再加载到投影仪上显示.然后调整投影仪与物体的距离，使幕布上的基底图案刚好完整覆盖物体.投影仪逐一投影全部128×128×2张基底图案，利用式(13)对测量数据进行差分处理即可得到物体的哈达玛频谱，如图7(a)所示.

对测得的哈达玛频谱矩阵再按式(2)进行逆变换，即重构出物体的像，如图8(a)所示.在傅里叶单像素成像时，取式(18)中的M=N=128，先对离散坐标序列x和y进行插值，使坐标点数增加至1024，再按照式(17)计算出傅里叶基底矩阵，再生成全部128×128×4张基底图案进行投影显示.利用式(22)对测量数据进行处理即可得到物体的傅里叶频谱，如图7(b)所示.为清楚显示谱频分布，该图为原频谱进行对数变换后的结果.物体的傅里叶频谱矩阵再经过式(26)与式(27)变换后最终得到物体的重构图像，如图8(b)所示.从图8可以看出，在该分辨率下，在两种成像方式均可获取高质量的像，字样的细节清晰，对比度也比较高.

图8 河北大学校名的成像结果，分辨率为128×128像素

当对河北大学校徽成像时，取分辨率为256×256像素，成像结果如图9所示.这时两种成像方式均可完整呈现物体丰富的细节，但成像的对比度有不同程度的下降.对比图8与图9两组实验结果可以看出，哈达玛变换成像质量明显优于傅里叶变换的成像质量.这是因为傅里叶基底矩阵连续取值，在生成数字化的基底图案过程中会引入量化误差，在投影仪投影该灰度图像时又会引入非线性误差.而哈达玛基底矩阵是二值矩阵，不会受上述噪声的影响，因而哈达玛单像素成像具有较高的成像质量.

图9 河北大学校徽成像结果，分辨率为256×256像素

最后需要指出的是，上述所有成像结果，均未进行任何后期处理.若根据系统噪声特性与物体特征对像进行降噪增强处理，则成像质量将会进一步提升.

这两组实验结果表明，本文提出的基于树莓派的单像素成像方案合理可行，能够对物体高质量成像.

4 结论

以基扫描单像素成像为基础，本文设计并开发了一套基于树莓派的单像素成像系统.利用该系统成功实现哈达玛单像素成像与傅里叶单像素成像，验证了设计方案的可行性.系统硬件结构紧凑，成本低廉，易于推广；系统程序由Python语言开发，清晰简洁，易于拓展.因此，该系统非常适用于单像素成像的原理演示与实验教学.另外，本工作还能推动单像素成像技术走出科研实验室，向小型化、实用化发展.