基于多路FIFO的宽幅CIS扫描仪图像实时重构技术

梅领亮，陈德勇，郝如茜，罗 颖，刘 霖

（1.广东正业科技股份有限公司 广东 东莞　523000；2.电子科技大学 光电信息学院 摩米实验室，四川 成都　610054）

基于多路FIFO的宽幅CIS扫描仪图像实时重构技术

梅领亮1，陈德勇2，郝如茜2，罗 颖2，刘 霖2

（1.广东正业科技股份有限公司 广东 东莞523000；2.电子科技大学 光电信息学院 摩米实验室，四川 成都610054）

采用FPGA为并行处理核心，设计了基于多路FIFO的实时重构方法，实现了多通道CIS图像的实时采集、重构与传输。该方法无需任何地址操作，在保持高速重构效率的同时，减少了FPGA硬件资源消耗，降低了系统成本。现已成功应用于各种幅宽的CIS扫描系统，其中采用Camera-Link接口的1.6 m宽幅设备扫描速率高达120 MB/s，在国内尚属首例。

FIFO；CIS；FPGA；图像重构；宽幅扫描仪

随着宽幅CIS（contact image sensor，接触式图像传感器）扫描仪在工程建筑、工业机械、地理信息、城市规划和广告设计等领域的广泛应用［1］，幅宽和扫描速度之间的矛盾日渐突出。一方面，由于长线阵CIS的生产工艺的复杂性，其技术一直被少数国外厂商垄断；另一方面，CIS的成本随长度呈几何式增长。因此，宽幅扫描仪的前端采集模块通常需要多个A4宽度的CIS拼接重构而成。幅面越宽，需要拼接的通道数越多，扫描速度就越低。其中，多通道图像数据的重构时间是影响宽幅CIS扫描仪扫描效率的关键问题之一。

早期，对多通道图像数据的重构研究主要集中在软件算法上［2］，而对于图像数据重构的硬件实现方法研究甚少。利用软件对多通道宽幅面的图像数据进行重构需要消耗大量的内存资源和计算时间，而且会随着幅面的增大而急剧增长。利用硬件进行图像数据重构的设计最早被用于多通道面阵CCD的图像处理［3］，但这些方法不适合用于线阵CIS的图像重构。此前，笔者所在团队曾采用双口RAM多路缓存来实现CIS的图像重构［4］。但双口RAM要对读写地址线进行操作，控制逻辑较为复杂，资源消耗较大，实现成本较高。因此，如何在保证高速重构性能的同时，为大规模生产降低系统成本是一个极具工程价值的问题。

针对以上问题，文中提出了一种基于多路FIFO的图像实时重构方法。该方法全部采用无需地址操作的FIFO数据缓存器，在保证高速重构性能的同时，使FPGA的逻辑资源消耗相比于双口RAM的方案节省了30%。该方法已成功应用于各种幅宽的CIS扫描系统。其中，采用USB2.0接口的A0幅面扫描仪扫描速率达到30 MB/s，采用Camera-Link接口的1.6 m宽幅扫描设备的扫描速率高达120 MB/s。据了解，将此重构技术应用于大幅面CIS扫描仪在国内尚属首例。

1　系统结构与基本原理

1.1宽幅CIS扫描仪系统结构

宽幅CIS扫描仪主要由N个CIS传感器、A/D转换模块、FPGA处理单元和高速数据传输单元组成，系统框图如图1所示，实现多通道CIS图像数据的并行采集、图像重构和传输处理。

图1　宽幅CIS扫描仪系统结构框图

CIS传感器的幅面是A4宽度，每根CIS有3个通道，一共3*N个通道。本系统中CIS传感器的扫描精度高达600 dpi，1728个传感单元被置于每个通道中。AD转换模块中每个AD芯片有3个输入通道，将每个CIS通道输出的模拟电压信号转换为8位的数字图像数据。FPGA是控制和处理核心，不仅提供CIS工作所需的驱动信号，同时对A/D芯片进行功能配置和数据读取，而且进行数据传输和图像重构处理。高速数据传输系统可由各种高速接口组成，如USB、Camera-Link、Ethernet等［5］，该系统职能为按照先后顺序传输给计算机重构后的数据。

1.2基于多路FIFO的图像实时重构原理

在多通道CIS图像采集和传输系统中，数据处理的首要问题分别是数据位宽和数据顺序的调整［6］。首先，前端N个AD的转换数据位宽为8*3*N bits，而高速数据传输单元的位宽为8 bits，若不合理解决位宽不匹配的问题，将会面临数据丢失的风险。

其次，多CIS通道的图像数据经多个AD同时采集转换后，并行的传送给FPGA数据处理单元，若不调整图像数据的顺序，将导致像素空间位置错乱。

因此FPGA必须先对并行数据按照一定顺序排列，并进行位宽调整，依次将每行的数据传输给后端系统，才能重构出正确的图像。

为简化分析，以1个三通道的CIS为例。假设1个CIS的每个通道有3个像素，3个通道则有9个像素，采集到的一行图像数据排列如图2（a）所示。AD同时采集3个通道的数据，若不对数据顺序进行调整，根据AD的输出特性，第1～3个时钟周期输出每个通道的第一个像素，序号为1、4、7。以此类推，输出的数据排列如图2（b）所示，无法得到正确的图像。

为了解决这一问题，本文将3个通道的数据先用3个缓存分别存储，通过时序控制电路和多路选择器依次输出每个缓冲区的数据，保证数据输出的时间顺序与像素的空间顺序一致。如图2（c）所示，在t0～t1时间读取缓存1的数据，t1～t2时间读取缓存2的数据，t2以后读取缓存3的数据，从而在数据传输过程中完成数据顺序和位宽的调整，实现正确图像的输出。

图2　基于多路FIFO的图像实时重构原理

2　多通道图像实时重构的设计与实现

2.1基于FPGA的多路FIFO设计

基于FPGA的多路FIFO队列传输与控制框图如图3所示，主要包括通过直接调用IP核生成的FIFO队列以及用硬件描述语言设计完成的控制模块两部分。以A0幅面的宽幅扫描仪为例，需要5个三通道的CIS拼接而成。因为CIS像素单元由一个8 bits的灰度数据表示，所以每个CIS通道至少需要1728字节缓存空间，考虑到流水操作则需要2倍的缓存空间即3456字节。FPGA中FIFO空间的大小一般是2N（N为正整数）个字节，因此需要为每个通道设计4 KB缓存空间，15个通道则共需要60 KB。此外还需要FIFO和多路选择器的控制模块，用以控制FIFO的读写使能和多路选择器的输出。因为整个模块的写入位宽是读出位宽的5倍，所以为防止数据丢失，读取时钟频率应该是写入时钟频率的5倍。

FPGA作为并行数据处理核心，可以非常方便地例化出所需规模与数目的FIFO。而FIFO作为一种数据缓存器，有着先入先出的性能，并且加上没有外部读写地址线的特点，较其他种类的缓存器而言，有着操作便利的优势。因此，当通道数目增加时，只需简单地增加FIFO数目，以及简单地重复控制时序和逻辑，就能够快速实现不同幅宽的图像扫描。

2.2读写FIFO控制时序的设计

写FIFO时，将15个FIFO分成5组，每组与1个AD的输出端相连。控制时序如图4所示。当检测到扫描的行触发信号（Write_Trig）后，AD1采集CIS输出电压信号，并依次输出3个通道的数据，在第1、2、3个输出时钟周期内，先后产生 FIFO的 写 使能 信 号 WFIFO_EN1、WFIFO_EN2和WFIFO_EN3，分别将通道1、2、3的数据写入FIFO1、FIFO2、FIFO3中。如此反复循环，直到完成1728*3个周期后，则停止向FIFO中写入数据，等待下一行扫描的触发信号。其他各组FIFO的写入时序与第一组的完全一样，且5组的写入操作是同时进行的。

读FIFO的控制相比写FIFO更简单，只需要从FIFO1到FIFO15依次读取即可，如图5所示。注意每个FIFO中只能读取1728个数据，读完后立即切换到下一个FIFO，同一时刻只能有其中一个FIFO的读操作使能，否则会造成输出总线冲突。

用FIFO的读使能信号同步控制后续的多路选择器，使之从对应的FIFO中依次读取数据，就能在传输数据的同时完成一行数据的自动排序。如此逐行排序和传输，就能自动重构出实际扫描的图像。

图3　多路FIFO队列传输与控制框图

图4　读FIFO控制时序设计

图5　读FIFO控制时序设计

2.3采集与传输（重构）的流水操作

用控制FIFO的读取顺序的方式，能较为简单便捷地实现扫描图像的重构。由于FIFO读写端口的独立性，没有必要等到将FIFO中一行的数据全部读取完毕，再进行下一行数据的写入。如图6的流水操作示意图所示，在FIFO结构设计时，已经为每个FIFO配置了2倍的缓存空间，因此可将其分为A和B两个部分。将第一行数据写入FIFO中后，数据移位到B部分，然后依次从每个FIFO中读出一行的数量。在读取B部分的同时，向FIFO中写入第二行的数据，写入的数据自动从A部分移动到B部分。如此进行流水操作［7］，采集和传输就可以同时进行，再加上重构过程完全融入于传输过程，因此，整体扫描速度不再受重构时间的影响，而仅仅取决于传输接口的传输速度。

图6　流水操作示意图

3　实验结果与分析

3.1不同幅面扫描仪的逻辑资源消耗对比

不同幅面的扫描仪，需要不同数量的CIS拼接而成，因此所对应消耗的缓存单元（FIFO或者双口RAM）的数目也有所不同，控制逻辑资源的消耗也略有差异。图7列出了从A4幅面到A0幅面的扫描仪所需FIFO缓存和双口RAM缓存与相应控制逻辑单元的消耗情况。其中A4幅面需要1根三通道CIS拼接而成，则对应3个FIFO/双口RAM；A3/A2幅面需要2根CIS拼接而成，则对应6个FIFO/双口RAM；A1和A0幅面则分别需要9个和15个FIFO/双口RAM。由图7可知，各种幅面中FIFO读写控制资源的消耗都低于双口RAM，平均计算约为30%。随着控制逻辑资源的降低，硬件芯片的成本也随之降低。因此，在保证高速重构效率的同时，使用多路FIFO缓存是更优的解决方案。

3.2多路FIFO图像实时重构的性能优势与应用

为了验证基于多路FIFO的图像自动重构方法的处理能力和传输性能，运用此方法在A2/A1/A0幅面的扫描系统中进行测试，并与多个A4幅面的扫描系统进行对比。根据测试结果得出，用5根CIS同时扫描并重构可得到A0宽度的图像，用3根CIS同时扫描并重构可得到A1宽度的图像，用2 根CIS同时扫描并重构可得到A2宽度的图像，该过程直接通过传输即可得到真实图像，无需占用计算机平台的额外资源，并且其重构图像能够真实地反映原始图像的信息。然而，当同时用5个A4幅面的CIS扫描仪对一幅地图进行扫描时，虽然5个A4扫描仪同时进行扫描，但是无法同时将数据传输给计算机，需等扫描动作完成后，才能依次将5个扫描仪的数据发送给计算机，最后还需要利用软件进行图像重构。因此，基于多路FIFO的图像重构方法的性能优势在于，既能在多通道扫描时进行数据传输，又能同时进行图像重构，极大地提高了系统的效率。

由于多路FIFO图像实时重构方法的通用性和可扩展性，目前已经成功应用于各种幅面的CIS扫描系统中。图8 为A0幅面的宽幅精密扫描仪，其光学分辨率高达600 dpi，它配备的USB2.0接口的传输速率最快能达30 MB/s。图9是1.0 m和 1.6 m幅面的宽幅外触发 CIS扫描设备，采用Camera-Link接口，传输速率高达120 MB/s。

图7　不同幅面的FIFO与双口RAM的控制资源消耗

图8　A0幅面精密扫描仪

图9　宽幅外触发CIS线阵相机

4　结　论

文中针对多通道宽幅CIS扫描仪面临的图像重构和高速传输问题，深入分析了多通道CIS的传输特点，提出了基于多路FIFO的图像重构方法，具有很强的灵活性和扩展性，解决了不同幅面扫描系统的传输效率问题，并成功应用于A0幅面精密扫描仪和宽幅外触发CIS线阵相机。在A0幅面的精密扫描仪中，将5根CIS图像实时采集和重构，可以达到30 MB/s的传输速率。宽幅外触发CIS扫描设备中，可达到120 MB/s的传输速率，据我们所知，达到如此幅面和扫描速度的CIS扫描设备在国内尚属首例。

［1］薛筱凡.扫描仪市场新趋势［J］办公自动化，2008（9）:9.

［2］Kuglin C D，Hines D C.The phase correlation image alignment method［J］.Proc.Int.Conf.on Cybernetics and Society，1975:163-165.

［3］Akin A，Erdede E，Afshari H.，et al.Enhanced omnidirectional image reconstruction algorithm and its real-time hardware ［J］.Proc.IEEE 15th Euromicro Conf.Digital Syst.Design，2012:907-914.

［4］魏建英，叶玉堂，吴云峰，等.基于FPGA的超长CIS图像采集系统［J］.通信技术，2009（2）298-300.

［5］Nikolaos Alachiotis，Simon A.Berger，Alexsandros Stamatakis.Efficient pc-fpga communication over gigabit Ethernet［C］// 2010 10th IEEE International Conference on Computer and InformationTechnology（CIT2010）.BradfordEngland，America:IEEE Computer Society，2010:1727-1734.

［6］Chen Liang，Long Teng.The design of image real-time record and quick-look system for asynchronous multi-channel CCD camera［C］//2008 9th International Conference on Signal Processing（ICSP 2008）.Beijing China，IEEE，2008:2930-2933.

［7］JoséMartínez，LeopoldoAltamirano.FPGA-basedpipeline architecture to transform Cartesian images into foveal images by using a new foveation approach［C］//2006 IEEE International Conference on Reconfigurable Computing and FPGA’s.San Luis Potosi Mexico，IEEE，2006:1-10.

The real-time reconstruction technique of wide format CIS scanner based on multichannel FIFO

MEI Ling-liang1，CHEN De-yong2，HAO Ru-qian2，LUO Ying2，LIU Lin2
（1.Guangdong Zhengye Technology Co.，Ltd.，Dongguan 523000，China；2.Lab of MOEMIL，School of Opto-Electronic Information，University of Electronic Science and Technology of China，Chengdu 610054，China）

This paper proposes and demonstrates one novel multi-channel FIFO method which can effectively realize real-time multi-channel CIS image acquisition，reconstruction and transmission.Multi-channel image data can be cached and reconstructed without any address operations.Moreover，the logic resource of FPGA and the cost of hardware system can be greatly reduced，while maintaining high efficiency of reconstruction.The method has been successfully utilized in the CIS scanning systems with various widths.Significantly，a 120 MB/s scan-rate can be obtained in a 1.6 m wide device with Camera-Link interface.To our best knowledge，it's the first reported that the real-time reconstruction technique based on multi-channel FIFOs without address operation is used in wide format CIS scanner.

FIFO；CIS；FPGA；image reconstruction；wide format scanner

TN29

A

1674-6236（2016）14-0168-04

2015-05-25稿件编号：201505218

梅领亮（1973—），男，江西临川人，硕士，高级工程师。研究方向：光机电仪器设备、组件和材料。