APP下载

基于FPGA的图像疵点处理设计与实现

2020-01-16吴海游孙艳娜左弟俊

电子技术与软件工程 2019年22期
关键词:疵点排序灰度

文/吴海游 孙艳娜 左弟俊

1 引言

现场可编程逻辑器件(Field Programmable Gate Array ,FPGA)具有显著的灵活性和可再编写性等独特的技术优势。目前,基于计算机软件的图像处理理论与后处理技术已经非常成熟,但其不利于系统的实时化。相比于图像采集的后处理、FPGA 不但能够对图像进行实时处理、还能减小数据上传压力,具有非常重大的意义。

图1:成像系统疵点处理原理框图

在成像与跟踪识别系统中,过多疵点不仅严重影响成像系统的成像质量,而且还会引起对有效目标的错误跟踪与识别,因此非常有必要对图像的疵点进行处理。传统方法是计算机软件处理图像疵点,整个过程需要开发计算机软件,增加额外的数字图像采集设备,而且该方法不适用于模拟成像系统。因此本文提出一种利用FPGA 在线处理疵点的方法,主要包括子图划分、疵点坐标分时计算、排序与存储、疵点流水线补偿等过程。

2 原理设计

在成像系统中,针对不同的需求,图像疵点判断标准有细微的差别。但其主要思想和依据为:强光照条件下,将灰度偏离图像平均灰度X1 的像素判定为疵点,在无光条件下,灰度高于平均灰度X2 的像素判定为疵点。一般来说,采用二维平面坐标系来表示每个像素在图像中的位置,即(x,y)来表示每个像素的位置。

图2:疵点坐标计算状态转换图

图3:疵点坐标排序与存储状态转换图

图4:图像疵点补偿时序图

相对于计算机,FPGA 存储资源有效,无法完整存储一幅及以上的高分辨率图像数据,因此将分辨率为H x V 的图像划分为V/K 个子图。每次计算出K 行图像的疵点坐标值并存储至FPGA 片上的RAM1 中,直至计算出整幅图像的疵点坐标。然后将疵点坐标顺序存储至RAM2 中,最后将所有疵点坐标再存储至FLASH 中,此时完成图像疵点坐标的计算、排序与存储。成像系统每次上电启动时,将FLASH 中存储的疵点坐标顺序读取至FPGA片上的RAM3 中,然后对图像进行实时处理,其原理框图如图1所示。

3 具体实现

3.1 疵点坐标计算

在疵点计算时,当接收到疵点计算触发开始指令后,将第一帧图像的前K 行数据依次写入RAM1 内。当第2 帧图像的前K 行到来时,依次读出RAM1 中的数据加上第2 帧图像对应位置的像素灰度,并存储至RAM1中,依次类推直至接收完M 帧图像。本设计采用三段式同步有限状态机来完成,其状态转移图如图2所示,主要包括以下9 个状态:

(1)空闲状态(IDLE):若疵点计算开始信号到来,则状态转移至INIT 状态。

(2)初始化状态(INIT):初始化完成后进入LIGHT_A 状态。

(3)计算亮场平均灰度(LIGHT_A):使成像系统置于强光条件下,计算图像平均灰度,状态转移至LIGHT_R 状态。

(4)读出亮场平均灰度(LIGHT_R):生成RAM1 的读使能、读地址信号,同时状态转移至LCOMP_W 状态。

(5)亮场疵点坐标写入RAM(LCOMP_W):若vcnt ==V,则状态转移至WAIT 状态。

(6)等待(WAIT):若暗场疵点计算开始信号到来,则状态转移至DARK_A 状态。

(7)计算暗场场平均灰度(DARK_A):使成像系统置于无光条件下,计算图像平均灰度,状态转移至DARK_R 状态。

(8)读出暗场平均灰度(DARK_R):生成RAM1 的读使能、读地址信号,同时状态转移至DCOMP_W 状态。

(9)暗场疵点坐标写入RAM(DCOMP_W):若vcnt ==V,则状态转移至IDLE 状态,此时疵点坐标信息计算完成。

3.2 疵点坐标排序与存储

当疵点计算完成后,需要对疵点坐标信息按从小到大的顺序进行排序,本设计中采用基于FPGA 的冒泡排序法对疵点坐标信息进行排序,同样采用三段式同步有限状态机来完成。其状态转移图如图3所示,主要包括以下6 个状态:

(1)空闲状态(IDLE):若疵点计算完成信号到来,则状态转移至START 状态。

(2)起始状态(START):初始化RAM2的读地址。

(3)比较后交换写入RAM(SWAP_RAM):比 较RAM2 地 址addr 与addr+1 空间内的数据data0 与data1,同时状态转移至ADDR_RAM 状态。

(4)RAM 读地址(ADDR_RAM):读地址addr 加1,若RAM2 读地址等于L-delta-1,状态转移至START 状态;若delta 等于L,状态转移至FLASH_W 状态;否则转移至SWAP_RAM 状态。

(5)FLASH 写 入(FLASH_W):将RAM2 中的数据分包写入FLASH 中,同时状态转移至WAIT。

(6)等待(WAIT):若RAM2 中数据全部写入FLASH,则进入IDLE 状态。

3.3 图像疵点实时补偿

在实时成像系统中采用流水线操作对疵点像素进行处理。本设计中采用左替换的方法补偿疵点像素,即若坐标位置为(i,j)处像素是疵点像素,则利用坐标(i,j-1)处像素替换该疵点像素,若(i,j-1)也为疵点像素,则利用(i,j-2)处像素替换,依次类推。其操作过程如图4所示。

4 硬件平台验证

本设计的硬件平台主要由ALTERA公司的FPGA 芯片5CEBA4U15I7 和On Semiconductor 公司的图像传感器芯片NOIP1SN1300A 构成。疵点图像得到了有效地补偿处理,从而验证了设计的正确性。

5 结束语

本设计提出关于图像疵点坐标计算、存储与处理设计方法,能够很好地解决图像疵点对成像系统的不良影响,并且此设计在硬件平台上得到充分验证,可靠性高。

猜你喜欢

疵点排序灰度
基于Cascade RCNN 和二步聚类的织物疵点检测
采用改进导重法的拓扑结构灰度单元过滤技术
排序不等式
喷丝板疵点检测系统设计
基于灰度拉伸的图像水位识别方法研究
恐怖排序
家蚕品种单粒茧丝疵点差异及遗传性研究初报
基于最大加权投影求解的彩色图像灰度化对比度保留算法
基于灰度线性建模的亚像素图像抖动量计算
基于熵和变异度的织物疵点图像分割方法