滤光片表面缺陷视觉检测系统多处理器调度优化

黄 坚，刘桂雄，王小辉

（1.华南理工大学机械与汽车工程学院，广东 广州 510640；2.广州市光机电技术研究院，广东 广州 510663）

滤光片表面缺陷视觉检测系统多处理器调度优化

黄 坚1，刘桂雄1，王小辉2

（1.华南理工大学机械与汽车工程学院，广东 广州 510640；2.广州市光机电技术研究院，广东 广州 510663）

针对滤光片表面缺陷视觉检测系统中在线检测实时性需求对检测速度要求较高，研究一种有效利用可用硬件资源并行处理实时工作提高处理速度的调度优化策略。基于AOE图对滤光片表面缺陷视觉检测系统进行任务级分析，优化事件、活动拓扑关系与任务间冗余的数据相关性、资源相关性，建立并行任务模型；采用关联处理器调度算法（arbitrary processor affinities，APAs)进行并行多处理器调度，指定任务只能被某个处理器集合执行，将期限紧迫、缓存敏感的任务限制在单一处理器，提高资源利用率，改进检测系统实时性。试验结果表明：在尺寸为1.20mm×1.20mm、26×28个滤光片组成滤光片面板上，采用多处理器调度可使检测速度极大提升，采用APAs调度算法后，平均缺陷识别完成时间为常规检测系统时间的36.5%，可以满足在线实时要求，证明应用多处理器调度方法，可以极大提升检测仪器实时性能的有效性。

模式识别与装置；多处理器系统；视觉检测系统；关联处理器调度算法

0 引 言

滤光片是通信平台关键部件，其表面缺陷对通信质量影响极大。目前滤光片表面缺陷检测主要采用人工目视，但存在检验质量不稳定（受检测人员的熟练因素、责任程度影响较大)、效率低的问题[1]，将视觉检测技术应用于滤光片检测是技术趋势与热点，其主要难点在于滤光片产品尺寸小、成批生产、缺陷种类多。国内外学者提出各种检测方案，如可自动识别灰度值的滤光片表面缺陷检测算法[2-5]，并输出滤光片各表面缺陷的类型、位置、面积，分类准确度达99.2%，检测速度为800～3 000片/h，但滤光片产品一板至少600片，检测线要达到9000片/h才能满足目前生产在线应用需求。结合检测任务采用多任务多处理器调度的趋势，文献[6]采用共享或单独队列，使单一处理器扩展到多处理器模型；文献[7]研究嵌入式系统中的启发式多处理器任务调度，实时性顺序处理机有较大提升；文献[8]采用全局多处理器瞬时利用率 （instantaneous utilization factor，I UF)调度优化实时系统，有实质性改进。本文在检测流程基础上引入多任务多处理器调度，探索提高视觉检测实时性方法。

1 滤光片表面缺陷视觉检测机理与时序分析

滤光片通过在基材上镀膜，再切割为成品，其表面缺陷包括点、印、划痕、崩边、面型偏差5种。基材大小决定成品大小，一块基材可制造500～10000片滤光片，故可选用面阵相机、二轴机械手的组合来获取滤光片表面缺陷信息。图1、图2分别为滤光片成品实物与采集图像，设获取的图像中有k个完整滤光片，利用机器视觉，计算滤光片位置，获取k个滤光片的图像，分别获取k个滤光片中缺陷尺寸、位置、面积，识别缺陷类型，计算二轴机械手的移动坐标，移动工作台，获取下一幅图像，图3为常规滤光片表面缺陷视觉检测流程框图[9]。

基于视觉检测流程框图，建立如图4所示的常规滤光片表面缺陷视觉检测系统AOE（activity on edge network)图，AOE图用顶点表示事件、箭头表示活动（实线为软件活动、虚线为硬件活动)、弧上权值表示活动持续时间（单位为0.1s)。

图1 滤光片成品实物图像

图2 使用面阵相机采集的产品图像

图3 常规滤光片表面缺陷视觉检测流程框图

提高计算机处理速度可采用空间并行方法，构建出多处理器系统[10]。为使检测任务转变为多处理器系统并行处理，通过分析检测任务中拓扑关系与资源相关性，去除冗余数据。在获取位置信息（Ti)后，即可定位工作台（bi+1)，获取下一张图像(Pi+1)；在获取滤光片图像（Ii)后，获取各个滤光片中缺陷信息（di)间数据无关，可分别进行，即di={di-1，di-2，…，di-k}；同理缺陷分类（ri)有ri={ri-1，ri-2，…，ri-k}，可得到如表1所示检测流程事件与活动优化关系表。其对应AOE图如图5所示。

图4 常规视觉检测流程AOE图

2 滤光片表面缺陷视觉检测系统多处理器调度优化

图5中bi、pi为临界路径（源点到汇点最长路径)上关键活动，优先级应最高，以保证检测任务尽早完成。在Ii事件后，将出现k个di、ri活动并发。若采用纯局部调度将难以充分利用核剩余处理能力，应该采用全局调度。设活动x最坏运行时间为t（x)，为使任务不频繁迁移，则处理器β[11]应满足：

表1 检测流程事件、活动拓扑关系表（i=1，2，3，…，j）

图5 视觉检测优化流程AOE图

则处理器个数为0.5k（k为图像中完整滤光片数)时，处理器至少为8，这时采用全局调度活动不会在处理器间频繁迁移。那么采用目前主流计算机4核CPU，对于该活动集，局部与全局调度方法效果难以达到预想效果。

为此，尝试采用处理器关联性调度算法（arbitrary processor affinity scheduling，APAs)，将期限紧迫、缓存敏感的任务限制在某一处理器集合中[12]。设t时刻时，Act（t)为处理器集合αb中任意处理器上被调度的活动集，z为活动集Act（t)中活动，y为αb中待处理活动，优先级为prio（y)，则APAs调度不变式为

表2为检测系统进一步采用在多处理器系统中的APAs调度策略，其中Πn为处理器n，这样用4核CPU即可完成处理。

表2 优化后检测系统在多处理器系统中的APAs调度策略

3 试验与结果分析

3.1 试验平台

图6 试验平台原理与系统实物图

选用PointGrey FL2G-13S2M-C面阵相机（像元尺寸1/3″CCD、分辨率为1288×964)；视清科技WWL05-150A镜头（放大倍率0.5、工作距离150 mm)；45°环状光源OPT-RI150455-2；工作台选用FUJISAN SS130-130二轴机械手（行程范围为0～400 mm、重复准确度为±0.02 mm)；上位机CPU为I7-4770（主频为3.5GHz、4核心、8线程)，上位机内存为8GB 1 600 MHz DDR3，构建试验平台，图6为试验平台原理与系统实物图。

3.2 试验结果与分析

试验样品为缺陷率50%的728个、26行×28列的滤光片成品，采用常规视觉检测流程、视觉检测优化流程+全局调度算法、视觉检测优化流程+APAs调度算法对试验样品进行多次检测，记录检测时间，表3为检测系统优化前后检测时间对比表。

表3 检测系统优化前后检测时间对比

可以看出，采用多处理器调度可使检测速度极大提升，采用APAs调度算法后，平均缺陷识别完成时间为92.46s，是常规检测系统时间的36.5%，可以满足在线实时要求。

4 结束语

本文提出滤光片表面缺陷视觉检测系统多处理器调度方法，主要创新之处在于对滤光片表面缺陷视觉检测系统进行作业级分析，采用全局、APAs调度算法对视觉检测系统进行多处理器调度，并将期限紧迫、缓存敏感的任务限制在单一处理器，提高资源利用率，应用多处理器调度方法，极大提升检测仪器实时性能的有效性。以后工作将优化整个检测系统与仪器的多处理器调度方法，进一步提高仪器的实时性。

[1]Liu Y，Yu F H.Automatic inspection system of surface defects on optical IR-CUT filter based on machine vision[J].Optics and Lasers in Engineering，2014，55（1)：243-257.

[2]Nippolainen E，Sidorov I，Kamshilin A A.Detection of surface defects by means of dynamic speckles[C]∥Proc. SPIE 8413，Speckle 2012：V International Conference on Speckle Metrology.SPIE，2012.

[3]Tsapaev，Alexei P，Kretinin，et al.Image segmentation methods in problems of surface defect detection[J]. Computer Optics，2012，36（3)：448-452.

[4]Wang X H，Wu J F，Liu G X.Feature selection of surface defects in optical Filter[C]∥Proceedings of 2014 International Conference on Computer Science and Applications，2014.

[5]卫红，曹一鸣，王小辉，等.光通信滤光片外观特性及缺陷的视觉检测[J].中国测试，2014（4)：30-32.

[6]Jaghoori，Mohammad M.From nonpreemptive to preemptive scheduling:From single-processor to multi-processor[C]∥Proceedings of the ACM Symposium on Applied Computing.SAC，2011.

[7]Salamy H，Ramanujam J.A framework for task scheduling and memory partitioning for multi-processor systemon-chip[C]∥High Performance Embedded Architectures and Compilers-Fourth International Conference.Berlin：Springer，2009.

[8]Lele A，Kumar A，Rohith H M，et al.Exact schedulability analysis of global multi-processor IUF scheduling using symbolic model checking[C]∥5th International Conference on Industrial and Information Systems.IEEE，2010.

[9]付梦瑶.基于联合信息熵特征选择的滤光片外观缺陷检测研究[D].广州：华南理工大学，2014.

[10]吴俊芳，刘桂雄.图像边缘过渡区的数学表征方法研究[C]∥中国仪器仪表学会.2010中国仪器仪表学术、产业大会（论文集1).中国仪器仪表学会，2010.

[11]Milanez T，Collange S.Thread scheduling and memory coalescing for dynamic vectorization of SPMD workloads [J].Parallel Computing，2014，40（9)：548-558.

[12]Gujarati A，Cerqueira F，Brandenburg B.Multiprocessor real-time scheduling with arbitrary processor affinities：from practice to theory[J].Real-Time Systems，2015，51（4)；440-483.

Multi-processor scheduling of vision detecting system for filter surface defect

HUANG Jian1，LIU Guixiong1，WANG Xiaohui2
（1.School of Mechanical and Automotive Engineering，South China University of Technology，Guangzhou 510640，China；2.Guangzhou Research Institute of O-M-E Technology，Guangzhou 510663，China）

Online real-time detection is required in vision detecting system for filter surface defect.This paper discusses about a scheduling optimization strategy for utilizing available hardware resources to process real-time work in parallel so as to improve the processing.An AOE graph was used to perform task-level analysis on the abovementioned vision detecting system，optimize the data and resource dependency between events，topological relation of activities and inter-task redundancy，and establish a parallel task model.An arbitrary processor affinities（APAs）was employed for parallel multiprocessor scheduling.The designated task could only be executed by a processor set，i.e.，the tasks with imminent deadline and sensitive caches were confined on a single processorto enhance the level of resourcesutilization and improve the timelinessof detecting system.The results show that，on the panel with 26×28 optical filters（1.20mm×1.20mm），multiprocessor scheduling can greatly increase the detection speed.With the APAs algorithm，the average time in identifying defects is 36.5% that of the routine detection system.It has been proven thatthe multiprocessorscheduling can largely enhance the effectivenessfreal-time performance of testing instruments.

pattern recognition and instrument；multi-processing system；vision detecting system；APAs

A

：1674-5124（2015）10-0090-04

10.11857/j.issn.1674-5124.2015.10.020

2015-02-10；

：2015-04-29

广东省产学研项目（01562080172294053)

黄 坚（1990-)，男，广东揭阳市人，硕士研究生，专业方向为先进传感器技术与应用。

刘桂雄（1968-），男，广东揭阳市人，教授，博导，主要从事先进传感与仪器研究。