电致变色器件可见光识别融入系统
2019-10-08刘诗弘乐子瑜郑荣宗
刘诗弘 乐子瑜 郑荣宗
摘 要: 针对可见光识别过程中单一摄像头视角不足的问题,本文将图像拼接技术应用到识别融入系统中,达到扩大视域、增大识别范围的目的,进一步实现对图像进行特定颜色的识别。识别结果通过驱动电路输出对应电压值以驱动电致变色器件变色,使其和背景颜色相融,完成可见光的识别融入。经实验效果验证,可见光识别融入系统性能良好、稳定。
关键词: 图像拼接;颜色识别;驱动电路;电致变色
【Abstract】: Single camera has insufficient view angle for object recognition. To solve the problem, this work applies image stitching to the recognition integration system to expend the view angle and recognition range. The stitching image is identified by specific colors and the recognition result outputs a corresponding voltage value through the driving circuit, thereby driving the electrochromic device to change its color and blending it into the background color. The robustness and the effectiveness of the method were demonstrated on various experiments.
【Key words】: Image stitching; Color recognition; Driving circuit; Electrochromic
0 引言
可見光识别融入系统,是针对人眼、照相机、摄像头等观测手段采取的一种视觉图像融入技术,其目的是使目标的物体的反射率和背景环境的反射率一致[1],从而在视觉上达到可见光的无差别融入,可以利用电致变色器件的变色性能实现这一要求。
电致变色是材料的光学属性(反射率、透过率、吸收率等)在外加电场的作用下发生稳定、可逆的变化的现象,在外观上表现为颜色和透明度的可逆变化。用电致变色材料做成的器件称为电致变色器件[2-3]。目前电致变色器件的主要应用在智能窗、汽车防眩后视镜、飞机舷窗等领域[4]-[8],但是这些都只是对电致变色进行简单的调制。在电致变色器件应用的基础上,配合智能化设备的控制,可对电致变色器件进行智能驱动变色,使其与目标所处的背景颜色融合。电致变色器件智能化调控具有重要的意义,但目前国内外对该方面的研究鲜有报道。
目前,已有文献对周边图像颜色采集,但多使用的是单一信号传感器[9][10],对周围环境颜色识别存在着一定的局限性。例如摄像头视角的局限:通常来说一个普通摄像头识别角度范围大概在80°到120°之间,这直接导致了图像的检测存在很大范围的盲点区域;另外在对颜色的识别中,颜色空间的选取会直接影响到最后的识别效率。
针对这些问题,本文提出一种电致变色器件的可见光识别融入系统,以树莓派(Raspberry Pi)为采集图像的模块,将两个分辨率为480p、视角为120°的USB摄像头连接在树莓派的USB接口以实现对环境图像的精确采集,得到的图像经过局域网络协议传送给电脑PC进行拼接,并基于HSV颜色空间进行颜色识别,再将结果反馈给树莓派,最后通过驱动电路,针对性的调控电致变色器件变色。该系统采用图像拼接的方法,扩大了检测范围,在对颜色识别时,将RGB彩色空间转到HSV彩色空间进行处理,这样减小了来自颜色空间各个分量的影响,提高了识别精度,增加了系统的实用性。经
实际测试验证,该识别方法具有准确率高,识别范围广等优点,可以很好的实现环境融入效果。
1 图像拼接的策略
图像拼接的一般步骤包括输入源图像、对源图像进行预处理、源图像序列进行匹配、图像融合、输出目标图,其中对源图像序列进行匹配和图像融合是最主要的技术难点。图像拼接的一般步骤如图1所示。
(1)源图像进行预处理:对输入源图像序列A、B进行去噪,平滑滤波[11]。
2 颜色识别方法
2.1 彩色空间
由于采用不同的彩色空间对目标识别有一定 的影响,所以选择一个合适的彩色空间对本文的颜色识别有着重要的作用,常见的彩色空间有RGB,HSV等。
RGB彩色空间是最常用的彩色空间,由红(R)、绿(G)、蓝(B)三个分量组成,通常以图解方式显示为一个RGB彩色立方体。如图3所示[15],每个彩色像素是一个三值组,这三个值分别对应一个特定空间位置处该RGB图像的红、绿和蓝分量,但是R、G、B这三个分量具有高度相关性,这就意味着如果颜色亮度发生变化,所有三个分量也会随着改变,因此不适合用于颜色分割。相对而言,HSV彩色空间更有利于对颜色的选择。
HSV:是三个分量的简写H为色调(hue),S为饱和度(saturation),V为明度(value)。色调(H)代表基本颜色,饱和度(S)是衡量颜色纯度的指标,明度(V)是表示灰度值的深浅。HSV的彩色空间可以用一个圆锥来表示,如图4所示[15],红、绿、蓝分别相隔120°,红色对应角度0°,绿色对应角度120°;蓝色对应角度240°,互补色相隔180°。HSV彩色空间与RGB相比,更接近人的视觉系统感知彩色的方式,HSV空间也能更好的反映物体的颜色信息;甚至分割不同的颜色对象,也可以仅考虑色调(h)这个分量。结合本文的实际工作环境与影响的因素,我们采用HSV彩色空间作为颜色识别的处理空间。
2.3 颜色识别处理
在图片进行颜色识别的阶段中,先对图片进行预处理操作[17-18],进一步提升识别精确,减小误识别概率。对所采集到的图像进行中值滤波,减少背景区域的干扰,接着对目标进行形态学上的闭运算和高斯滤波,排除目标内部的由于外界光照造成的光斑影响[19-20]。对需要检测的特定颜色使用了用于颜色过滤的轮廓检测算法。通过设置HSV过滤器的阈值完成颜色过滤,选出特定颜色的区域,其余区域进行掩模处理。
3 硬件设计
整个系统的硬件平台如图5所示,两个480p的免驱摄像头通过USB串行接口与树莓派相连,树莓
派通过以太网和电脑连接。由于树莓派3B是基于ARM Cortex-A53 1.2 GHz四核CPU,处理图像信息较慢,所以当摄像头对图像完成采集之后,通过以太网上传到PC端进行处理。驱动电路通过树莓派自带的GPIO口来控制导通,电致变色器件与驱动电路的输出连接,树莓派预先安装Ubuntu 16.04 LTS操作系统,以此来配置一些有关摄像头的和网络的依赖项。
驱动电致变色器件的电路如图6所示,驱动电路采用恒流源驱动,主要放大器为OPA620,根据树莓派接收到PC指令,对电致变色器件施加对应的电压,使其颜色变化为识别到的特定颜色,电路用软件Altium Designer设计完成。
综合以上的分析,我们提出整个系统的流程图如图7所示。
4 仿真结果与分析
为了验证效果,我们拍摄了两组带有不同色块的照片进行仿真,实验仿真环境为基于Windows 10操作系统的visual studio 2013以及opencv2.4.9环境,硬件配置是Intel i5 Gen2 内存为8g RAM,实验效果如图8和图9所示。
在图8和图9中,对两个摄像头采集到的图像序列进行拼接,将图片彩色空间转换成HSV之后,对特定颜色进行分割,当检测到特定颜色,将指令传送给树莓派,树莓派给GPIO口通高电平,打开驱动电路,驱动电路给电致变色器件提供合适电压,以此达到变色的目的。最终实验效果如图10所示。
在图10中,初始状态(a)背景为黄色,电致变色器件不作任何变化,为原始色,当PC端检测到拼接后的图像存在一片连续的绿色的时候,给树莓派发送确认信息,树莓派接收到PC端的指令,GPIO口输出高电平,打开驱动电路,驱动电路开始给电致变色器件供电,电致变色器件变色。观察变色后的效果(b)(c)都达到了与背景颜色融入的效果。同理,黄色的变色过程一样。由于电致变色器件的局限性,本文只对绿色、黄色进行了识别。
5 结论
本文设计了智能化的电致变色控制响应系统,该系统的特点在于用树莓派作为图像传输和信号控制的媒介,利用两个摄像头采集周围图像,扩大了视域和识别范围,与单摄像头定点旋转获得图像序列相比,提高了图片采集的效率。在HSV彩色空间中,系统对特定颜色的识别,也具有较高的可行性和稳定性。本文方法可进一步扩展到更多摄像头,从而达到对周围图像360°全景采集,观察范围更广,自动化程度更高。
参考文献
[1]厉封岚. 隐身涂料发展综述[J]. 现代橡胶技术, 2015, 41(03): 11-14.
[2]苑晓, 贺泽民, 张兰英, 杨槐. 电致变色材料研究及发展现状[J]. 新材料产业, 2014 (05): 14-18.
[3]Argun A. A., Aubert P. -H., Thompson B. C., Schwendeman I., Gaupp C. L., Hwang J., Pinto N. J., Tanner D. B., Mac Diarmid A. G., Reynolds J. R., Multicolored Electrochr o mism in Polymers: Structures and Devices[J], Chemistry of Materials, 2004 (16): 4401-4412.
[4]刘玮, 郝雨楠. 智能窗发展现状研究[J]. 门窗, 2017(08): 12-14.
[5]韦友秀, 陈牧, 刘伟明, 厉蕾, 张官理, 颜悦. 电致变色技术研究进展和应用[J]. 航空材料学报, 2016, 36(03): 108-123.
[6]张征林, 王怡红, 王宏, 苏连永, 陆祖宏. 电致变色材料及应用[J]. 电子元件与材料, 1999(01): 34-38+51.
[7]Dao L. H. and Nguyen M. T., Design and optical modulation of electrochromic windows[C] //Proceedings of the 24th Intersociety Energy Conversion Engineering Conference, IEEE, 1989: 1737-1741.
[8]Rauh R. D. and Cogan S. P., Electrochromic "Smart" Windows[C]//Proceedings of the 25th Intersociety Energy Conversion Engineering Conference, IEEE, 1990: 26-30.
[9]范夕萍, 窦建芝, 郭瑞萍. 国外可见光隐身材料的研究现状及最新进展[J]. 化工新型材料, 2009, 37(05): 9-11+88.
[10]杨长胜, 程海峰, 李效东, 唐耿平. 智能隐身材料的研究现状[J]. 功能材料, 2005(05): 643-647.
[11]曹妍, 陈伟, 徐森. 图像去噪方法研究与仿真[J]. 软件, 2015, 36(4): 33-36
[12]Bay H., Tuytelaars T., Van Gool L. SURF: Speeded Up Robust Features[C]. //Computer Vision – ECCV 2006. Berlin: Springer, 2006: 404-417
[13]雷飛, 王文学, 王雪丽, 任维. 基于改进SURF的实时视频拼接方法[J]. 计算机技术与发展, 2015, 25(03): 32-35.
[14]Fu Q. and Wang H., “A fast image stitching algorithm based on SURF” 2017 IEEE//CIC International Conference on Communications in China (ICCC), Qingdao, 2017: 1-4.
[15]冈萨雷斯. 数字图像处理(matlab版) (第二版)[M]. 北京: 电子工业出版社, 2016: 120-127.
[16]WIKI: HSL和HSV色彩空间[OL]. 2019-01-24. https: //zh. wikipedia. org/wiki/HSL和HSV色彩空间
[17]侯贵洋, 赵桂杰, 王璐瑶. 草莓采摘机器人图像识别系统研究[J]. 软件, 2018, 39(06): 184-188.
[18]罗洋坤. 基于车联网图像的多焦点融合去噪技术的研究[J]. 软件, 2018, 39(2): 47-51.
[19]郭英华. 基于HSV色彩空间的图像分割[J]. 黑龙江冶金, 2011, 31(02): 35-37.
[20]孙琦龙, 张明亮. 一种HSV 颜色空间量化的藏毯图像检索方法[J]. 软件, 2016, 37(3): 36-39.