WIFI镜头机无线图像采集系统①

龚正,沈建新(南京航空航天大学 机械电子工程系,南京 210016)



WIFI镜头机无线图像采集系统①

龚正,沈建新
(南京航空航天大学 机械电子工程系,南京 210016)

摘 要:针对有线摄像头移动性差、不够灵活等缺陷,提出将摄像头模块、WIFI模组和stm32芯片组合到一起形成一个WIFI无线镜头机.对摄像头模块和WIFI模组的原理和实物进行了研究,通过WIFI无线数据传输技术、LWIP协议及Socket网络编程将图像数据信息无线发送到显示设备处理器中.最终实现将带有网卡的显示设备连接到WIFI无线镜头机内部的WIFI热点,通过连接服务器、开启相机、保存图片等一系列的操作,方便快捷的完成无线图像传输、显示和存储的工作.

关键词:镜头机; 无线图像采集; WIFI模组; LWIP协议; socket编程

传统有线工业相机的工作原理是通过各种镜片(LENS)光路将被成像物体生成的光学影像投射到光电耦合器上,通过A/D转换后变为数字图像信号,将该数字信号传送至DSP芯片中进行压缩存储等操作,最终通过有线线路传输到显示设备中[1].传统有线图像传输方式不够方便和灵活,常受布线、被成像物体的位姿等问题的影响.

目前应用较广的无线数据传输技术有: 蓝牙(BlueTooth)、通用分组无线业务(GPRS)、无线域网(ZigBee)、基于IEEE802.11b标准的无线局域网(WIFI),这些无线数据传输技术都有各自的应用领域.如,蓝牙适用于低功耗、低成本、短距离的场合[2]; GPRS提供高速无线IP,但依赖基站且用户需要承担相应的费用[3]; ZigBee是一种近距离、低复杂度、低功耗、低成本的双向无线通信技术[4].本系统采用的WIFI网络具有传输速率快、能耗低、覆盖面广等特点[5].

有线相机改造成无线相机的关键点是将原来由有线传输的数字图像信号和控制数据改为无线传输.目前市场上已经有商用的无线摄像头,当前主流的设计方案包括: ARM+DSP、FPGA+视频编解码芯片、高主频的ARM担当中央控制和图像处理的角色.但是高质量的无线摄像头价格昂贵,并且集成度比较高不利于底层的二次开发.本文通过对嵌入式图像采集系统平台[6]、WIFI无线数据传输技术和WIFI与显示设备之间的通信协议的研究,提出将工业相机内部嵌入WIFI模组,通过显示设备连接相机内部的WIFI热点进而完成无线图像传输、显示和存储的工作.

1　WIFI无线图像采集系统总设计与WIFI技术原理

本系统设计的无线图像采集系统由WIFI镜头机模块和带有无线网卡的PC组成,其中WIFI相机镜头模块由影响感应器、影像处理器和WIFI无线传输模块组成.如图1所示为WIFI相机镜头模块与PC机无线通信的示意图.

WIFI相机镜头模块是新型的不含显示器的镜头模块,它的显示器可以是智能手机、PC机、平板电脑等具有连接WIFI功能的显示设备.传统的相机显示器和相机镜头都是一体的或者说是有线连接的.WIFI相机镜头模块看起来像是一个相机,但是没有显示器,因此更准确的来说它是一个无线摄像头.它是通过相机镜头模块内置的WIFI无线模块连接到显示器,一旦显示器与WIFI相机镜头模块建立连接,相机就可与显示器主机进行无线数据交互如相机采集的照片可以无线传输到显示器上、主机可以给WIFI模组发送命令来控制相机的调教马达或者改变相机拍摄参数.

图1 WIFI相机镜头模块与PC机无线通信的示意图

1.1影像感应器与影像处理器

影像感应器有CCD和CMOS两种.以前大多使用的是CCD感应器,考虑到成本和CMOS制造工艺的发展数码影像器材的感光元件多采用CMOS型.如图2所示,CMOS图像传感器一般由行选通逻辑、定时和控制电路、像素阵列、在片模拟信号处理器(ASP)、列选通逻辑构成,高级的COMS中集成有ADC[7].

影像处理器就是固化到数码相机主机板的一个大型的集成电路芯片,在成像过程中对COMS(或CCD)蓄积下的电荷信号进行处理,完成数码图像的压缩、显示和存储.影像处理器将用于图像处理功能的DSP 和MCU集成在一个芯片上,如ATMEL AT76C111、 AT76C110等,它们的MCU都是采用ARM7内核.

图2　CMOS图像传感器结构

1.2WIFI模组

WIFI模组是实现无线图像采集的关键,它需要将COMS采集的数字信号转化成无线电信号,并进行远程传输,使图像可以在其他显示设备中再现.因此它具有以下特点: 支持UART/GPIO通讯,可以与数码相机的芯片进行连接; 采用扩频技术,以保证无线数据传输能顺利进行; 支持802.11无线标准和TCP/IP/UDP网络协议,便于与无线网卡连接,在PC机等显示设备上显示,保存图像.WIFI无线图像传输系统中,常用的WIFI芯片是Marvell公司的88W8686和新出的88W8787[8].

1.3WIFI无线数据传输技术

WIFI遵循IEEE802.11系列协议,是主流的无线局域网(WLAN)技术.WIFI协议只是定义OSI(Open System Interconnection)七层协议的物理层(PHY)和数据链路控制层(DLC)的一部分[9].

在物理层的空中接口中,数据信息势以无线电波(radio wave)进行传输.这种传输经常是一帧一帧的进行,每一帧都会按照一定的规矩进行排列,采用帧结构或者包结构形式.这就导致WIFI协议需要比较复杂的PHY,WIFI的PHY也可分为三层:

① 最下层是PMD(Physical Medium Dependent,物理介质依赖)负责传送这些帧,与实际的物理介质打交道;

② 中间层叫PLCP(Physical Layer Convergence Procedure,物理层会聚过程)负责将MAC(Medium Access Control,媒介访问控制层)帧映射到传输媒介;

③ 最上层叫PHY SAP(Server Access Point,物理层服务访问点)就是上段定义的对MAC的服务接口.

上层通过接口原语的方式调用MAC层的功能.MAC一共向上层提供数据类1个接口和管理类29个接口原语.

2　WIFI无线图像采集系统硬件设计

本系统选用的是OV2640摄像头模块,是一种CMOS图像传感器,将UXGA相机和DSP封装集成在一块板子[10].通过SCCB总线控制,支持Raw RGB、RGB(GRB4:2:2、RGB565/555/444)、YUY(4:2:2)输出格式,UXGA(1632*1232)图像最高达到15fps.如图3所示为OV2640的实物图.

图3　OV2640摄像头实物图

本系统选用的WIFI模组是台湾环隆电气公司生产的模块WM-G-MR-09,它是将88W8686芯片组做成一个SIP模块(system in package),把无线芯片,时钟,电源以及存储模块集成到一个封装里,不用去考虑无线芯片的具体细节,大大方便了我们的设计.图4 为WM-G-MR-09WIFI模块的实物图.

图4　WM-G-MR-09WIFI模块的实物图

其中WM-G-MR-09WIFI模块引出了10个引脚与主芯片进行连接,分别是DATA1,DATA0,GND,CLK,SW_3V3,GND,CMD,DATA3,DATA2,GND.其中SDIO/G_SPI数据传输引脚DATA0,DATA1,DATA2,DATA3,时钟引脚CLK,命令控制引脚CMD,其他的分别是电源和接地引脚.

本系统选用ARM STM32F103RET6作为MCU,它负责将OV2640摄像头模块采集来的数字信号,通过G_SPI串口传送给WM-G-MR-09无线WIFI模块.将WM-G-MR-09WIFI模块、OV640摄像头和STM32F103RET6组合在一起就看成一个简易的WIFI镜头机.显示设备通过自带的无线网卡就可以完成与WIFI镜头机的无线图像显示及采集的工作.

3　WIFI无线图像采集系统软件设计

WIFI无线图像采集系统是基于Ad hoc网络,Ad hoc网络可以不依靠任何中间设备(如路由器等)完成WIFI模块与PC机无线网卡的连接.只要将WIFI模块功能打开,装有无线网卡的PC机就可搜索到无线网络,PC机就可连接WIFI模块建立的WIFI热点.如图5所示为无线图像传输系统软件结构图.PC机中实现上位机应用层,TCP,IP协议; 网络接口层由无线网卡和WIFI无线模块共同实现.

图5　无线图像传输系统软件结构图

本系统WIFI镜头机模块采用LWIP协议(Light weight IP),这种协议在有无操作系统的支持下都可以运行[11].之所以使用LWIP协议是因为它既可以实现TCP协议有可以在无操作系统的情况下使用并且该协议占用的RAM和ROM都较少,适合在低端的嵌入式系统中使用.

本文就是在无操作系统的情况下使用LWIP协议,即使用RAW API函数来完成LWIP的功能.在此之前将相应的LWIP和WIFI库文件放置到工程文件中,并进行相应的配置和操作,具体做法如下:

① 通过init_marvell_driver()函数初始化网卡,初始化marvell驱动程序并初始化SD卡,将关联配置信息存放到相应的变量中;

② 通过marvel_assoc_network (prive,marvel_ssid,marvel_key,marvel_mode)函数关联网络,即通过marvel_ssid变量和marvel_key变量来设置WIFI热点的用户名和密码,通过marvel_mode来选择Ad hoc网络模式;

③ 通过Init_LwIP()函数来初始化LWIP协议栈,具体初始化有内存管理(men、memp)、数据包缓存(pbuf)、网络接口(netif)等;

④ 通过dhcpsrv_start(&netif)函数启动DHCP服务;

⑤ 通过Init_tcp_server()函数创建TCP服务器,完成TCP的创建、绑定相应的下位机端口号、监听和接受服务请求.

⑥ 最后通过low_level_input(&netif)函数和low_level_output(&netif)函数完成接受和发送一个数据包.

完成WIFI模块与ARM STM32F103RET6芯片之间的相关操作,即下位机程序如何使用协议栈内部提供的各种服务,还要完成上位机接收显示图像数据和发送下位机控制数据的工作.

如图6为应用程序的工作流程图.Socket客户端采用connect()方法连接上服务器的IP和端口号; send()方法请求数据,用于控制OV2640摄像头模块的打开与关闭; recv()方法用于接收图片信息.本系统在WIFI镜头机模块中创建一个服务器,在PC机上建立一个客户端程序.通过客户端程序实现与服务器的连接,从而实现摄像头模块的打开与关闭以及图像的显示与保存.

图6　应用程序工作流程图

4　WIFI无线图像采集系统测试

如图7所示WIFI镜头机的WIFI无线视频传输上位机界面,通过LWIP和Socket网络实现WIFI无线图像采集.图中界面是用C#语言编写而成,左边的大图为一个pictureBox控件,用以实时显示Socket接收的视频图像; 通过输入正确的IP和端口号,按下“连接服务器”按钮即可连接下位机的服务器; “开启视频”按钮是在正确下位机连接服务器后,开启OV2640摄像头,并将该摄像头采集的图像信息在左边的大图中实时显示; “保存”按钮是将实时显示的图像瞬间捕获,保存在本地磁盘中并在右边的小图中显示出来.至此,完成了WIFI镜头机无线图像采集、实时显示和保存的全部工作.

图7　WIFI无线视频传输上位机界面

5　结语

无线WIFI镜头机的图像采集系统是多种新技术、新产品并结合实际应用要求的产物.镜头与显示器的无线分离让图像采集的过程变得非常方便快捷.WIFI相机模块的图像采集系统具有成本低廉、易于开发与集成等优点.随着无线技术的发展与成熟,WIFI无线图像采集系统将会工业图像采集及医用图像采集中得到广泛的应用.

参考文献

1蒋昌茂,刘洪林.基于WIFI的无线IP摄像头的设计与实现.微型机与应用,2010,29(21):55–57.

2李晓毅,钟先信,余文革,等.局域监控蓝牙无线图像传输系统设计.电子技术应用,2003,29(6):62–64.

3杨兴裕,吴海彬,许松清.GPRS无线传输在远程图像监控系统中的应用.微计算机信息,2005,21(3):64–65.

4章伟聪,俞新武,李忠成.基于CC2530及ZigBee协议栈设计无线网络传感器节点.计算机系统应用,2011,20(7):184–187.

5赵智雅,王泽勇.嵌入式图像采集系统的平台设计.计算机系统应用,2009,18(12):136–139.

6曾磊,张海峰,侯维岩.基于WIFI的无线测控系统设计与实现.电测与仪表,2011,48(547):81–83.

7佟雨兵,常青,张其善.嵌入式CCD视频图像采集系统.光电工程,2004,31(增刊):133–144.

8罗娜.基于88W8686的手持终端WIFI功能的设计与实现[学位论文].武汉:武汉理工大学,2010.

9 刘小军.基于WIFI无线视频传输技术的研究.电子技术,2012,10(3):82–85.

10王建,梁振涛,郑文斌,等.STM32和OV2640的嵌入式图像采集系统设计.单片机与嵌入式系统应用,2014,9(1): 46 –48.

11汪竞.基于WIFI的无线图像传输系统的设计[硕士学位论文].西安:中国科学院研究生院(西安光学精密机械研究所),2013.

Wireless Image Acquisition System of WIFI Lens Camera

GONG Zheng,SHEN Jian-Xin
(Mechanical and Electronic Engineering,Nanjing University of Aeronautics and Astronautics,Nanjing 210002,China)

Abstract:Wired camera has many defects such as poor mobility and less flexible,so the paper presents a combination of the camera module,WIFI module and stm32 chips to form a WIFI wireless lens Camera.Through researching on theory and entity of camera module as well as WIFI module,this method implements wireless image data transmission to the display device processor by WIFI wireless data transmission technology,LWIP protocol and Socket network programming.When the display device with WIFI wireless network card could connect to the camera's internal WIFI hotspot,it could conveniently complete wireless image transmission,display and storage through a series of operations like connecting to the server,turning on the camera,preserving the image and so on.

Key words:lens camera; wireless image acquisition; WIFI module; LWIP protocol; socket programming

收稿时间:①2015-08-14;收到修改稿时间:2015-09-24