云图像识别技术在冰箱上的应用

程春明　王波　方波

1、前言

本文主要从摄像头组件的结构、安装方式，摄像头组件需要外围的相关硬件支撑，以及后台软件如何支持应用等三个方面，对云图像识别技术如何在冰箱上应用进行了相关阐述和说明。云图像识别技术可以帮助用户，通过智能终端APP软件实现远程查看食品存储实景图片，获取含有保质期信息（含过期提示）的食品清单列表，从而做出对冰箱储存管理的相应决策，使冰箱不仅是食品的储存箱，也是家庭（成员）的食品及健康管理终端。智能家居作为一个新兴产业，处在一个导入期与成长期的临界点，随着电信网、互联网、电视网的三网融合，电视、手机、PAD、电脑“四屏合一”，以及大数据、云数据等技术的出现，大大促进了智能家电的发展。正因如此，国内外一大批优秀的智能家电品牌，纷纷涉足智能家电的设计开发。家用电器中只有冰箱是“永不断电”的设备，自然成为智能家电中最合适的载体。冰箱的用户群体广，使用频率高，冰箱的智能化必然成为智能家电的焦点。关于冰箱食品管理的技术也就应之而生。智能冰箱是通过摄像头定时采集冰箱内的图像，使用云图像识别技术，自动生成食品列表清单，并据此列表中的记录信息对食品保鲜期进行分级管理，并适时提醒用户保质期限，还可以根据家庭成员来定制菜谱、推荐食品，以及进行比价之后网购等等衍生的功能，从而实现冰箱对家庭（成员）的食品及健康管理。

2、技术背景及应用前景

技术背景

随着硬盘容量跨过了MB，GB数量级，转眼已进入TB级时代，硬件储存空间不断增大，为海量的数据（如图片）提供了硬件支撑平台，进入了大数据时代，再加上图像的去噪、增强、复原、分割、提取特征等处理的方法和技术也逐渐成熟，使得图像识别的准确性进一步提高。许多科技巨头，包括国外的谷歌，脸谱以及国内的百度，也开始涉足图像识别领域。硬件及软件技术的逐渐成熟，促进了云图像识别技术在冰箱上的应用。

应用前景描述

随着云图像识别技术的不断进步，可以通過APP软件来时实时监控冰箱，让出门在外的用户对家里的冰箱了如指掌。据奥维咨询报告统计，一般城镇家庭平均每年由于冰箱内食品过期扔掉或者勉强吃掉的食品金额是2372元，几乎等于一台三门冰箱的金额。而具有云图像识别技术的冰箱，可以根据食品保鲜数据库，自动将食品保鲜期进行分级管理，提醒用户食品的保质期，避免过期和浪费。通过食品管理的功能，还可以根据家族成员的食谱偏好，通过比价的方式，来推荐周边质优价廉的食材，实现网上购物。随着人们生活水平的提高和对健康养生的不断追求，采用云图像识别技术的智能冰箱将会成为大众消费的主流和首选。目前，几大家电巨头都纷纷开发相关的智能产品来抢占市场。

3、摄像装置结构方案

为了实现云图像识别技术，需要在箱体内部（图1）（门体合适位置也可以，本文仅以箱体为例）合适的位置布置摄像装置（图2），为了全方位或无死角效果。根据箱体大小，一般需要布置8-12个摄像头，确保全方位拍照无死角。

冰箱内置摄像装置，包括固定部和摄像部，固定部包括夹紧外盖及嵌入冰箱内的预埋盒，预埋盒一端开口且开口朝外，夹紧外盖可拆卸的设于预埋盒的开口端外；摄像部（图3）包括安装板以及设于安装板上的PCB板、镜头组件、芯片组件及接线端子，接线端子通过通讯信号线与冰箱的控制芯片连接；夹紧外盖内侧设有卡住所述安装板的卡槽，安装板通过卡槽卡在夹紧外盖的内侧上，夹紧外盖上在对应所述镜头组件的位置处开有镜片安装孔，镜片安装孔上设置有透明的镜片。

本冰箱内置摄像装置，结构简单，制造工艺简便，其固定部采用卡爪卡槽配合设计，无螺钉固定，方便安装和拆卸，绿色设计；其在夹紧外盖上对应镜头位置处设置透明的镜片，起到了很好的防水防尘作用，保证了摄像效果。

4、硬件架构方案

云图像识别模块，硬件系统主要包括主控板、显示板、显示屏、触摸屏、摄像头、USB HUB板及线束等，如图4所示。主控板：主要用于完成冰箱制冷的基本控制，以及为冰箱上个智能模块提供电源，也是云图像识别模块的控制大脑。显示板：采用telechip主芯片，android操作系统。显示板用于驱动显示屏、触摸屏、摄像头、喇叭等器件，同时内置智能模块应用程序，根据要求对摄像模块下发指令。显示屏：采用10.1英寸显示屏，分辨率为1024*600，可以显示相关操作界面和指令。触摸屏：采用10.1英寸电容触摸屏，贴附在玻璃面板上，具有良好的触摸灵敏度，可实现滑动、放大和缩小等模拟用户操作。摄像头：理论上越多越好，可以保证全方位的拍摄角度和效果，无死角。安装的位置和角度需要前期试验验证。USB HUB板：由于摄像头数量较多，相关的硬件端口不够，需要增加连接摄像头的选通设备。食品拍照系统采用对摄像头轮流上电加载的方式进行拍照。HUB板采用总线与显示驱动板相连。

当用户需要手动启动图像识别时，只需点击显示屏上图像识别指令，显示板会启动食品摄像功能，并将拍照指令发给HUB板，由HUB板依次调用摄像头，并将采集的图片依次传给显示板，通过显示板WiFi模块将图片上传云端服务器，同时会在显示屏中依次显示所拍图片。以上云图像识别除了可以在冰箱上进行操作外，还可以通过移动终端，如手机，平板等移动终端上使用APP软件进行同样的操作。

5、软件架构方案

云图像识别不仅与摄像模块的结构、安装位置、以及外围硬件相关，也与相关的图像识别软件、支撑平台应用软件密切相连。智能冰箱有一个强大的云平台系统，此系统能自动升级及维护；并且具有自我学习及优化的能力。除了云平台，还要有个大型的数据库，让系统自学习，持续提高图像识别率。每次拍照后，冰箱启动图像识别流程（图5），云平台利用图像识别算法，将采集到的食品图像信息与云端食品图像数据库进行对比匹配，得出匹配度最优项，并反馈给系统，然后录入数据库，形成食品相关信息的列表文件。用户可以通过冰箱显示屏或移动终端来查看相关信息。

云图像识别技术的智能冰箱，优势主要体现在：用户不用开门，就可以通过手机、PAD等移动终端的APP软件中远程查看功能，通过实景图片（图6）可以看到储存食品的种类，数量，位置等等，一目了然。用户不仅可以查看实景图片，还可以查看自动生成的食品列表（图7），

为是否需要增添购买食物提供有效依据，通过食品列表，冰箱温控中心（图8）会智能判断重要食物的最佳储存温度，会自动判断食品储存的位置是否合理，及时纠正您的错误。如肉類、乳类等食品被放到冷藏室后，会提示用户放置在冷冻室比较合理。

摄像头根据一定的规则，会定时采集冰箱内的图像，通过云图像识别技术，将历史图像比对之后，智能冰箱会自动生成食品列表清单（图9），包括食品名称、数量、保质期、存放时间等信息；并据此列表中的记录信息对食品保鲜期进行分级管理，从而以三种颜色来提示用户食品的保鲜状态。一目了然。在临过期前，会及时提醒赶快食用，最大程度减少因为食品超出保质期造成的浪费及对家人健康的影响。

当用户需要希望改善下美食，冰箱会根据家庭成员的体质特征和饮食偏好，自动生成菜谱（图10），并自动配菜，然后调用云图像识别功能，视察冰箱内食材是否短缺，根据需要自动生成购物清单，再根据冰箱的“自动比价”功能，搜索你所在位置附近超市、批发市场里食材的价格，为用户推荐物美价廉的食材，等待确认后就可以下发订单，实现网购。

由此可见，拥有云图像识别技术的智能冰箱不再是是简单功能的储藏箱，同时也是家庭（成员）的食品及健康管理终端，随着新技术的不断进步，随着用户需求的不断提升，可以延伸拓展更多的功能应用。

6、不足

囿于目前硬件水平，再加上软件识别技术的精准度，导致目前识别率，识别速度都不是很高，主要体现在：1、摄像头不能拍摄的地方：（1）冷冻室由于温度低，食品表面被霜包裹，不易识别，且普通的摄像头也无法适应冷冻室的低温条件；（2）由于很难做到全方位布置摄像装置，箱内仍会有拍照死角存在的可能；或者食材被非透明物包裹，都无法识别；2、同一种食品更换存储位置时，图像识别无法智能判断，会造成误判，也会误导对保质期的正确判断；3、由于箱内光照不足、反光漫射等影响拍照条件的因素，会降低识别率；4、受限于硬件主频、运行内存、网速的限制，拍摄响应速度，识别速度比较慢。

7、结论

本文主要从摄像头组件的结构、安装、配套的相关硬件，以及后台软件支持等三个方面，对云图像识别技术如何在冰箱上应用进行了相关阐述和说明。云图像识别技术目前在国内冰箱行业尚属于首创，其功能及应用前景还需要进一步的挖掘和尝试，其存在的不足还需要行业相关技术支持。随着硬件技术，软件技术，尤其是识别技术的不断进步，其应用前景还是非常广泛的。在不断完善和拓展其衍生功能后，智能冰箱，尤其带有云智能图像识别功能的冰箱会被越来越多的用户来认知，认可并使用。

（作者单位：合肥美菱股份有限公司）