拍照识茶小程序的开发及实践

黄海波，周帅帅，马 瑞，丁文捷，杨 钧

（1.塔里木大学 信息工程学院，新疆 阿拉尔 843300；2.宁夏大学 机械工程学院，宁夏 银川 750021）

中国茶叶按照制作工艺不同共分为6 类，不同品种的茶叶具有特定的外形与色泽。由于茶叶品种繁多，对其进行辨识时容易出错，甚至根本无法识别茶叶的品种，严重阻碍了茶叶爱好者深入了解茶文化知识，因此，对茶叶的鉴别和归类成为一项复杂而重要的工作。

目前，人们对茶叶的鉴定主要依靠人工鉴定、光谱鉴定、荧光鉴定等方式，各种鉴定方法均有不足之处，如：人工鉴定识别速度较慢且不能实现自动操作，光谱鉴定和荧光鉴定的准确性不高且操作复杂[1-3]。

为此，项目组提取了茶叶的特征模型，并对其进行大量数据的训练；利用人工智能技术和深度学习技术对茶叶进行鉴定，开发出一款能够快速、准确识别茶叶品种且具有赏析茶文化功能的微信小程序。

1 用户需求分析

为了给茶叶爱好者提供一个易于理解、易于使用的系统，首先对用户的期望进行分析，然后确定系统的功能，具体包括：①准确识别茶叶品种，且操作系统简洁、方便，具备拍照、文字或语音输入功能；②进行与茶生活相关的交流互动；③茶文化、茶工艺技术资源获取；④茶经济分析与述评。

由用户需求分析可知，茶爱好者期望的主要功能在于无处不在的信息交流、便利的获取方式、学习茶文化的新型途径、自适应用户对茶文化的学习，并且操作系统人性化，有良好的用户体验[1-2]。

由于功能实现主要依赖用户输入信息的获取，因此准确识别茶品种是开发的关键。由图1 可知，识图知茶是联系茶文化、茶经济等信息的纽带，它是目前通信环境条件下联系各种需求的一个窗口核心要素[3]。

图1 用户基本需求

2 茶叶识别原理和模型训练

茶叶识别原理的主流技术为深度学习，主要依赖于识别模型，而深度学习的识别模型则依赖于大量原始图片识别训练。创新互动平台使用户能够参与识别系统的升级改进，活跃茶文化交流，让用户能够通过窗口上传更多的茶叶图片以提升识别效果。若识别结果与事实存在误差，用户可将茶叶名称及图片上传，达到一定数目的相同结果后，便能通过审核，存于数据库中，设计处理模式进行处理。

处理情况分为2 种：①若出现数据库中不存在用户上传的新茶叶类型，可将用户上传的茶叶名称及图片通过审核后存储在一个数据库中。该茶叶的数量达到可训练数量（500 个）时，对该茶叶进行训练，提取特征，获得训练模型，以增加系统的可识别量。②若上传的茶叶名称存在于现有数据库中，但识别精度不高导致识别失误，就将用户上传的茶叶名称及图片存储于另一个数据库中。该茶叶到达一定数量（300 个）时，将系统中原有的该茶叶信息及用户上传的茶叶信息一起进行训练，从而提高茶叶识别模型识别率[4]。

基于茶叶图像分类识别、图片特征的提取，建立了一种基于深度编码解码网络的茶叶分类识别模型，用于解决少见茶叶图像分类识别精度较低的问题，并增强了系统与用户的交互性，其主要目的是将训练好的IMAGENET 预处理模型作为新任务模型的基础，避免过拟合的风险。新任务模型使用MobileNetV3_small_ssld，其本质就是MobileNetV2 模型。将IMAGENET 的卷积融入其中，MobileNetV2 的核心构建模块是基于反向残差的深度可分离卷积块。该网络结构通过使用大量的3×3 的卷积和，能减少大量计算且提高精准度，可在移动端实现低延迟（精度尚可接受）的识别[5-6]。

该方法在光照条件较为复杂的场景下，对茶叶图像识别能够表现出较高的精度（图2）。

图2 茶叶识别原理框图

3 总体架构设计

软件总体架构设计分为人机交互界面、模块层和系统资源层（图3）。人机交互界面实现图像的选择、导入与显示。系统资源层可实现茶叶信息的存储。模块层设计分为茶文化模块、AI 识别模块、茶叶信息模块、知识竞答模块4 个部分，各模块通过底部菜单栏进行切换。①茶文化模块：主要以浏览文章为主，是集丰富多彩的个性化展示于一体的综合性模块。②AI 识别模块：提供拍照、上传和语音识别功能，经识别可快速获取茶叶信息。③茶叶信息模块：基于IMAGENET 模型的训练结果，利用Jsoup 技术爬取不同的图片，构建茶叶信息展示页面。④知识竞答模块：提供新的学习途径，引导受众用户从新颖创新的角度了解茶文化，帮助用户更深入、更全面地认知茶叶，培养用户的茶道文化。

图3 软件总体架构设计

3.1 人机交互UI 设计

（1）页面布局。要求简化主界面布局和导航机制，突出核心功能，在底部栏加以显示。通过查询结果界面，可快速了解茶叶信息，并提供详细链接和购买链接。

（2）交互方式。以点按和滑动2 种方式为主，尽量不使用复杂的交互方式，降低用户的学习成本。

（3）配色设计。根据产品定位，青少年视力正处于发育期，老年人群的视力减弱，因此在配色中规避了对比色及高亮度、强刺激的颜色（图4）[7]。

图4 详情界面及AI 识别界面

3.2 茶文化模块

整个模块以翻阅文章为主，用户可以通过点赞、评论和转发文章等及时与他人进行交流，增强了用户之间的互动性。有榜排名可查看名茶排行及详细介绍；知识竞答模块可以进行趣味竞答（图5～图6）。

图5 主界面

图6 茶叶排名界面

3.3 AI 识别模块

系统最核心的模块是AI 识别模块，主要提供拍照、上传和语音识别功能。模块采用深度学习技术，简单易用，识别准确度高，其通过本地上传图片进行识别（图7），识别结果提供疑似物品，拓宽了识别的兼容性。点击详细按钮可查看茶叶详情，提高了系统的实用性。

图7 本地上传及识别结果界面

3.4 茶叶信息模块

通过AI 识别模块所获得的茶叶名称、与茶叶相关的图片、传统制作工艺、历史典故与诗词名句等信息能够呈现在茶叶信息模块界面上。用户可通过搜狗百科的链接详细地了解茶文化，也可以点击购买链接，进入商品界面进行购买（图8）。

图8 茶叶商品界面

3.5 知识竞答模块

知识竞答模块有文化知识和看图识茶2 个选项（图9）。每次挑战共10 道题，答完自动退出。设置该模块的目的在于激发用户学习知识的热情，使其在丰富趣味的竞赛氛围中增强茶文化，从而引导用户关注茶文化。

图9 知识竞答界面

4 实验验证与结果分析

4.1 模型评估

训练集中召回率较高，当训练识别大于40 代时，验证集达到60%左右（图10），说明选择的模型训练精准度良好。

图10 验证集

对小程序的测试主要分为“问卷星”调查和性能测试2 个方面。安全性测试由微信小程序本身的安全性能来保证。

4.2 用户体验

根据用户体验进行问卷调查，以此确保用户的满意度。部分问题以及参与调查对象（230 人）对此程序的满意程度见表1。

表1 AI 拍照小程序用户体验调查情况（选取部分）

4.3 客户端运行效能

选择微信客户端进行测试，在单个手机测试条件下的运行效能见表2。测试客户主观感觉运行流畅，操作顺滑。通过微信建立的交流互动平台把热爱茶文化的人们聚集在一起，有助于传承中国茶文化精神。通过拍照识别功能，能够快速查看相应的简介。通过茶文化链接学习功能，可较快地获取茶文化资源，操作方便快捷。该系统还针对老年人开发了语音播报功能。

表2 客户端运行效能

5 结论

通过分析茶产业涉及的茶经济、茶生活、茶工艺以及茶文化相关领域，结合当前“互联网+茶产业”发展的融入需求，尝试设计开发了一款能够识别茶叶类型并能传播茶文化的微信小程序，包括茶文化学习、交流互动、拍照识别和茶叶购买等功能[8]。实践表明：①爬取茶叶信息方法构建的数据集仍需结合交流互动补充完善；②客户端嵌入功能和基础方案运行正常；③小程序人性化调查表明，人们对茶叶拍照图像的识别效果较为满意。