基于专属0-1模型的茶叶验真方法

朱晨鹏，彭宏京*，肖庆华，施浩杰，吴广

基于专属0-1模型的茶叶验真方法

朱晨鹏1，彭宏京1*，肖庆华1，施浩杰1，吴广2

1. 南京工业大学计算机科学与技术学院，江苏 南京 211800；2. 新立讯科技股份有限公司，江苏 南京 210012

针对传统滤波方法在茶叶特征选择上都存在一定的盲目性，以及茶叶类别数不确定等问题，提出为每一类茶叶都配备一个专属0-1分类器的验真方法。其中正样本是目标茶叶本身，标签为1，负样本是其余茶叶类型，标签为0，训练过程中迫使模型自动提取出最适合于区分目标茶叶的隐式特征进行验真或验假，同时使用孪生网络对负样本进行筛选，缓解了正负样本不平衡的问题。试验结果表明，该方法很好的适应了茶叶类别数不确定因素的干扰，具有较强的鲁棒特性，是一种有效可行的方法。

0-1模型；茶叶验真；孪生网络；隐式特征

目前，市面上的茶叶真假难辨，为维护消费者权益，研发一种高效的茶叶验真方法显得尤为重要。茶叶的验证是包含两幅图像的问题，一幅图像为目标茶叶本身，另一幅图像为待验证茶叶，如何有效的提取目标茶叶特征并与待验证图片进行校验成为了验真的关键。

传统的验证方法[1-5]提取图像显式特征进行特征匹配，但对于茶叶品种的多样化缺乏很好的鲁棒性，可能某种特征只适用于区分某种特定的茶叶，难以区分同一茶树品种、嫩度和制茶工艺下不同茶季的茶叶。多特征组合也仅适用于某个特定的茶叶库，难以适应将来新品种茶叶的产生。近年来基于深度卷积神经网络的特征提取方法受到广泛关注，在茶叶鉴别上，余洪[6]提取茶叶图像的12个颜色特征和22个纹理特征，最后使用主成分分析法提取特征参数的主成分数，采用PCA-GA-BP神经网络进行分类识别，对碧螺春、婺源绿茶的识别准确率分别达92.5%和85%。

每一种茶叶都有它本身的特性，本文针对不同茶叶微调训练出一个专属于它自身的0-1模型，该模型利用神经网络自动提取出最适合于区分目标茶叶的隐式特征进行验真或验假。相比于之前传统手工提取特征的方法更加高效，相比于全分类模型，其准确率分布更加平稳。

1 材料与方法

1.1 目标茶叶样本的获取

本文所用的茶叶样本均由新立讯科技股份有限公司与贵州省遵义茶叶交易所联合提供，研究中采用的茶叶类型如表1所示。

1.2 模型与验证方法

茶叶的验真包含两幅图像，一幅图像为目标茶叶本身，另一幅图像为待验证茶叶。按照传统的特征匹配方法，本文先提取了各类茶叶的尺度不变性特征（Scale- invariant feature transform，SIFT）和方向梯度直方图（Histogram of oriented gradient，HOG）特征两种显式特征进行茶叶的验真，具体的验真准确率如表2所示。

表1 茶叶样本信息

由表2可以看出，使用两种显式特征进行验真时准确率都较低且分布不平衡，最高为70%，最低仅为7%。造成这种现象的原因一方面是茶叶分布没有固定的形态，不存在可以进行特征比对的基准图片，在与待验证图片集进行特征匹配时，随机的一张茶叶图片所提取的显式特征并不具有代表性；另一方面是手工提取特征存在一定的盲目性，某一种特征可能只适用于区分某类特定的茶叶，难以提取出能够将所有茶叶都区分出来的显式特征。

考虑到每一类茶叶都有它自身的特性，本研究提出一种基于专属0-1模型的茶叶验真方法。该方法大致可以分为两个阶段：数据集的筛选阶段和模型训练测试阶段，整体的茶叶验证流程图如图1所示。

1.2.1 建立茶叶数据库

本研究选取湄潭翠芽、碧螺春、雨花茶以及遵义红构成整体的茶叶数据库。同时，每一种茶叶类型都具有不同的子类，共24类。例如湄潭翠芽作为绿茶代表茶之一，有一芽一叶型、单芽型和全叶型等。

具体的采样方法是在室内自然光照的条件下，将茶叶平铺在白纸上，尽量不要露出白底，使用一台固定的采样设备，本研究使用的是小米8手机的后置摄像头，在固定高度的前提下进行拍照，具体的采样示例如图2所示。采样结束后，由于图片的尺寸较大（3 024×4 032），如果直接将其等比例缩放至299×299作为模型的输入，则会造成很大程度的失真。因此，本研究在原图的基础上对其进行切割的操作，具体做法是先对原图进行不同比率的缩放，以模拟在不同高度下拍照导致的茶叶大小以及数量的变化。另外，选择了3种比率进行缩放，分别是30%、37.5%和50%。然后使用最大内接矩框选出每张图片的茶叶部分，最后进行滑动框的切割，滑动框尺寸与模型输入相同（299×299）。3种不同比率缩放后进行滑动框切割的效果如图3所示。

表2 两种显式特征的验真准确率

图1 基于0-1模型的茶叶验真流程图

1.2.2 数据处理与增强

为了使模型具有更强的泛化性，本研究对切割后的茶叶图片进行了数据增强[7]，以模拟测试集中使用不同手机在各种采样环境下茶叶所呈现的形态。增强的方面主要包括亮度调节、图像锐化以及高斯模糊等。亮度的调节是将图片转换到HSV空间中，在原图基础上随机增大或减小0~20%的亮度。同时为了突出茶叶的边缘细节，采取了锐化操作，使用的拉普拉斯滤波器为﹛[0, -1, 0]，[-1, 5, -1]，[0, -1, 0]﹜。最后为了模拟出不同分辨率设备的采样效果，随机抽取了一些切割后的图片，对其施加高斯模糊。高斯滤波器的尺寸取3~21的随机奇数，标准差越大，模糊效果越明显。数据增强的效果如图4所示。

1.2.3 孪生网络筛选负样本

对于任意一种茶叶，其专属验真模型的正样本是它本身，负样本是其余茶叶，但如果对其余每类茶叶都选取固定的样本数量作为负样本，那么随着茶叶类别的增加，必然会造成正负样本不平衡的情况。为了缓解这个问题，本文提出在训练专属模型前先使用孪生网络将其余茶叶按照与目标茶叶降维向量的欧式距离进行升序排列，距离越小则相似度越高。对于相似度比较高的茶叶类型，模型需要更多地样本才能将它们和目标茶叶区分开，因此在升序排列完成后，前1/2类茶叶的负样本取多，后1/2类茶叶取少。孪生网络[8-10]主要用于衡量两个输入的相似程度，网络结构如图5所示。

图2 茶叶采样示例

图3 缩放后进行滑动框切割后的图片

图4 数据增强效果图

共享的网络层将两个通道的输入映射到新的空间，形成输入在新空间中的特征表示，最后通过Loss的计算，评价两个输入的相似度。本文使用VGG16[11]作为孪生网络的基准模型（Shared layers）进行训练。使用倒数第二层（4 096个神经元），即分类层前一层的输出值作为最后的降维向量。在训练之前，使用ImageNet预训练好的VGG16模型来初始化权重和偏置，能够有效的促进模型的收敛。损失函数设置为：

1.2.4 专属0-1验真模型

在图像识别中，因Inception V3[12]模型小、运行速度快、可迁移性高而被广泛使用，因此在为目标茶叶筛选好负样本后，采用迁移学习[13]的方式对Inception V3进行微调得出目标茶叶的专属0-1验真模型，其中正样本是目标茶叶本身，标签为1，负样本是其余茶叶类型，标签为0。如图6所示，首先使用ImageNet中预训练好的模型初始化所有参数，由于微调只训练全连接层的参数，所以每张图片经过最后一层池化层pool_3后得到的特征向量都被保存在Bottleneck文件中，最后在训练时只需读取该文件中存储的数据作为输入就可以调整全连接层参数。损失函数设置为二元交叉熵损失函数：

其中是末端神经元的实际输出值，是logits的期望输出值，当输入图片是目标茶叶时，为1，否则为0。

测试阶段使用的测试集是由多个不同型号的手机按照1.2.1章节的采样方法得到，在验证目标茶叶的真假时，首先调出该目标茶叶的专属0-1验真模型，然后将待验证的茶叶图片经过滑动框切割后逐个输入模型，最后目标茶叶验真准确率的计算公式为：True图片个数/切割图片总数。

选取了一款明后采摘的雨花茶和西湖龙井作为新加入茶，并测试模型对这两款新茶的验证准确率。

图5 孪生网络结构图

图6 微调示意图

2 结果与分析

为了验证本研究中茶叶验真方法的优越性，我们进行了两组对比试验和一组针对负样本筛选阶段的消融试验，对比试验分别与神经网络中的图像匹配方法和基于Inception V3的全分类模型进行比较，两组对比试验的验真准确率如表3所示。

2.1 网络图像匹配

孪生网络作为神经网络中经典的图像匹配方法，最初被用于人脸和手写签名的验证，它可以用来衡量两张输入图片的相似度，两者降维向量之间的欧式距离越小，则相似度越高。当利用它来验证现有茶叶是否为目标茶叶时，只需要比较现有茶叶图片与数据库中各类茶叶图片的距离大小，如果与目标茶叶的距离最小，则代表与其相似度最高，待验证茶叶为真，否则为假。本节训练一个以VGG16为共享层，并使用Image_Net初始化参数的孪生网络，批次大小设为16，学习率为1e-5，总共迭代的步数为5 000步，收敛效果见图7。

如表3所示，孪生网络的平均验证准确率为66.8%，它对于类与类之间差异很大的茶叶分类的验真准确率很高，例如雨花茶和碧螺春。但是对于同一茶树品种、嫩度和制茶工艺下，不同生产季节原料的茶叶验真（3号和4号）效果不太理想。

图7 孪生网络收敛图

2.2 全分类模型

如果将茶叶验真看作是一个全分类问题，测试时只需要将待验证茶叶图片放入分类器，如果分类正确则为真，否则为假。为了使试验具有可比性，本研究使用Inception V3网络结构进行微调。参与训练全分类网络模型的茶叶数据集共包含了4个类别的茶叶，分别是湄潭翠芽、雨花茶、碧螺春和遵义红。各类别茶叶再进行细分总共有24个小类，因此在训练模型时，总类别数为24，批次大小为100，使用梯度下降法进行训练，学习率为0.01迭代7 500步。

从图8可以看出，全分类模型的训练以及验证准确率都在70%~75%之间，最终使用测试集对模型进行测试，测试集由多个不同型号的手机按照1.2.1章节的采样方法得到，大约5 100张图片，平均验证准确率为71.2%。

表3 茶叶验证准确率对比

图8 模型训练结果

2.3 专属0-1模型

以湄潭翠芽3号为目标茶叶，为其训练一个专属的0-1验真模型，观察其相较于之前两种验真方法，验证准确率是否提高。

目标茶叶本身作为正样本集，经过数据增强后约有8 000张图片，标签设置为1。然后将正样本图片作为1，其余类别的茶叶图片作为2，输入1.2.3章节中训练好的孪生网络模型，按照与目标茶叶降维向量的欧式距离对其余茶叶类进行升序排列，距离越小则与目标茶叶相似度越高。前10类茶叶分别是1、2、4、5、10、11、23、24、8号和9号茶叶，每类随机选取700张图片。后13类茶叶每类仅选取20张图片，共同组合作为负样本集，标签为0。

该试验部分使用Inception V3的网络结构进行微调，批次大小为100，使用梯度下降法进行学习，学习率设为0.01迭代10 000步。验真和验假的测试准确率如表4所示。专属于3号茶叶的0-1分类器平均验证准确率（包括验真和验假）为93.2%，相较前两种方法都有很大提高。此外，对于与目标茶叶很不相似的茶叶类型，0-1模型对它们的验假准确率仍然很高。可见，对于相似度较高的茶叶类型，模型往往需要更多样本学习才能加以区分，而对于很不相似的茶叶类型仅需要少量学习样本。

本研究还进行了第一阶段的消融试验，用于证明孪生网络筛选负样本的有效性。试验以3号茶叶为目标茶叶，将其余23类茶叶每类均取300张图片作为负样本集进行训练，得到专属于3号茶叶的0-1验真模型。测试准确率如表5所示。当每类茶叶都选取固定样本数量作为负样本集时，平均验假准确率有所降低，由93.3%降到了79.1%。可能是为了保持正负样本的平衡性，可供模型学习的相似茶叶类型样本数随之减少，由每类700张减少到每类300张，最终导致了验假准确率的降低。因此，使用孪生网络筛选负样本，可以在保证验证准确率不降低的前提下，减少不必要的负样本数量，从而有效的缓解了数据集不平衡的问题。

表4 采用3号茶样的验证模型准确率

表5 消融试验对比

2.4 模型对新茶的泛化性

现实生活中茶叶类型数不确定，同一种茶叶在不同茶季采摘都会呈现出不一样的形态。因此，为了评估模型对新茶的泛化性强弱，选取了清明节后采摘的雨花茶和西湖龙井作为新加入茶，并测试模型对这两款新茶的验证准确率。

对孪生网络模型和0-1模型的新茶泛化性进行了比较，孪生网络模型对这两款未知茶叶的匹配准确率分别为39%和78%。0-1模型对这两款未知茶叶的平均验假准确率分别为95%和98%。可见新茶叶的加入并不会对之前训练好的专属0-1模型造成影响，依然可以适应茶叶数量不确定因素的干扰，进行准确判别。另外，虽然孪生网络在人脸验证上表现出了很好的泛化性，但是在茶叶验真上，孪生网络的泛化性并不稳定，例如对于新加入的雨花茶，它的匹配准确率并不高。

3 讨论

陆江峰等[14]通过提取茶叶形状复杂性和圆形度等17种外观形状特征，并以其中6项参数作为BP神经网络的输入，达到了80%的鉴别准确率。然而对于形状相似的茶叶，需要另外选取其他特征进行辅助鉴别。本文基于Inception_v3为每一类茶叶配备一个专属的0-1验真模型，可以自动提取出最有利于区分目标茶叶的特征进行验真，有效的避免了传统方法依赖手工提取茶叶特征的问题。从试验结果和分析可以看出，不论在验真还是验假方面，都达到了90%以上的验证准确率。近年来使用红外光谱进行茶叶验证的方法[15]虽然可以达到较高的准确率，但受仪器种类、品牌、分析条件和样品前处理方法等因素影响，实现标准化较难。本文模型的输入为茶叶原始图像并且是端到端的训练，较光谱图方法在自动化程度上有了大幅提升。

与传统的特征匹配相比，本研究提出的基于专属0-1模型的茶叶验真方法具有以下两个优点，第一，为每一类茶叶都配备了一个验真模型，因此每一类茶叶用于验真的隐式特征均不相同，而且只有0-1（真假）两个分类，迫使模型在训练过程中自动提取出最有利于区分目标茶叶的一种隐式特征进行验真和验假，提高了茶叶验真的准确率。第二，模型与模型之间各自独立，互不干扰，新加入的茶叶模型并不会对其他模型产生任何影响，适应了未来茶叶类别数不确定因素的干扰。

本研究提出的基于专属0-1模型的茶叶验真方法可以对茶叶库中任意一类茶叶进行较高准确率的验真，但如果某一类茶叶与目标茶叶很相似时，则会导致在验假过程中产生误判的情况，例如茶叶库中的1号和3号，1号茶叶的验假准确率只有63%。因此，下一步的研究方向是结合其他模型或特征来进行投票，采用投票机制多方面的判断目标茶叶的真假。

[1] Lee J A, Yow K C. Optimizing image matches via a verification model [J]. International Journal of Intelligent Systems, 2010, 25(11): 1103-1120.

[2] Fischler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography [J]. Communications of the ACM, 1981, 24(6): 381-395.

[3] Prasetyo H, Wiranto W, Winarno W. Image-based vehicle verification using steerable gaussian filter [J]. Journal of Telecommunication, Electronic and Computer Engineering, 2018, 10(2/3/4): 65-69.

[4] Zhang D, Oreifej O, Shah M. Face verification using boosted cross-image features [J]. Computer Science, 2013. https://arxiv.org/pdf/1309.7434v1.pdf.

[5] Wang F, Xiang X, Cheng J, et al. NormFace: L2Hypersphere embedding for face verification [C]//ACM Conference on MultiMedia. 2017: 1041-1049

[6] 余洪. 基于计算机视觉技术的茶叶品质分级研究[D]. 南昌: 江西农业大学, 2017. Yu Hong. Research on classification of tea quality based on computer vison technology [D]. Nanchang: Jiangxi Agricultural University, 2017.

[7] Wang J, Perez L. The effectiveness of data augmentation in image classification using deep learning [J]. Computer Science, 2017.https://arxiv.org/pdf/1712.04621v1.pdf.

[8] Sumit C, Raia H, Yann L C. Learning a similarity metric discriminatively, with application to face verification [C]//Proceedings of the 2005 IEEE Conference on Computer Vision and Pattern Recognition, 2005: 202-209.

[9] Melekhov I, Kannala J, Rahtu E. Siamese network features for image matching [C]//International Conference on Pattern Recognition, 2016: 378-383.

[10] Gregory K, Richard Z, Ruslan S. Siamese neural networks for one-shot image recognition [C]//International Conference on Machine Learning, 2015: 37-44.

[11] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [J]. Computer Science, 2014. https://arxiv.org/pdf/1409.1556v1.pdf.

[12] Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision [J]. Computer Science, 2015. https://arxiv.org/pdf/1512.00567v1.pdf.

[13] Pan S J, Qiang Y. A survey on transfer learning [J]. IEEE Transactions on Knowledge & Data Engineering, 2010, 22(10): 1345-1359.

[14] 陆江峰,单春芳.基于数字图像的茶叶形状特征提取及不同茶叶鉴别研究[J]. 茶叶科学, 2010, 30(6): 453-457.Lu J F, Shan C F. Shape extraction and varietial discrimination of tea based on digital image [J].Journal of Tea Science, 2010, 30(6): 453-457.

[15] 刘英, 吴曙光. 指纹图谱技术在茶叶研究上的应用[J]. 茶叶科学, 2013, 33(1): 13-20. Liu Y, Wu S G. Application of fingerprint technique in tea research [J]. Journal of Tea Science, 2013, 33(1):13-20.

Tea Authenticity Verification Method Based on Exclusive Binary Classifier

ZHU Chenpeng1, PENG Hongjing1*, XIAO Qinghua1, SHI Haojie1, WU Guang2

1. School of Computer Science and Technology, Nanjing University of Technology, Nanjing 211800, China;2. Newlixon Tech. Co., Ltd , Nanjing 210012, China

Owing to blindness in the selection of tea features in traditional filteringmethods and the uncertainty of tea categories, a verification method was proposed to equip each type of tea with a exclusive 0-1 classifier. The positive sample is the target tea itself, the label is 1. The negative sample is the remaining tea type, and the label is 0. During the training process, the model is forced to automatically extract the implicit features that are most suitable for distinguishing the target tea for true and false. This method uses the Siamese network to screen the negative samples, which alleviates the problem of imbalance between positive and negative samples. The experimental results show that this method is well adapted to the disturbance of uncertainty of tea categories and has strong robustness. It is an effective and feasible method.

binary classifier, tea verification, siamese network, feature extraction

TS272；Q946.84+1；

A

1000-369X(2021)02-228-09

2020-01-08

2020-05-14

国家重点研发计划（2018YFC0808500）

朱晨鹏，男，硕士研究生，主要从事计算机视觉方面的研究。*通信作者：penghongjing@163.com

（责任编辑：赵锋）