基于区域颜色特征的食物类别识别算法

丁伟利，李　勇，陈　瑜

(燕山大学 电气工程学院，河北 秦皇岛 066004)

基于区域颜色特征的食物类别识别算法

丁伟利，李勇，陈瑜

(燕山大学 电气工程学院，河北 秦皇岛 066004)

摘要针对自选餐厅结账中人工计价的效率问题，文中提出了一种基于颜色特征的食物类别识别算法。该算法通过边缘投影提取目标区域，再基于Lab颜色模型对食物图像聚类分割，利用HSV颜色模型获取各类子区域的颜色特征，并基于区域颜色识别食物的种类。分别针对1类和3类食物的各30幅图像进行了仿真实验和统计分析。结果表明，算法识别准确率可达95.6%，识别速度最快只需0.119 s。

关键词食物识别；颜色特征；目标区域；食物种类

随着自动售货机等智能设备的快速发展，自选饭菜餐厅中对饭菜种类的自动识别技术也开始受到关注。目前，在自选菜餐厅中对食物进行结算时，一般采取统一在收银台通过收银员人工计价扫描食物的条码标签或识别餐盘底部的射频芯片的方式计算价格。人工计价在进餐高峰期，效率较低、易出差错；扫描条形码的方法受到食物包装等因素的制约，不够便捷；而在餐盘底部加入射频芯片的方法，需要为每个餐盘装入芯片，并写入价格，步骤繁琐且成本较高[1]。为了解决上述问题，研究人员开始尝试利用计算机视觉算法提取食物信息。然而，现有方法在目标特征提取与匹配时既需要食物本身特征又需要食物容具特征，对各类食物的容具及搭配要求较高，只能识别特定容具中的食物，使系统更加复杂，通用性较差[2]。为了使系统的算法具有更好的适用性，降低算法的复杂度，提高食物种类识别的智能程度，本文针对自选菜餐厅中，食物的容具类型较少，多为圆形或者方形，且颜色为白色或红色等特点，利用不同食物种类的颜色特征，提出了一种基于区域颜色特征的食物种类识别算法。该算法通过对食物区域提取，充分利用HSV和Lab颜色空间的优势，制定基于区域颜色特征的不同种类食物的判别标准，从而能够较准确的识别食物类别。该算法可以根据需求应用于自选餐厅的自助结账等系统，具有一定的实用价值。

1目标区域提取

基于视觉的食物识别系统中，需要通过摄像头获取食物图像，但在拍摄的食物图像中，食物并不会完全填满整幅图像，存在部分非目标区域。因此，首先需要对图像中的食物区域进行提取，使识别更加有效。为快速提取食物区域，采用区域边缘投影的方法提取目标区域。如图1(a)所示，该图像存在部分非目标区域。一般情况下，摄像头拍摄的食物，如肉、菜、米饭等存在较多的纹理，且容具多为圆形或方形，食物区域一般包含在纹理区域的最小外接圆内。因此，设定包含较多边缘信息的圆形区域为食物区域。

图1　目标区域提取

首先，输入一幅大小为350×320的彩色图像I，如图1(a)所示，通过灰度化和Canny边缘检测，获取其边缘图像 ，如图1(b)所示。然后，分别对边缘图像进行竖直方向和水平方向投影[3]，得到如图1(c)和图1(d)所示的投影波形图，图中虚线为获取食物区域的阈值，X1和X2分别为候选食物区域最小横坐标和最大横坐标；Y1和Y2分别为候选食物区域最小纵坐标和最大纵坐标。食物区域竖直投影阈值为Trv，水平投影阈值为T〗rh

(1)

(2)

(3)

其中，sum(·)是求矩阵每一列的和的函数；median(·)是求向量的中值的函数。

(4)

由波形图可知，在[X1,X2]和[Y1,Y2]范围内，边缘投影值相对较高，因此，目标区域主要集中在该范围内。最后，为获取最终的目标区域，如式(4)所示，以[Cx,Cy]为原点，Rr为半径获取图像的圆形区域。如图1(e)所示，为获取的最终的食物区域Iroi。

2食物种类识别

根据食物识别系统的实际需求，可选择每幅图像中食物种类的个数。本文算法主要针对每张图像中只有一类食物和每张图像中有3类食物。由于HSV颜色空间和Lab颜色空间受亮度影响较小，更符合人类视觉特点，各个分量相对独立，且易于彩色分割[4-5]，因此，本文基于Lab颜色空间对食物进行聚类分割，再利用基于HSV颜色空间中的H、S和V分量的区域特征识别食物的种类。

(1)对食物区域 聚类分割。将如图1(e)所示的目标区域彩色图像Iroi的RGB颜色空间转化到Lab颜色空间，如图2(a)所示，再提取Lab颜色空间中的a和b分量Iab。然后，设置聚类个数n，采用K-means[6]算法对a和b分量聚类分割，将目标区域分割成n类区域，得到聚类分割图像，如图2(b)所示。为获取各个子区域的颜色信息，按各个聚类的子区域的标记结果，依次得到RGB空间下的子区域

(5)

其中， 为分类后的子类区域的RGB图像;

(2)统计各个子区域的颜色特征。为获取各个子区域有效的颜色特征，首先将子区域的彩色图像∑i进行灰度转换，并通过自适应阈值方式，将子区域的灰度图像二值化，得到子区域二值图像B∑i。同时，该过程可滤除基于Lab颜色空间忽略亮度信息聚类产生的干扰。图2(c)为子区域的彩色图像，图2(d)为二值化图像，由图可看出，该过程滤除了图2(c)中部分暗绿色、褐色等颜色区域的干扰。

图2　目标区域聚类分割

然后，充分利用HSV颜色空间受亮度影响小、便于物体分割等特点，将子区域∑i的RGB颜色空间图像转化为HSV颜色空间图像 ，并根据二值化结果，获取子区域中的待识别的食物区域[7]。

最后，获取每个子区域的自身特征，包括HSV颜色空间中的H、S和V分量比例，子区域面积等，记为

Fi={Ai,Hi,Si,Vi|∑i},i=1,…,n

(6)

(7)

其中，Ai为∑i中待识别食物区域的面积；Hi、Si和Vi分别为∑i中待识别食物区域H、S、V分量的比例;

(3)子区域食物类别识别。主要针对肉类、素菜和米饭3大类食物进行识别，这3类食物具有不同的颜色特征，如图3所示，分别统计了20幅不同的肉类、素菜和米饭区域图像的H、S、V分量的比例，图3(a)、图3(b)和图3(c)分别为H、S和V分量的比例波形图，实线代表肉类，虚线代表素菜，点画线代表米饭。图中各类食物的Hi、Si和Vi具有明显差异。图3(a)中，肉类食物的Hi明显低于素菜；图3(b)中，米饭的Si明显低于肉类和素菜；图3(c)中，米饭的Vi值普遍较大，其均值明显高于肉类和素菜，且肉类和素菜Vi值均在0.9以下。因此，可以通过每类区域自身特征进行食物种类的识别[8]。

图3　H、S、V分量比例统计图

则食物类别识别准则如下:素菜判别规则

(8)

米饭判别规则

(9)

肉类判别规则

(10)

经过大量的实验及统计，各参数取值为：λ1=0.13，λ3=0.125；μ1=0.2，μ2=μ3=0.275；ν1=0.8，ν2=0.65，ν3=0.85。

下面以图1(a)所示的食物图像为例，对其中的食物类别按照上述判别规则进行识别，得到如图4所示识别结果，图4的顶部文字为识别的该类区域食物的种类。

图4　食物识别结果

3实验与分析

为验证本文算法的性能，选取30幅多类食物图像和30幅单类食物图像构成图像库，并将图像大小设置为350×320。其中，多类食物图像中每幅图像包含3类食物；单类食物图像中有10幅米饭图像，10幅肉类图像，10幅素菜图像。由于一般食物类别识别系统是在较为固定的环境中，因此，在对食物类别的识别时，摄像头拍摄环境较为稳定，待识别的食物图像受到外界干扰较小。

本文的实验是基于Windows 7的64 bit系统、Matlab2014(a)软件平台下进行的算法测试。针对单类食物图像的识别进行实验时，聚类个数选取n=1或n=2。对30幅单类食物图像进行实验，如图5所示，第1行为食物原图，第2行为n=1时识别的结果，第3行为n=2时识别的结果。图5(a)、图5(b)和图5(c)分别为识别的米饭、肉类、素菜图像的结果。由图5可看出，在不同容具中，n=1和n=2都可以正确识别出食物类别，但n=2时，食物区域提取及类别更加精确。针对多类食物图像，取n=3～7对30幅图像进行实验。部分实验结果如图6所示，第1行、第2行和第3行图像分别为n=3、5、7的实验结果。由图6可知，该算法可以准确识别食物种类，但当n=5时，食物的分割及子区域所含食物的类别更加准确。

为更充分的分析算法的性能，对算法进行了准确率和运行时间的统计，分别统计了不同容具中的单类食物和多类食物图像取不同聚类值时的准确率、平均运行时间、最大运行时间、最小运行时间，统计结果如表1所示。通过对比可知，对于单类食物图像，虽然n=1的运行时间

图5　单类食物识别结果

图6　多类食物识别结果

为证明本文算法的适用性，在选取的60幅数据库中，增加了如图7所示的不同拍摄角度及不同容器中的食物图像。针对不同类型的图像进行识别实验，图7所示的不同类型的食物图像均识别正确，其结果表明：算法受到图像的拍摄角度、容器的形状及颜色影响较小。

表1　识别结果统计

图7　不同容器及不同角度拍摄的不同食物图像

4结束语

本文利用Lab和HSV颜色空间的特点，通过统计区域颜色特征，提出了一种食物类别识别的有效算法。复杂度低，通过大量实验测试，算法的识别效率及准确率较高，可适用于不同类型的容具，通用性较好，该算法在食物识别系统中有较高的使用价值。但该算法也存在部分不足，需要深入研究及改进。如图8(a)所示，算法在分割时仍不能较好地将食物容器分离出去，但对识别结果的影响较小；且算法在分割及识别时，会受到图像非目标区域的干扰，如图8(b)所示，在非目标区域也存在较多的纹理，无法准确提取目标区域。此外，针对自选餐厅自助结账的饭、菜和肉类食物识别的应用系统是以后研究的重点。

图8　算法存在的不足

参考文献

[1]李龙龙,庞达,王新欣.一种食物识别方法、装置及系统,中国:201410464419.2[P].2014-09-12.

[2]厦门美图之家科技有限公司.一种基于图像的食物信息提供方法,中国:201410273492.1[P]. 2014-06-18.

[3]李勇,丁伟利.基于暗原色的农机具视觉导航线提取算法[J].光学学报,2015, 35(2):221-228.

[4]曹秀燕.基于单幅图像的三维空间关系推理研究[D].秦皇岛:燕山大学,2013.

[5]丁伟利,李勇,高晓阳,等.一种基于新型标签识别的购物导航系统[J].光电工程,2015,42(1):51-57.

[7]孙维禄,赵敏.彩色图像中射流轨迹提取算法的研究[J].电子科技，2011，24(3)：27-30,37.

[8]林志强,陈小平.一种结合多特征的实时物体识别系统[J].小型微型计算机系统,2015,36(6):1310-1315.

Food Category Recognition Algorithm Based on Region Color Features

DING Weili，LI Yong，CHEN Yu

(School of Electrical Engineering, Yanshan University, Qinhuangdao 066004, China)

Abstractn view of the efficiency of manual pricing in the checkout of the cafeteria, a new recognition algorithm based on color feature is proposed in this paper. In the algorithm, the edge projection and extract the target area, the segmentation of food image clustering based on Lab color model using HSV color model to obtain the color features of all kinds of regional, and based on the regional color recognition of food species. Simulations and statistical analysis for a class of 30 images and 3 kinds of food. The results show that the accuracy of the algorithm can reach 95.6% and the fastest speed of recognition is only 0.119 s.

Keywordsfood recognition; color features; ROI region; food types

收稿日期:2015-11-02

基金项目:国家自然科学基金资助项目(61005034)；河北省自然科学基金资助项目(F2012203185)。

作者简介:丁伟利(1979-)，女，博士，副教授。研究方向：计算机视觉。

doi:10.16180/j.cnki.issn1007-7820.2016.06.001

中图分类号TP391.41

文献标识码A

文章编号1007-7820(2016)06-001-05