基于卷积神经网络的软硬触觉感知方法研究*

余 乐， 李阳光， 陈 岩， 吴 超， 李洋洋， 王 瑶

(北京工商大学 计算机与信息工程学院 食品安全大数据技术北京市重点实验室，北京 100048)

基于卷积神经网络的软硬触觉感知方法研究*

余 乐， 李阳光， 陈 岩， 吴 超， 李洋洋， 王 瑶

(北京工商大学 计算机与信息工程学院 食品安全大数据技术北京市重点实验室，北京 100048)

智能机器手的应用已经遍布医疗、军工、农业及装配行业等领域。软硬作为物体的重要物理属性之一，对机器手的抓取控制物体有重大影响。在深度学习框架下，基于卷积神经网络提出了用于触觉感知的软硬物体的识别方法。使用薄膜压力传感器采集手指按压软硬物体的数据，建立训练和测试数据集，在Caffe中训练网络，以模拟触觉识别软硬物体。实验结果显示：对软硬物体的识别准确率达94.52 %，表明，卷积神经网络对于识别软硬物体有比较好的分类效果。

卷积神经网络； 薄膜压力传感器； 软硬； 触觉

0 引 言

智能机器手的应用已经遍布医疗、军工、农业及装配行业等各个领域,软硬作为物体的重要物理属性之一，对机器手的抓取控制物体有重大影响[1]。

加拿大的Cretu团队利用视频序列并结合力的测量，设计并实现了一个可以通过图像分析检测柔软物体的形变的系统[2]。日本GiFu大学Huang Lingtao等人为工业机器人开发了一种结合视觉反馈的主从操作系统用于识别对象物体的硬度[3]。Ricardo Andrecioli和Irin Bandyopadhyaya等人通过机器学习和数据融合算法来评估被抓物体的硬度[4，5]。国内，浙江大学的张韶岷提出了基于K最邻近(KNN)聚类算法的物体软硬属性识别方法[6]。还有一些其他学者提出了基于神经网络的软硬识别方法[7，9]。

本文在Caffe框架下，提出了基于卷积神经网络结构的用于软硬触觉的识别方法。具体实现方式为使用薄膜压力传感器采集手指按压成像数据，借助于Matlab对采集到的图像预处理，制作训练和测试数据集，最后,利用Caffe设计卷积神经网络(convolutional neural network,CNN)网络，通过训练集识别软硬物体。

1 数据采集与建立数据集

1.1 数据采集

整个采集系统分成采集、处理与显示3部分,即使用薄膜压力传感器，采集压力数据，通过手柄上的USB接口与电脑的连接，获得的数据在软件上呈现，得到压力分布图。数据采集系统如图1所示。

图1 数据采集系统

本文使用美国Tekscan公司生产的T-Scan压电式薄膜传感器采集手指按压的数据。该传感器中含有1 370个感测点，含有62个/cm2感测点。

待测样品为木头和橡胶，本文将其分为软物和硬物，其邵氏硬度值如表1。

表1 软硬划分与邵氏硬度

1.2 预处理

由于建立数据集需要灰度图像，无法从软件得到的图像中直接获得，需要重构已获得的压力数据的灰度图像。通过软件将采集到的数据导出为.TXT文件格式,文件中的数据包含了图像中的像素坐标(X轴，Y轴)以及相对应坐标点的灰度值。

使用Matlab对导出的文件进行处理。首先，删除文件中的文字，仅保留有效的数字信息，便于在Matlab中处理。将从TXT文件中读入的数据放入二维矩阵中，根据文件中数据分布，将二维矩阵进行转置，就可以从矩阵中提取出3个一维向量。这3个一维向量中分别存放X，Y及像素灰度值数据。根据3个一维向量中的数据重新构建一个灰度图像的二维矩阵。

图2为通过Matlab重绘灰度图。

图2 通过Matlab重绘灰度图

Caffe架构中卷积神经网络的输入需要标准大小28×28的图像。故对构建的二维矩阵进行区域切割，获得有效的数据部分，并且得到28×28大小的标准图像(图2(a))。硬物上采集的图像(图2(b))，软物图像(图2(c))。

1.3 建立数据集

通过薄膜压力传感器采集手指按压在软物及硬物上的压力分布，建立数据集。文中数据集共2 700张图片，其中训练集中有1 900张图片，测试集中有800张图片。

建立两个文件夹，存放训练和测试图片。对图片进行标记，进行二分类，分别标记为soft与hard，借助于Windows的批处理功能完成。将标记信息分别存放在2个TXT文件中。同时，每个文件需要同数据图片存放在一个文件夹中，便于生成对应的数据集。

Caffe结构中的网络输入是无法直接处理原始数据的，需要将数据转换成闪存映射数据库(lightning memory-mapped database,LMDB)或层次数据库(level database,LEVELDB)格式的文件才能处理。这样做既可以简化数据读取层的实现，又可以提高磁盘输入和输出(input and output,I/O)利用率。因此，需要借助于Caffe中自带的格式转换工具，文中将数据全部转换成LEVELDB格式的文件进行处理。

将转换完成的数据集拷贝到Caffe的mnist文件夹中，替换掉Caffe自带的数据集。数据集中图像格式如表2所示，标签格式如表3所示。

表2 图像文件的数据格式

注：像素值在0～255之间。

表3 标签文件的数据格式

注：标签值soft/hard。

2 基于Caffe的CNN设计

建立数据集以后，即可利用Caffe设计并训练CNN，过程包括以下4步骤：1)将输入转换成Caffe可接受的数据格式LEVELDB/LMDB；2)定义网络(net)，定义所有的layers以及与layer相连的blobs；3)定义求解器(solver)，使用随机梯度下降(SGD)+动量(momentum)的优化方法，非定优化过程中的各种参数；4)训练在Caffe中设计的CNN。

2.1 网络结构

利用训练网络可以表示成图3所示的结构。该CNN结构包括：输入层、卷积层、池化层和全连接输出层。

其中，layers组成的有向无环图(direct acyclic graph，DAG)，data(特征和梯度)以blobs的形式从网络(net)中流过。其中，在前向(forward)阶段，特征blobs从左流向右，直到计算出损失；在反向(backward)阶段，梯度blobs从右流向左，可以得到目标函数对每个参数的梯度值。Caffe保留了计算中的所有中间值以确保前向和反向迭代的准确性。

图3 基于Caffe的CNN网络

2.2 层

Caffe的结构中层(layers)包含4部分：1)名称:卷积层使用卷积conv1,conv2,池化层使用池化(pool)1，池化(pool)2，内积使用ip1，ip2；2)类型:分为卷积，池化，内积等；3)连接结构:就第一层而言，输入数据为data，输出数据为卷积conv1；4)参数:包括输出特征的数量，卷积核的大小及特征类型。

其中，每一个层定义了3个核心计算：1)初始化：层的初始化方式和上下连接层的类型；2)前向：根据底层的输入通过中间层的函数计算结果，然后输出到顶层；3)反向：根据顶层输出的梯度计算输入的梯度，输出到底层，同时对于有参数的层，会计算相对参数的梯度，并存储在内部进行模型优化。

2.3 二进制大对象

Caffe中三种数据使用二进制大对象结构(blobs)，包括特征(data)，梯度(diff)及参数(parameter，权重项和偏置项)。

blobs通常为4维数组，用以保存和传输信息，特征和参数如图4所示。

图4 特征与参数示意图

2.4 求解器

求解器(solver)是Caffe中模型的优化部分。使用随机梯度下降(stochastic gradient descent，SGD)+动量(momentum)降低训练时的过拟合问题，使用最小化损失函数得到优化的网络参数。

随机梯度下降(stochastic gradient descent，SGD)通过每个样本迭代更新一次，训练速度快，参数数目相比于梯度下降少了许多，降低了存储要求。

3 实验结果

3.1 参数训练

在Caffe架构下实现LeNet-5网络对手指按压物体的软硬进行识别，设置初始学习率为0.01，最大迭代次数1 000。使用自己构建的数据集对网络进行训练。

3.2 测试结果

由于本文中数据集的数据量比较小，在迭代次数超过500次之后，会出现过拟合问题。因此，需要控制训练的迭代次数以减小过拟合的问题。通过训练网络，识别软硬物的精度变化幅度在6 %以内。在迭代465次的情况下，识别率最高达到了94.52 %。在继续增加样本量的情况下，识别率还会有小幅提高。图5给出了最终的测试效果图。

图5 测试效果图

4 结束语

文中使用薄膜压力传感器采集数据，在Caffe架构下进行训练，以识别软硬物体。训练结果表明：该触觉感知CNN的识别精度可以达到94.52 %。与单纯使用传感器识别物体软硬度相比，借助于卷积神经网络，大幅度提高了识别精度高，降低了对传感器的要求，操作过程相对简单。

[1] 王晚楠.机器人技术发展中的矛盾问题研究[D].大连：大连理工大学,2011.

[2] Cretu A M,Payeur P,Petriu E M.Soft object deformation monitoring and learning for model-based robotic hand manipulation[J].IEEE Transactions on System Man & Cybernetics Part B:Cybernetics A Publication of the IEEE Systems Man & Cybernetics Society,2012,42(3):740-753.

[3] Huang Lintao,Kawamura Takuya,Yamada Hironao.Construction robot operation system with object’s hardness recognition using force feedback and virtual reality[J].Journal of Robotics and Mechatronics,2012,6(24):958-966.

[4] Andrecioli R,Engeberg E D.Grasped object stiffness detection for adaptive PID sliding mode positon control of a prosthetic hand[C]∥2012 4th IEEE RAS & EMBS International Conference on Biomedical Robotics and Biomechatronics(BioRob),IEEE,2012:526-531.

[5] Bandyopadhyaya I,Babu D,Kumar A,et al.Tactile sensing based softness classification using machine learning[C]∥2014 IEEE International Advance Computing Conference(IACC),IEEE,2014:1231-1236.

[6] 汪礼超.基于机械手触觉信息的物体软硬属性识别[D].杭州：浙江大学,2016.

[7] Gao Yang,Hendricks Lisa Anne,Kuchenbecker Katherine J,et al.Deep learning for tactile understanding from visual and haptic data[C]∥International Conference on Robotics and Automation(ICRA),Stockholm:IEEE Robotics and Automation Society,2016:536-543.

[8] 王 欣.基于卷积神经网络与足底压力信息的步态识别[D].合肥：安徽大学，2015.

[9] 周 嵘,吴皓莹.基于神经网络的触觉感知方向识别研究[J].武汉理工大学学报，2016, 38(1):132-134.

余 乐(1983-) 男，博士，讲师，硕士生导师，从事类脑计算与人工智能工作,E—mail:ladd_u@163.com。

陈 岩(1963-),女，博士，教授，博士生导师，从事无线传感器网络技术应用、数字通信抗干扰技术方向研究工作。

Research on soft and hard tactile sensing method based on convolutional neural network*

YU Le, LI Yang-guang, CHEN Yan, WU Chao, LI Yang-yang, WANG Yao

(Beijing Key Laboratory of Big Data Technology for Food Safety,School of Computer and Information Engineering,Beijing Technology and Business University,Beijing 100048,China)

The application of intelligent manipulator has been widely used in medical,military,agricultural,assembly industries and other fields.As one of the important physical properties of objects,softness and hardness have a great influence on grasping control object by intelligent manipulator.Within depth learning framework,a soft and hard objects recognition method for tactile perception based on convolutional neural network(CNN) is proposed.Thin-film pressure sensor is used to acquire data of finger pressing soft and bard objects,training and test data set are set up.Train network in caffer,so as to simulate tactile to identify soft and hard object.The experimental results show that the accuracy of recognition on soft and hard objects is 94.52 %,which indicates that the CNN has a good classification effect for recognition of soft and hard objects.

convolutional neural network(CNN); thin-film pressure sensor; softness and hardness; tactile

2017—01—21

北京市自然科学基金资助项目(4174086)；国家自然科学基金资助项目(61473009)

10.13873/J.1000—9787(2017)06—0035—03

TP 391

A

1000—9787(2017)06—0035—03