语音交互与力感知式智能牙周探针开发*
2022-01-17唐忠林杨建华雷宏伟
唐忠林杨建华雷宏伟
(1.陕西工业职业技术学院航空工程学院,陕西 咸阳 712000;2.西北工业大学自动化学院,陕西 西安 710072;3.西安苏茂医疗科技有限公司,陕西 西安 710077)
牙周病是最普遍的口腔健康问题之一[1-2],门诊上普遍使用牙周探针进行牙周探诊[3-4],探诊力测控和探诊参数自动化测量与记录是评价牙周探针发展代际的重要指标[5-7]。当前使用最普遍的牙周探针为第一代牙周探针,探诊力控制全凭医生的经验和手感,需要一名护士配合医生记录数据[8]。当前最先进的牙周探针为第三代牙周探针,如FLORIDA探针[9],在第一代基础上增加恒力装置和自动测量电路[10],一般把探诊力限制在0.25N左右[11],杜绝了医生操作习惯对牙周诊查的影响,还可以自动测量和记录牙周袋深度数据。其问题在于:一是恒定力控制限制了医生经验的发挥,不利于应对患者龈下状况的多样性[7,12];二是只能自动测量和记录牙周袋深度数据,对其他牙周参数的测量和记录还得依靠护士辅助完成。
探诊力实时检测和多个探诊参数自动记录是新一代牙周探针技术的发展方向。对于前者,方法包括薄膜式、弹簧式、摩擦式、气压式探诊力传感器等[13-15]。这些方法的缺点在于结构复杂且消毒灭菌不便,难以实现产品化;对于后者,目前尚没见相关的公开报导。鉴于人工智能中的语音交互技术已经在许多领域得到广泛应用[16-17],本文在前期研发的基础上,报导一种无线手持式的语音交互与力感知式智能牙周探针:设计差动电容式探针探头进行探诊力感知与显示;利用医生和仪器间的语音交互,自动记录和传输多项牙周诊查参数。
1 设计开发
1.1 探针探头建模
语音交互与力感知牙周探针由手柄和探头组成,其中手柄用于医生握持和部件安装,探头用于探诊检查和探诊力感知。根据探诊力检测范围应该覆盖0~0.5 N的临床要求[4,6,13],设计差动平板式力感知探针探头的验证结构如图1(a)所示,包括:上下固定电极1,探针活动电极2,探针工作尖3,上下壳体盖板4和上下电容隔板5等。其中,活动电极与上下固定电极之间在一端通过电容隔板等距隔开,在另一端悬空,与上下固定电极构成具有对称结构的悬臂差动式电容传感器;活动电极的右端与探针工作尖刚性连接,探针工作尖的材料、结构和尺寸符合我国医药行业标准YY/T 1622.1-2018对牙周探针的通用要求。所设计探针各零部件的结构尺寸如图1(b)所示,具体参数如表1所示。
图1 电容式力感知牙周探针的设计结构
表1 探针探头结构与材料参数
在图1(b)中建立(x,y)参考坐标系,原点为活动电极的固定点。F为探诊力,沿轴线施加于探针工作尖端面,F′为探诊力F的等效力,垂直作用于活动电极自由端。根据梁的变形理论,可以得到在探诊力F作用下,活动电极悬臂部分的挠曲线表达式:
式中:x的取值范围为0到B,B为活动电极的有效长度;E为电极材料的弹性模量;I为浮动电极的截面惯性矩,取决于活动电极的宽度W和厚度T;W,L,H,B,θ的尺寸关系如图1(b)所示;G为浮动电极和探针工作尖的重量;K1、K2、K3为修正系数,分别用于修正探针工作尖的有限刚度、不规则形状和非均匀重力分布对计算结果的影响。根据表1参数,采用SolidWorks静应力仿真对K1、K2、K3进行估计,方法为:在图1(a)所示的三维模型中,分别施加力F和F′使活动电极达到相同的挠度,建立至少三组F和F′之间的对应关系并求解以K1、K2、K3为未知数的方程。对K1、K2、K3的多组解的一个均值(0.98,1.75,0.95),图2给出了根据式(1)得到的活动电极的计算挠度曲线和仿真挠度曲线在探诊力为0.1 N,0.3 N和0.5 N时的对比图,两条曲线沿x轴的最大相对挠度误差小于±4.5%。
图2 活动电极的计算挠度曲线和仿真挠度曲线的对比
这样,在探诊力F的挠曲作用下,活动电极和上下固定电极之间的总电容C u和C d可分别由式(2)和式(3)表示:
式中:D为活动电极和上下固定电极之间的初始间距;W为电极宽度;ε为空气的介电常数;y为式(1)所示的活动电极悬臂部分的挠度曲线,取决于探诊力F的大小,以y为变量的积分项为上(下)总电容在探诊力作用下的可变分量;A为电容电极有效长度;C″u0和C″d0为上下总电容在电容隔板夹持固定部分和引线部分的固有分量。探诊力F作用下牙周探针的差分电容可表示为:
1.2 探针电路设计
对1.1节所设计的探针探头,在0~0.5 N探诊力作用下,上下电容的变化量在0.1 pF量级,初始值在10 pF量级,据此选用24位电容数字转换(CDC)芯片AD7745进行电容测量。AD7745的电容检测精度高达4 fF,量程为±4 pF,可输入最高17 pF的固定电容,具有差分电容测量模式,完全符合本文所设计的牙周探针的探诊力检测条件。基于AD7745的电容式力感知电路原理图如图3(a)所示,EXCA为激励信号输出端,通过接插件CN4接探针探头的活动电极;CIN1(+)和CIN1(-)为检测信号输入端,通过接插件CN4分别接探针探头的上下固定电极。AD7745通过I2C总线和处理器通信,处理器可通过查询其RDY#引脚的状态及时读取电容数字转换结果并进行处理。检测时,将AD7745的CapSetup寄存器的CAPDIFF控制位置1,使芯片工作在差分模式;继而配置CAPDAC(+)和CAPDAC(-)寄存器,分别令其等于活动电极与上下固定电极之间的初始电容C u0和C d0,将上下电容的测量范围分别调整到C u0±2pF和C d0±2pF以满足芯片的量程要求。此时,CDC的差分电容测量值ΔC的值为:
图3 语音交互与力感知式智能牙周探针电路的关键模块原理与PCB板图
式中:C u和C d分别为活动电极与上下固定电极之间的测量电容。根据式(2)和式(3),C u0和C d0的表达式分别为:
探针模拟普通牙周探诊过程中医生和护士语言互动的场景,通过语音交互实现探诊参数读取与自动记录的目的。其应用场景中的语音交流具有以下特点:①需要具备语音播报和语音识别的双重能力;②语音识别时需要面向具有不同发音习惯的医生;③语音识别以简单的数据短语为主,比如牙位编号和出血指数等,总识别短语量在40条左右。可选用LD3320语音识别专用芯片实现以上功能,该芯片无需外围辅助器件即可支持MP3播放功能,能进行非特定人语音识别且准确率高达95%,每次识别可以设置多达50条长度不超过10个汉字拼音的候选语句,完全满足所设计牙周探针的语音交互要求。牙周探针语音交互电路的原理图如图3(b)所示。LD3320通过SPI总线与处理器通信,并由处理器提供MCO_CLK时钟信号。LD3320的SCS、SPIS、nRST和nINT等功能引脚与处理器的部分通用IO引脚连接,形成状态控制接口。芯片的语音输入由麦克风MIC1及其辅助电路实现;MP3语音播报输出接扬声器SPK1。
基于以上两个关键功能电路模块,开发了完整的语音交互与力感知式智能牙周探针电路PCB,如图3(c)和图3(d)所示。整体电路包括STM32F103处理器模块1,LD3320语音交互模块2,AD7745电容检测模块3,HY-40R204低功耗蓝牙模块4,锂电池充放电电源管理模块5,红绿两色探诊力LED指示灯6,8Ω0.5 W扁平喇叭7,全指向驻极体咪头8,探诊按钮接入端口9,SD卡存储器10和探针探头差动电容接入端口11等功能电路和关键部件,可完成探诊力检测与显示、探诊过程语音交互、探诊结果无线传输与本地存储等功能。
1.3 探针软件开发
探针的软件架构如图4所示,采用分层设计思想。最底层是芯片驱动层,由STM32F103单片机的内核文件以及片上外设驱动库组成。中间层是电路驱动层,包括探针电路板上各电路功能模块的驱动文件,采用模块化设计,例如LD3320的驱动文件LD3320.c等,驱动文件中包含了相应功能电路模块的初始化函数和操作接口函数。最上层是应用层,实现探针的工作流程:上电后首先对探针电路进行初始化配置,并在医生按下探诊按钮后进入探诊状态;探诊时,探针首先通过语音播报依次提醒医生报告当前探诊的牙位和牙齿点位,并对医生的报告语音进行识别和确认;识别成功后,探针启动探诊力监测,并通过两个LED灯对探诊力进行分级指示;当探诊力在0.15 N~0.5 N的合理范围内时,探针提示医生报告当前的牙周探诊参数并进行识别和确认。设备上电初始化过程中会自动响应附近的蓝牙主机,如果连接成功,就把相关探诊参数实时上传给主机显示;不管成功与否,都对数据打包后作为病历文件进行本地存储。
图4 语音识别与力感知智能牙周探针软件架构
在语音交互软件模块的开发过程中,为了提高语音识别的成功率和语音交互的流畅度,在设计LD3320的驱动程序时综合采用了以下技术:①先问后答的“触发识别”模式,对话总是由探针发起,探针给出语音指令后立即进入语音监听与识别模式;②识别内容动态加载技术,对特定的问题加载特定的识别关键词,比如当探针提示“报告出血指数”时,只加载0-5的出血指数关键词;③相似语音的垃圾处理技术,在动态加载识别内容的基础上,列举若干易与识别关键词相混淆的短语作为“语音垃圾”予以处理;④冗余关键词技术,对一个关键词设置多种表述,比如“对”和“对的”,共用一个识别ID,以提升语音适应性。
2 实验验证
2.1 探诊力感知实验
根据1.1节的探针探头设计方案和参数,制作了电容式力感知牙周探针的验证结构,如图5中的嵌入式小图所示。探针探头各电极和盖板、隔板之间用ergo1309结构胶粘接;探针工作尖切割自上海伟荣牙周探针,针头刻度为3 mm-6 mm-9 mm-12 mm,焊接到活动电极右端的固定卡槽;各电极尾部的电气引脚上分别引出20CM长的导线,导线芯径1.12 mm。
分别用精密LCR数字电桥和探针电路板对探针探头进行了电容式力感知实验。电桥实验的设置情况如图5所示。探针探头1夹持到虎台钳2上,使探针工作尖垂直向下,作用在克力计3(伊莱科,ATG-50-1)的力臂测力点上。克力计水平固定于精密三轴移动平台4(润佳气动,LD90-LM)的工作面。调整精密三轴移动平台工作面的高度,在探针工作尖产生模拟探诊力。把开尔文夹夹在电极导线的尾部,在每一个测力点,用精密LCR数字电桥5(同惠,TH2827C)在20 kHz频率下进行测量。一次实验过程包括三个实验周期,在每个实验周期的升程阶段,探诊力从0 N上升到0.5 N,每隔0.05 N进行一次测量,每两个相邻测力点的时间间隔为2 min,然后用相同的方法进行回程测量。
图5 探针探头的电容式力感知实验
图6给出了三个实验周期中探针探头活动电极与上下固定电极之间的电容Cu和C d的测量情况。在未受力状态下,Cu和C d的初始电容分别为C u0=9.184 pF和Cd0=9.307 pF(四次测量平均值),两者的偏差主要来源于上下隔板和结构胶涂抹的厚度误差。在三个实验周期,C u和C d变化表现出较好的重复性和一致性,最大偏差均不超过各测量点绝对电容均值的±0.1%。在升程阶段,随着探诊力增加,活动电极向上挠曲,与上下固定电极之间的有效距离分别减小和增大,电容Cu单调增加,电容Cd单调减小,平均差分量程为0.237 pF。回程阶段正好相反。
图6 探针探头的上下电容随时间变化值情况
图7给出了探针探头差分电容与探诊力之间的关系曲线。其中,计算曲线为根据式(1)~式(4)计算得到的差分电容和探诊力之间的理论关系曲线;测量曲线为根据图6的测量数据和式(5)的去初值处理得到的差分电容和探诊力之间的实测关系曲线,反映了六次测量(三次升程和三次回程)中各探诊力对应的差分电容测量情况。可以看出,在探诊力作用下探头差分电容的测量值和计算值之间存在偏差,并且此偏差随着探诊力增加而加大。这是由于在建立式(1)到式(4)的理论模型时,并没有考虑探头塑料附件的有限刚度。探针验证结构的活动电极和上下固定电极之间用1 mm厚度的ABS塑料板和一层ergo1309结构胶隔开,在探诊力作用下,活动电极对隔离层产生挤压变形,实际挠度大于理论挠度,表现为差分电容的测量值总体上正偏离于计算值,并且随着探诊力加大偏离程度也加大。以探诊力大小为拟合权重对计算曲线进行修正,通过最小二乘法拟合,可以得到更精确的差分电容计算模型:
式中:F为探诊力,ΔC为根据式(4)得到的差分电容计算值。修正曲线如图7中的虚线所示,与实测均值最大偏差为2.49%。
图7 探针探头差分电容与探诊力之间的关系
式(1)到式(8)建立了探诊力和探针电容之间的计算模型,能够满足探诊力连续计算的要求。但对临床应用而言,通常只需关注几个关键探诊力测量点,对探诊力进行分段显示即可。临床上一般认为0.25 N是相对普适的探诊力,最大不超过0.5 N。据此,选0.15 N、0.25 N、0.35 N、0.45 N和0.5 N这五个探诊力进行探针电路的力感知实验,方法为:用图3所示的探针电路板代替图5中的精密LCR数字电桥,探针探头电极导线通过电路板上的接插件11以差分方式接入AD7745电容检测模块;设置AD7745的检测频率为10 Hz,每个测量读数屏蔽低5位进行低通滤波,每测5个点取中值作为一次测量读数;调整精密三轴移动平台工作面的高度,使探诊力从低到高再从高到低分别稳定在各测力点进行测量,往返三次;将每次测量的原始数据通过HY-40R204蓝牙模块直接发送到蓝牙主机进行记录;对每个测力点的三次往返测量读数取平均作为该探诊力下AD7745的标定值,如表2所示。
表2 AD7745的探诊力测量与显示
表2同时给出了根据AD7745的标定值换算得到的差分标定电容值,以及对应探诊力作用下由LCR精密数字电桥测量得到的差分电容值。总体来看,AD7745的电容测量结果稳定地大于LCR精密数字电桥的测量结果,可能来自于电路板各种寄生电容的影响。将表2中的AD7745的标定数据写入软件应用层的Probe.c源程序中,并在程序中根据标定数据通过红(LEDR)绿(LEDG)两个LED的亮(1)灭(0)和闪烁(F)的状态组合对探诊力进行分段显示,规则见表2。
2.2 语音交互实验
根据口腔门诊牙周检测记录表的内容,对探诊深度和出血指数这两个诊查指标进行语音交互实验,分别代表数字类检测指标和指数类检测指标。实验安排为:①实验人员五名,男性三人,女性两人,平均年龄33岁,分别来自陕西、四川和甘肃,普通话常规发音,比如把11读为“shiyi”;②实验采用探针提问-实验人员回答-探针识别的模式,如果识别结果在关键词范围内,探针报告识别关键词,否则探针报告“无法识别”;③探针提问内容模拟普通牙周探诊中的医护交流,比如“请报告当前牙位”等,探针识别关键词与问题对应,符合牙周检测的参数范围,如表3所示;④语音识别程序综合采用了动态加载、冗余关键词和语音垃圾池技术,每次动态加载的内容包括识别关键词、冗余关键齿和垃圾语音,如表3所示;⑤针对具体问题,每个实验人员用各识别关键词和冗余关键词回答分别回答5次,如果识别结果在关键词范围内,探针复述后由实验人员确认正确与否。
表3 语音交互实验情况
实验结果显示,对所有识别关键词和冗余关键词,语音交互正确识别率都在90%以上,其中,对多个连续数字的识别率较差,都不到95%。经过进一步实验,我们发现适当改变数字发音,比如把数字11的正常发音“shiyi”改成“yaoyao”,数字21的正常发音“ershiyi”改成“eryao”,“shisi”改成“yaosi”,“si”改成“lingsi”,“shi”改成“yaoling”等,能够显著提高识别正确率,可达98%以上。
表3中对确认指令进行了严格的限制,要求医生只能回答对错,并将其他可能的回答都列入垃圾池,因而达到了100%的语音识别正确率。将其作为软件控制的最后环节,在设计语音交互工作软件时,采用探针提问-医生回答-探针重复-医生确认的交流形式,进一步保证语音交互的流畅性。
2.3 模拟探诊实验
在实验室用牙模进行了模拟探诊实验,实验设置如图8所示。手机端运行TTC-BLE蓝牙主机APP,探诊电路的HY-40R204模块工作在蓝牙从机模式,透传波特率256 000。实验流程实现第1.3节中阐述的探针工作流程,以其中报告探诊牙位的语音交互过程为例,对探针提问-医生回答-探针识别并重复-医生确认的交流形式予以详细说明如下:①探针播报“请报告当前牙位”,然后进入语音监听与识别状态;②实验人员在30 s内回答当前牙位,比如“sisan”(FDI牙位43);③探针识别语音,如果识别结果在牙位关键词内,则语音复述后进行语音监听与识别,否则回到步骤1;④实验人员根据复述的牙位是否正确,相应回答“dui”或“cuo”,电路识别为“dui”则继续,并将当前牙位上传蓝牙主机后执行下一步任务,否则回到步骤1。
图8 模拟探诊实验
模拟探诊实验显示,所开发的语音交互与力感知牙周探针能够正常地完成设定功能:语音交互比较流畅,识别内容的确认机制能够保证语音交互不被中断;探诊力指示LED灯能够根据设置分段显示探诊力;蓝牙通讯信号传输及时准确。存在的主要问题在于LD3320直接驱动8Ω0.5 W扁平喇叭的音质效果一般,低音有断续现象,高音有破音现象,需要进一步改善。
3 结束语
本文设计并验证性实现了一种无线便携的语音交互与力感知式智能牙周探针,利用探诊力作用下探针工作尖悬臂的挠曲效应引起的差动电容变化来实现探诊力感知,利用语音识别与播报技术实现医生和仪器间的语音交互。所设计的探针克服了现有探针的两个主要缺陷,一方面有利于医生根据个人经验在合理范围内控制探诊力度,提升患者体验度和诊查一致性;另一方面能够实现自动记录和传输多项牙周诊查参数,可以提高牙周探诊效率,降低牙周诊查临床成本。
论文建立了探针力感知探头的计算模型,完成了功能验证阶段的软硬件开发,并在此基础上进行了牙周探诊功能实验,基本上实现了探针开发的功能性目的,表明所提出的语音交互与力感知式智能牙周探针具备产品开发可行性。在现有基础上进行进一步的结构和性能完善,包括医用标准的结构设计和探针播报音质改善等,可以形成高品质创新型的新一代牙周探针,有利于为口腔医患双方提供性能更先进、使用更便利、体验更友好的牙周探诊工具。