基于ARM-Linux的空调智能语音控制系统设计与实现

杨 都 张光旭 赖东锋 叶铁英 黄佳星

（珠海格力电器股份有限公司 珠海 519070）

引言

人作为空调设备人机交互的主体，用户体验的好坏、控制便捷性高低直接决定产品的受欢迎程度。传统空调的控制方式主要采用遥控器、线控器或是手机APP进行控制，仍需依赖特定设备进行人工触发式操控[1]，在智能操控、随时随心使用空调方面存在一定不足，影响了用户体验的提升以及空调智能化程度的提高。

随着语音识别技术的发展以及智能家居[2]场景的不断完善，基于语音识别的智能控制器产品在家电领域的应用取得了飞速发展。智能语音空调[3]已成为行业发展趋势并逐步拥有更高的市场占有率。

本文以空调控制技术为基础，结合智能语音识别技术以及嵌入式技术，完成智能语音控制系统的设计，实现空调产品零触摸、全语音化的控制，全面提升空调产品的智能化程度和用户体验。

1 总体设计

1.1 系统原理及功能

本系统基于ARM-Linux软硬件平台，结合专业语音识别引擎及空调控制技术，实现空调的智能语音控制。系统主要由基于ARM Cortex-A35的硬件平台[4]、基于嵌入式Linux的软件平台以及语音识别处理平台[5]构成，结合HBS通讯技术、WiFi通讯技术实现空调的智能控制。

系统总体框如图1所示。

基于ARM Cortex-A35的硬件平台主要由ARM处理器模块、MIC语音输入、Speaker语音输出、LCD显示模块、HBS通讯模块和WiFi通讯模块构成，实现语音采集、输出及通讯控制，是整个系统的硬件支撑。

图1 系统总体框图

基于嵌入式Linux的软件平台主要由语音识别处理APP、空调控制APP和WiFi通讯处理APP构成，实现语音识别算法处理、语义分析处理、空调控制逻辑处理以及远程控制等功能。APP之间主要通过UDS（Unix Domain Socket）通讯，APP内部主要通过多线程技术实现数据交互。

语音识别处理平台主要通过云知声语音识别引擎，实现系统的语音唤醒、语音识别和语音合成。语音识别支持离线和在线识别功能，在线识别通过WiFi通讯连接语义服务器，实现复杂语音控制命令的识别，达到更为智能的控制效果。

本系统主要实现如下功能：

1）实现空调开机和关机；

2）实现空调模式转换，包括制冷、制热、除湿、送风和自动等；

3）实现空调温度设定，包括16-30度调节；

4）实现空调风速设定，包括低速、中速、高速、自动风速等；

5）实现空调扫风控制，包括上下定格扫风、左右扫风等；

6）实现其他特殊功能，例如播放音乐、天气查询、新闻速递等服务。

1.2 系统硬件设计

为满足系统功能和性能设计要求，同时综合考虑用户体验和成本，对硬件各模块进行了详细的选型和设计：

1）ARM处理器模块[6]：系统采用基于ARM Cortex-A35内核的RK3308处理器，四核1 GHz频率的高性能满足实时离线语音识别算法的需求。主芯片内置音频CODEC和ADC/DAC，省去部分外围硬件成本，同时也提高了硬件集成度。同时，为满足支持多唤醒词和命令词，特选用32 M DDRII内存和128 M Flash满足计算和存储要求，系统设计支持唤醒词32个，离线命令词160条，满足家用空调及中小型中央空调的语音控制需求。

2）语音输入输出模块：硬件平台采用双麦克风阵列左右排布，并进行mic密封性结构设计，配合双麦降噪技术，最远实现五米的高精度语音识别，综合准确率可达90 %以上。采用高性能扬声器配合智能功放芯片，配合mic实现三角形阵列排布，最大限度减小底噪，实现语音识别的准确度及播报的高保真效果。

3）LCD显示模块：采用一体化液晶面板设计，通过IIC接口实现液晶的驱动，实现空调开关、模式、风速等状态信息的显示，语音识别状态的提示，唤醒词选择等功能，在保留传统空调控制器功能的同时也增强了语音控制系统的人机交互便捷性。

4）通讯模块：本系统通过HBS(HomeBus)总线与空调内机进行通讯，HBS通讯在商用空调领域应用广泛，可以通过两芯双绞线方便的实现无极性通信及供电，无需单独走线供电。系统采用MM1192芯片实现HBS总线的构建，具备成本低、可靠性和实时性高的特点，保证了语音命令和空调控制的稳定、高效交互。同时，为满足在线语音识别及OTA等功能，通讯模块还包含WiFi模组，实现无线数据传输功能，通过RTL8188WiFi芯片建立网络连接，满足系统与语义服务器、OTA服务器进行交互的需求。

系统硬件框图如图2所示。

图2 系统硬件框图

1.3 系统软件设计

系统软件主要完成嵌入式Linux系统的移植、对应硬件接口驱动的实现以及应用APP的实现。

1）嵌入式Linux移植：嵌入式Linux内核基于Rockchip Buildroot Linux SDK进行裁剪和移植，Buildroot是 Linux 平台上一个开源的嵌入式 Linux 系统自动构建框架，由Makefile 脚本和 Kconfig 配置文件构成，通过Buildroot 配置，实现Linux 系统的快速生成。

Linux系统版本采用V4.4，主要实现LCD、Audio、Flash、DDR、Input、电源管理、wifi和USB等驱动的移植，ALSA、glibc、DBUS等基础lib的移植，以及满足应用、调试等需求的busybox、supplicant、voice assistant、OTA等应用模块的移植。

2）语音识别处理与空调控制应用软件：语音识别处理APP实现语音的采集、命令识别和语音播报，空调控制APP负责通过HBS总线根据语音识别结果向空调发送控制命令，并反馈控制结果。

语音识别APP和空调控制APP之间采用 UDS(Unix Domain Socket)方式进行应用程序间通讯，二者各有一个服务端和客户端，连接成功后按规定格式进行应用间通讯，通讯数据包采用JSON格式传输。

语音识别APP通过UDS 把JSON控制命令发送给到空调控制APP，JSON命令包括空调的基本控制内容，空调控制APP根据语音识别APP发送过来的JSON内容，进行解析控制，并把需要播放的提示内容通过UDS 发送给语音识别APP，语音识别APP收到该JSON内容，解析后播放对应的内容。

语音识别与控制示意图如图3所示。

3）WIFI通讯处理APP：WiFi通讯模块主要实现在线语音识别时，与语义服务器的交互，语音识别app将采集到的语音字段发送给语义服务器进行语义分析与识别，语义服务器将识别结果反馈给语音APP，并通过UDS通讯与空调控制APP进行交互，从而实现智能控制功能。

在线语音控制示意如图4所示。

同时，WiFi模块还负责实现系统软件的OTA升级、厂家重要信息推送等功能。

1.4 语音识别处理设计

本系统采用云知声语音识别引擎，通过内置算法模块实现离线语音识别，以及云端语义服务器实现在线语音识别服务。

图4 在线语音控制示意图

云知声语音引擎通过回声消除、混响抑制、空域滤波等DSP前端处理技术实现清晰语音获取，然后通过语音识别和语义理解，实现自然语言命令的解析，并通过TTS合成技术，实现语音处理APP的软件功能。关于语音识别处理算法属云知声核心技术，本系统属于应用范畴，不在此详述。

为了满足空调领域的智能应用需求，本系统针对空调特别是中央空调一拖多的特点，联合云知声进行了如下设计，以满足非特定人、非特定房间、非特定距离的识别控制需求：

1）多唤醒词设计：针对一个家庭有多个房间多台空调的情况，如使用1个唤醒词，存在多个房间同时被唤醒和控制的情况，本系统预置8个唤醒词供用户选择，实现每个房间具有各自的唤醒词，解决其他房间被误控制的问题。

2）隐含命令词设计：由于离线命令词为固定组合，存在用户记不住命令词或是命令词顺序颠倒而导致无法便捷控制的问题，本系统对离线命令词进行了扩展，支持部分隐含命令词的使用，通过不同组合、不同顺序、相近含义的命令词设计，减轻用户的记忆压力，同时提升用户体验。

3）多知识领域设计：针对空调用户的使用特性，在在线识别模式下，增加了在天气预报、音乐、新闻速递、限行情况等领域的限定，满足空调用户在日常生活中的识别需求，同时也提升在线识别的服务精度和体验。

4）多级唤醒设计：针对中央空调集中控制的需求，实现一个语言控制系统同时控制多台空调的情况，本系统设计了多级唤醒模式，通过第一级唤醒命令，使系统进入语言识别状态，通过第二级唤醒实现目标空调的选择，之后进入语音命令输入状态，达到准确控制用户所期望房间空调的目的。

2 系统测试与验证

本系统作为集成语音功能的空调控制系统，在保证空调控制功能完整的前提下，语音识别功能也需达到较高的准确率，才能满足设计和使用的需求。

根据语音识别功能的使用环境和性能要求，选用了安静、有人声环境和电视声环境三种不同环境，5 m的距离进行测试验证，分别选取男声和女声不同音色，10个人共260条语音命令，对唤醒率、识别率和误唤醒率三个指标进行了考评，测试结果如表1所示。

表1 语音识别准确性测试结果统计表

由表1可知，在不同的环境噪声条件下，系统语音识别率均达到90 %以上，满足设计指标要求。

3 结语

本文在ARM-Linux的软硬件平台上，采用语音识别技术、嵌入式和通讯技术，将空调的控制与语音应用相结合，实现了空调产品语音智能控制的目的。本系统真正意义上满足了用户全场景零触摸、全语音化的使用体验，实现非特定人自然语音高达90 %以上识别率的效果，目前该系统相关成果已应用在产品中，性能稳定、体验良好。相信随着智能家居和物联网应用场景的不断成熟,语音识别技术、AI技术和通讯技术的不断进步，智能家电的语音控制系统将会不断更新优化，用户体验不断升级，实现更为智能和友好的交互效果。