智控系统在智能电力方面的安全性研究

国电电力宁夏新能源开发有限公司 郝益波

在日益数字化、智能化的时代，语音虚拟机器人在许多领域都可找到自己的位置。并且随着电力智能化行业的发展，语音虚拟机器人也被应用于智能控制方面，但是与任何具有重大影响的可行性技术变革一样，语音智控也会迫在眉睫的受到来自外界的恶意指令影响。尤其是在自动语音识别(ASR)方向，黑客可利用外部代理设备发送隐藏的语音指令或是信号来干涉语音虚拟机器人的正常运行。

为了对抗和拦截这种恶意的信号指令，本文将恶意信号噪声添加到原始声音样本中，并利用改进的深度残差收缩网络（Deep Residual Shrinkage Networks，DRSN）结合连结主义时间分类CTC (Connectionist Temporal Classification)对恶意指令进行实时检测，为满足实时性的需求本文引入了剪枝优化方案，目的是为了减少网络节点和硬件资源的消耗，同时也要兼顾保证准确率性能指标的波动在可接受的范围之内。

随着“双碳计划”进行的如火如荼，各大新能源发电企业及运营企业在新能源集控系统领域深耕多年，新能源集控系统已取得了长足发展。集控系统的讲解多年来一直以人工讲解为主，风机远程控制也是以值长的密码、指纹等方式进行，系统的控制及交互还在以传统方式实现。为克服现有技术中关于新能源集控系统讲解方式落后、交互方式及控制方式效率低的缺陷，达到对集控系统智能安全交互与智能控制的效果。在语音控制[1]的过程需兼顾防止恶意指令的侵入，电力控制的安全不能出现纰漏，因此在智控过程中需时刻监控声源信号的输入以确保控制过程中的安全。

语音识别系统的攻击在电力领域是较致命的。一些研究人员在恶意语音信号生成方面做了一些研究，可被借鉴于智慧电力的语音智控方面。Carlini等人（2016年）率先解决语音界面的安全问题，并引入了所谓的隐藏语音命令[2]，证明了针对原始ASR系统的攻击，仅基于隐马尔可夫模型（HMM）是可行的。他们使用反向特征提取来创建模糊的对抗性恶意样本[3]，这些样本听起来像是隐藏在噪声中高度失真的语音，人类很难理解。

1 算法原理概述

1.1 深度残差收缩网络原理

深度残差收缩网络是基于深度残差网络的一种改进版本，在深度残差网络的基础上该算法引入了软阈值化的子网络，主要思想是在算法特征学习的过程中自动剔除多余的噪音数据，其算法原理如下：残差模块是构成深度残差网络的基本单元，其中还有两个标准化机制，作用是在模型训练过程中加快网络的收敛速率、改善梯度弥散和提高网络的泛化能力等。深度残差收缩网络面向的是带有噪音信号的数据，可将噪声数据理解为恶意对抗声音信号，这里所降低的就是与原始声音无关的噪声数据。

软阈值化。深度残差网络具备降噪功能的核心理念就是引入软阈值化，作用是将输入的数据朝零的方向开始压缩，该算法思想被广泛应用于信号降噪过程中。深度残差收缩在模型的训练过程中反向传播，不仅可在卷积层间逐级反馈，也可在恒等映射层进行反向传播，更方便地训练出更优质的模型。

1.2 剪枝优化的概述及原理

修剪神经网络的意义在于不降低其性能的情况下去除权重。本文所使用的网络模型是深度收缩残差网络，为使网络模型更适用于电力生产过程中的及时性需求。大多数情况下剪枝操作都会或多或少的对模型的准确率性能有所影响，这需后期的经验对模型进行微调，剪枝策略和阈值设置对剪枝效果也有一定的影响。

2 恶意语音检测实验

2.1 连接主义时间分类（CTC）

自动语音识别一般可看作一个序列到另一个序列的问题：系统必须学习如何从语音中提取声学特征X作为输入序列、从而生成单词Y的输出序列，这个过程也被称为转录[4]。ASR模型本质上是概率性的，旨在计算后验分布p(Y|X)，等价于在给定语音特征序列X的前提下求最可能得到的序列Y。相反端到端ASR旨在将这种基于模块的方法简化为深度学习框架内的单一网络架构，在端到端模型中多个模块合并在一个深度网络中联合训练，该网络实现了声信号到输出标签序列的实际映射。

CTC是一种避免输入和输出序列之间的对齐方法，因此它是无对齐的。本质上它利用马尔可夫猜想通过动态规划有效地解决了顺序问题，通过计算不同的路径来计算所有可能的硬对齐，然后通过聚集硬对齐来实现软对齐，当枚举硬对齐时CTC假设输出标签是相互独立的。

2.2 恶意语音检测的实现

2.2.1 利用残差收缩网络模型进行检测

将语音样本转化为声纹特征图谱，声纹特征图谱是由声音的强度、波长等信息组成的，具有唯一性可测量性等特征。本文将含1万份恶意指令的音频和1万份正常音频转化声纹特征图谱，再将其输入到已经构建好的深度残差收缩网络中进行训练，得到经过剪枝后的训练模型。与利用残差网络训练的模型相比，该模型所用的数据是成对存在的，分别是训练的时序数据和标签数据，目的就是找到一个时序分类器将样本进行分类。CTC的放置位置在双向递归网络的后面作为序列预测的损失来源，CTC会在学习过程中选择一条好的路径。

2.2.2 实验过程及结果

本实验利用改进的残差网络收缩算法，选取参杂恶意信号音频和正常音频进行预训练，在训练过程中采取学习率衰减的办法来进行训练，再进行稀疏训练。在后续训练过程中需不断调整压缩率和学习率，实现模型压缩效率和模型性能指标间的平衡。稀疏训练结束后就是剪枝操作，对数据通道进行剪枝，本文利用剪枝脚本进行剪枝的实验，该脚本融合了通道剪枝的策略减去了65%的通道，模型由之前的262.2M压缩到91.77M，模型性能由原来的0.94降低到0.92，降低幅度在可接受范围内。

3 总结与展望

本文在深度收缩残差网络中引入CTC子网络，并在该基础上做出量相关的改进，从而提高了模型的性能，另外还对训练好的模型进行剪枝相关操作以满足电力智控行业的实时性要求。实验表明该方法在电力智控行业防范恶意语音侵入方面有一定效果：选取深度残差收缩网络作为语音输入识别主体算法的原因，是为利用该算法的注意力机制摒弃语音输入过程中的噪声，提高语音数据的质量；为适应电力行业对智控的实时性，提出利用剪枝优化的方法对模型进行通道剪枝以缩小模型的体积。模型体积减小的优势不仅在于响应更为及时，也可迁移到移动设备端进行检测。

无论在电力智能语控还是其他方面，都需做到对入侵信息动态监视，基于策略的拦截在面对大量纷繁数据时会显得力不从心，因此保护系统不被侵入在电力系统的安全运行中意义重大。作为新一代信息技术高度集成和综合应用，人工智能既符合互联网技术的发展潮流，又满足当下的实用需求。