基于深度学习PyTorch在“飞行安全”教学中的应用与展望

芦建辉，王 林，侯明鑫

（1.空军航空大学，吉林 长春 130022；2.广东海洋大学 机械与动力工程学院，广东 湛江 524088）

引言

深度学习（Deep Learning）是学习输入样本的内在规律，并且把规律从特殊推广到一般。它的最终目标是让机器能够像人一样产生“自我”意识并具有分析能力，如识别图片的含义等。现在流行的深度学习网络可分为三大类：用于影像数据进行分析处理的卷积神经网络（CNN）[1，2]、用于文本分析或自然语言处理的循环神经网络（RNN）和用于数据生成或非监督式学习应用的生成对抗网络（GAN）[3，4]。国内的研究者将深度学习应用到生活的方方面面，很多学科把深度学习渗透到课堂中，如火箭军工程大学的王国亮把深度学习应用到专业基础课程“材料科学基础”中，激发学生的创新思维和增强探索精神[5]；北京交通大学的李艳凤把深度学习课程应用到实验教学中，加深了学生对课程的理解，增强了学生的高阶思维能力[6]。谷歌、阿里巴巴、Facebook、腾讯和百度等国内外互联网巨头都大力投资，不断加快深度学习领域的研究步伐，由此，深度学习开始不断应用于语音识别、图像处理、自然语言识别等领域[7-9]。

针对“飞行安全”教育教学中的特点，结合深度学习常用的PyTorch工具，从自然语言和影像数据分析处理两个角度分别设计了深度学习在“飞行安全”教学中的应用场景和基本思路，并且展望了未来深度学习技术在“飞行安全”教育教学中的发展趋势。

一、深度学习框架

选择一个合适的深度学习框架是非常重要的，因为一个合适的深度学习框架能起到事半功倍的作用[10]。在深度学习框架形成之前，研究者使用各种不同的方式达到他们的研究目的，需要写大量的重复代码，导致学习的门槛比较高，而且难以复现，影响了学习的积极性。为了解决这些阻碍深度学习发展的问题，越来越多的开发者就这些代码写成框架放在网上，方便研究者使用，现在最为流行的深度学习框架有PyTorch、Tensorflow、Caffe和PaddlePaddle。

1.PyTorch。PyTorch是一个开源的python工具库，是在2017年由Facebook人工智能院基于Torch开发而来的深度学习框架；Torch是由卷积神经网络之父Yann LeCun领导开发的框架，于2014年开源，曾是Facebook和Twitter主推的一款开源深度学习框架，使用Python修改了很多内容，使Pytorch更加灵活，同时支持动态图，得到了更多研发人员的认可。PyTorch有利于研究开发人员快速生成模型，支持GPU，更易于搭建和训练深度神经网络。

2.Tensorflow。Tensorflow是由谷歌开发的深度学习框架，是一个端到端平台，学者或专家均可以轻松地构建、试验和部署模型。Tensorflow提供多个高级API（Application Programming Interface，应用程序接口），用户基于业务需求选择适用的API或者自行定制API，将TensorFlow部署在CPU、GPU的服务器中，或应用在移动设备中开展目标检测等，并支持AdaGrad和Neuron Dropout等算法优化[11，12]。

3.Caffe。Caffe由加州大学伯克利的博士贾扬清开发，全称是Convolutional Architecture for Fast Feature Embedding，是一个清晰而高效的开源深度学习框架[13]，支持Python和Matlab接口，为研究者提供多种编程语言来开发算法，并由伯克利视觉中心（Berkeley Vision and Learning Center, BVLC）进行维护。

4.PaddlePaddle。PaddlePaddle是2016年百度研发的深度学习平台，是国内最早开源的一个功能较完备的深度学习平台。PaddlePaddle具有全面的工业级应用模型，涵盖计算机视觉和自然语言处理等多个领域[11]，并开放多个领先的预训练中文模型，复现了多套有价值的算法模型。目前，PaddlePaddle已经实现了API的稳定和兼容性，形成完善的中英双语使用文档，简洁高效、易学易用[14]。

深度学习框架降低了人工智能的门槛，研究者不需要从复杂的神经网络开始编代码，可根据业务模型的需要，继承框架中的模型进行修改，通过训练得到模型参数，也可以增加层次，或者选择所需的分类器和优化算法。以上深度学习框架提供了丰富的深度学习组件，用户自定义研发新的算法，减少了重复的代码量。经对比发现，PyTorch框架包含了很多高级API，可以应用在目标检测、物体分类、语义分割等深度学习框架中。从工程实际的角度来讲，通过PyTorch训练模型，生成权重文件后，既可以通过云端进行检测，也可以嵌入边缘设备中进行离线检测[15]，近年来大部分项目采用在云中和边缘同步部署检测的混合方法，取得了较好的应用效果。边缘模型通过智能设备实时做出决策来解决深度云对末端检测的不足，云中进行模型训练，处理进行长期分析和改进权重，如智能汽车就是利用车上的摄像头和处理器进行实时计算，再把数据上传到云端，对模型权重进行更新。以上算法框架对飞行安全工程和管理类学科教学都有典型应用价值，例如机场利用摄像头检测跑道异物、监测空中飞鸟等，均可利用边缘设备进行智能自动检测。

二、“飞行安全”教学特点

军民航在多所高校开设“飞行安全”相关教学，包括多个飞行技术、工程技术和管理类专业，大部分是普通高等学校本科专业和任职教育专业，不同的任职岗位其设置的课程内容不尽相同，但本质均是保障飞行安全。飞行安全关乎人们的生命财产，影响着民航业的发展前景，更关乎国家的形象。飞机的安全起降、平安是每个人的希望。近年来，世界范围内民航安全事故频发，但是航空运输却快速发展，飞行航线密度和拥挤度逐渐上升，飞行安全格外重要。随着科技的快速发展，深度学习普遍应用在各行各业，为预防和减少空难的发生，将深度学习应用到飞行安全实践中，为航空器飞行安全提供更多的保障。

“飞行安全”课程是一门典型的综合多学科知识构成的课程，不仅涉及“飞机飞行力学”“飞机结构与系统”“空中领航”“航空动力装置”“航空气象”等航空理论相关课程知识，还涉及“飞行事故调查学”“航空生理心理学”“飞行中人的因素”“安全管理学”“应急情况处置”等课程知识，因此，“飞行安全”课程不仅内容丰富、综合性强、应用性突出，而且理论与实践联系紧密，这事实上与每一起飞行事故都涉及多种原因是一致的。在“飞行安全”教学中，通常采用理论教学、案例教学、模拟教学等方法。深度学习技术在“飞行安全”理论教学、工程技术教学、案例教学、模拟教学方面均有典型应用价值。

三、深度学习在“飞行安全”教学中的应用设计

1.RNN在“飞行安全”理论教学中的应用设计。“飞行安全”理论主要是基于事故致因、安全管理、安全技术等理论的形成的基础理论，重点是用于分析飞行事故的致因因素及其作用过程，简单地说就是回答“事故的致因因素是什么、是怎么发生的、为什么会发生”等基本问题。应用自然语言处理的循环神经网络深度学习技术对飞行不安全事件（一般涵盖飞行事故、飞行事故征候等事件）调查报告等文件资料按照一定逻辑进行处理形成事件特征数据集，进而用于预防同类事件的再次发生。具体过程可分为三步：一是不安全事件特征标准化标识，将同类不安全事件的发生条件、发生时机、致因因素、发生过程、处置过程、产生后果等内容进行标准化标识；二是生成事件特征数据集和模型，将历史上同类原因或具有同一性特征的事件信息进行聚类，生成特征数据集，并经过海量数据训练形成特征模型；三是基于特征数据集和模型对即将开展的飞行安全任务计划中的参加人员、业务过程、协作关系、管理关系等构成的任务描述进行自动化、智能化的特征比较，从而基于特征数据的深度学习得出富有实效的数据分析结论。

例如，某阶段的任务是新飞行员起落航线理论教学和飞行训练，为保障该阶段的飞行安全，必须准确识别该阶段的主要风险源、评估不同熟练度飞行员的风险程度并提出精准的风险预防控制措施。应用RNN深度学习技术对该阶段教学训练任务计划与特征数据集，按照上述思路进行特征比较，基于特征相似度对任务、人员、业务过程、协作、管理并结合环境因素给出风险识别参考列表清单，有助于任务管理者和执行者开展风险防控。基于深度学习技术可以深挖安全风险直接原因背后的隐性因素，尤其是部分人员由于理论学习的有效性不足形成的盲点会导致飞行训练中的风险进一步放大，从而在飞行中出现应急情况时难以分析其原因并控制处置措施。RNN在“飞行安全”理论教学中的应用可为安全风险识别提供特征比较客观数据，提高“飞行安全”理论教学的针对性和有效性。

2.CNN在“飞行安全”工程技术教学和案例教学中的应用设计。“飞行安全”工程技术教学和案例教学均会使用到大量的图片、影像等素材，这些图片和影像的智能处理是提升教学质量的重要方法。“飞行安全”工程技术和案例教学典型的场景有飞鸟识别与鸟击风险评估、跑道异物识别与外来物撞击风险评估、座舱多维度视频图像处理与风险识别、事故调查、事故仿真再现等，这些场景的数据来源多是摄像和图像采集设备获取的图片或影像资料，这些资料均为自动摄录采集，数据量巨大，风险源表现在视场时间短暂且不敏感，人工识别判断工作量巨大，亟须采用卷积神经网络进行智能化分析处理影像数据，基于图像特征数据集自动识别异常情况并评估风险情况。

例如，机场飞鸟自动智能识别与风险评估，主要通过收集部署于机场及跑道周边的摄像设备获取的飞鸟照片和影像，识别飞鸟及其种属和名称，进行特征标注后，形成特征数据集（如飞鸟、跑道、飞机、房屋等数据集），构建基于CNN的智能识别算法进行训练，形成权重文件，再部署到边缘设备（摄像头及图像处理GPU等构成的一体化设备）中，从而自动识别飞鸟特征并推算其来向、速度、高度等动态信息，进而自动形成机场鸟情记录数据库。在此基础上，结合飞机任务计划及其运动特征计算鸟机可能相撞的时间、轨迹、位置等信息，进而分析鸟机相撞风险，可以实时辅助管制员和飞行员工作，提高飞行器防鸟击的安全程度。另外，如果发生鸟击航空器飞行事故，可基于以上影像数据和飞机座舱摄像设备记录的影像设备，生成多维度鸟击飞行事故发生实况的再现或复盘，有利于调查分析事故的详细过程。以上基于CNN的影像数据智能自动分析对“飞行安全”工程技术教学和案例教学有重要意义，通过数据处理分析，教学对象不仅提升了安全数据分析的能力，同时学会了熟练使用CNN深度学习技术。业务需求与理论和技术的融合教学，对教学对象未来开展飞行安全工作具有明显的促进作用。

另外，深度学习凭借循环神经网络和卷积神经网络的技术优势，实现了对飞行不同类型数据的智能化分析，具体表现为：（1）循环神经网络可以对飞行中的传感器数据，如航向角、俯仰角、空速、过载等关键飞行数据进行智能化分析，通过对传感器数据的趋势预测，从而反映出飞行员驾驶的不良习惯和错误动作；（2）卷积神经网络可以对飞行中的图像数据进行智能分析，比如通过飞行航迹的图像分析，从而智能分析飞行员关键操作动作和飞机姿态，自动得出飞行员的关键动作改进措施；（3）高难飞行动作的飞行动力学仿真建模分析，同时利用RNN和CNN构建智能算法对飞行操纵进行仿真，即结合多维飞行数据、航迹图像、仪表图像、座舱视景图像进行关联智能分析，从而实现对高难动作、超限动作的错误操纵等仿真分析，进一步提高飞行员的飞行训练效果。

四、结论与展望

本文介绍了深度学习的研究方向与应用，阐述了当前具有影响力的开源深度学习开发工具，针对“飞行安全”教学的特点，设计了深度学习技术在“飞行安全”教学中的应用场景，提出了深度学习技术在“飞行安全”教学中的应用实例与方法，对促进深度学习技术在飞行安全领域的应用具有明显价值，同时，可以帮助学生获得前沿深度学习技术，并与飞行安全业务知识相结合，以促进高素质多学科交叉融合型人才的培养。