舰载指控系统作战方案快速生成技术研究*

杨雪飞 宁云晖 徐建平 李 阳

(1.海军装备研究院 北京 100161)(2.武汉数字工程研究所 武汉 430205)

舰载指控系统作战方案快速生成技术研究*

杨雪飞1宁云晖1徐建平1李 阳2

(1.海军装备研究院 北京 100161)(2.武汉数字工程研究所 武汉 430205)

针对舰艇指控系统中需要快速制作编辑作战方案的要求,提出一种采用语音和多点触摸结合的交互方式实现作战方案快速生成的方法,克服了需要大量记忆军标、耗时多和军标编辑不方便、准确度低的缺陷,提高了军标标绘的准确性和快捷性。

草图识别; 语音识别; 舰载指控系统; 作战方案

Class Number U664.82

1 引言

舰艇指控系统是舰艇作战系统的信息中枢和指挥中心,其核心任务之一是进行作战任务规划,完成作战计划,即制定作战方案,并根据作战方案实施作战指挥。基于电子海图的作战方案是指挥员定下作战决心的重要依据,作战方案图能够形象地表达指挥员的作战意图,是最常用的作战方案表达方式。指挥员在作战筹划阶段完成作战方案的制定,并在航渡过程中根据战场态势的变化适时调整和完善作战方案、预案,做出决策,以实施作战指挥。

大部分指控系统的态势标绘系统采用单一操作方式,比如用户通过鼠标选择军标进行绘制、修改、移动等操作。指挥员通过军标编辑工具,以海图为背景进行数据录入、军标标绘及编辑,生成作战方案。随着多点触摸交互、语音交互技术的发展,原有的作战方案生成方法已不适应触摸环境的应用。因此,有必要考虑采用新型的人机交互方式实现作战方案的快速生成。

2 相关技术

2.1 多点触摸交互技术

触控技术的出现,使得人机界面更加直观、智能、人性化,提供了一种全新的人机交互体验模式,笔式用户界面[1]正是在这样的研究背景下快速发展起来的,它基于纸笔的隐喻,提供给人们自然高效的交互方式,帮助人们方便地捕捉想法、记录事件、进行抽象思考和形象的描述。笔式用户界面研究力求使得这些传统的、无处不在的活动可计算,在保持传统工作方式自然性的同时,使人们高效地利用计算资源,实现对信息的各种维护。随着笔式用户界面成为新的研究热点,作为笔式交互核心内容的草图理解也迎来了发展的良机,逐渐受到研究人员的重视。草图理解的基本任务是从用户输入的连续笔划流中提取出特定领域的语义符号,并依据领域的知识对整幅草图进行推理,然后以一定的方式呈现给用户。

手写输入的好处是显而易见的,不需专门学习与培训、不必记忆,是最接近人们书写习惯的自然输入方式。因此将手写识别技术应用于指控系统作战方案的拟制,可以解决传统键盘鼠标交互方式下军标标绘操作复杂、效率低下的问题,通过手写识别,对草图符号输入、手势编辑命令输入进行智能识别和判断,并对指挥员提供反馈,能实现了基于草图交互的军用作战方案快速拟制及编辑。

2.2 语音交互技术

语音识别的研究工作大约开始于20世纪50年代,当时AT&T Bell实验室实现了第一个可识别十个英文数字的语音识别系统—Audry系统[2～5]。20世纪60年代,计算机的应用推动了语音识别的发展。21世纪初,语音识别技术,特别是汉语语音识别技术到得了突破性进展,从而使语音识别技术成功地应用于许多领域,如语音识别银行服务系统、股票价格行情系统、语音自动回复系统、游戏领域等[6～9]。近十几年语音识别技术的研究有了实质性的突破,许多成功的语音识别系统相继问世。

当前语音交互面临着一些挑战：一是如何将口语对话中的各种信息加以整合,使得计算机不仅能够理解具有语言学意义的声音成份,而且还能理解和处理那些副语言学(如情绪和情感)和非语言学成份(如噪音)；二是如何提高人机语音交互的鲁棒性,例如口语识别中一些重复、不连贯、不合语法的语段,口音和噪音等都会降低语音识别性能,语音合成中也需要提高合成语音的自然度；三是多模态语音的应用问题,即如何在人机交互系统中利用语音以外的其他模态如手势、面部表情等信息,例如利用视频信息研究言语行为与交际中姿态、表情等的关系,从而提高系统的“认知”能力。

语音识别技术的发展趋势为：连续自然语音的识别与理解、高自然度、具有表现力的合成语音、语音技术与多媒体技术的结合、语音技术与网络技术的结合、多语种。目前语音交互的应用主要关注以下两方面：一是通过语音播放进行信息提示,二是进行语音识别,识别用户的语音输入,把其转化为对应的消息队列或进行命令控制。

2.3 国内外研究与应用

早期Bolt提出的多模态人机交互系统“Put-That-There”融合了话音输入和三维手势两种人机交互模式,这一系统的建立为多模态人机交互的后续研究提供了范例。美国海军陆战队的分布式仿真系统QuickSet是一用于军事仿真控制的多模态人机接口系统,它采用语音和基于笔输入的手势符号作为人机交互的方式,用户可以同时用笔输入和语音输入创建军事实体、建立控制措施、标记控制地区等,提高了交互效率。

为了帮助指挥官更好地制定作战计划和执行军事行动,美国DARPA启动了Deep Green项目。Deep Green是美军下一代以指挥官为中心的指挥决策技术,其核心是指挥官助手(Commander’s associate)模块。指挥官助手首先根据草图生成计算机能理解的作战方案(Sketch-to-plan),并结合战场实时信息对先前作战方案进行更新,然后自动生成多个候选的后续行动方案,在对这些方案进行评价和排序之后向指挥官推荐最优方案,达到由草图到辅助决策(Sketch-to-decide)的目的。SIFT利用计划识别、建模、可视化能力等技术阐述了交替的行动过程图(COAs)及其应用前景,并设计和实现了指挥官组件。其中,指挥官助手中的计划识别算法组合了语音和草图输入,使得指挥官能更加简单和自然的表达他们的意图[10]。

国内的诸多研究机构也在笔式用户界面、自然语言交互等方面都做了大量工作。如中国科学院软件研究所的栗阳等设计实现了笔式用户界面开发工具——Penbuilder,允许用户自由笔式输入,支持各种笔交互信息和灵活的事件的处理,支持跨平台的面向无处不在的计算的笔计算环境；微软亚洲研究院的多通道用户界面组正在研究和探索先进的用户界面技术,以实现更加自然的用户界面,其正在研究的智能数字墨水能够帮助人们在电脑上用自己的笔迹随意书写,用墨水记录自己的思想；南京大学计算机软件新技术国家重点实验室孙正兴教授等人也对此开展了相关研究,从CAD系统出发,对手绘草图识别进行了研究,取得了一系列成果[11]。

3 总体设计

随着计算机硬件技术的发展,大屏幕设备、多点触摸屏、语音识别等设备已在军用系统中广泛应用,手写输入这种象形的输入方法被广泛应用,原有的军标编辑工具已不适应触摸环境的应用。

3.1 体系结构设计

基于多通道交互的作战方案生成系统在键盘鼠标输入方式的基础上,加入多通道整合模块,支持多点触摸、语音输入等非精确的输入方式。

图1是基于多通道交互的作战方案标绘系统的层次结构图。

在输入层接收用户输入的交互信息,包括键盘、鼠标等传统输入方式的输入信息和语言、多点触摸的输入信息,然后将输入信息转换成数字信号,提交给事件组织层。

事件组织层将多通道的基本输入信息进行识别,通过多通道整合成基本标绘事件,经过与作战方案编辑命令的对比,把用户输入表达成需要执行的作战方案编辑命令。此时,系统已获取用户输入的全部信息,完成多通道交互整合。

在应用层,应用程序根据整合形成的作战方案编辑命令进行应用执行。

3.2 作战方案编辑命令

表1 作战方案编辑命令对照表

根据当前舰载指挥控制系统作战方案的编辑需求,定义战方案编辑命令对照表,如表1所示。作战方案编辑命令对照表用于存储交互操作和作战方案编辑命令的对照信息,每个作战方案编辑命令可与一个或多个交互操作对应。作战方案编辑命令包括现有的指控系统提供的,对军标进行属性修改、删除、打开作战方案、保存等命令。

3.3 基于多通道的作战方案生成与编辑

对多通道交互输入的信息进行整合是实现多通道快速协同交互的基础。针对指控系统中的作战方案快速生成和编辑,除了保留传统的键盘鼠标交互编辑模式外,增加了语音交互和多点触摸手写交互两种交互方式,针对这些交互的特点,对基于多通道的作战方案生成及编辑管理进行具体考虑。

首先根据舰载指控系统作战方案编辑的命令需求,生成作战方案编辑命令对照表,然后根据接收到的人机交互界面产生交互操作具体分析处理。

情况1：如果是语音通道产生的交互操作,进行语音识别,查找作战方案编辑命令对照表,如果匹配成功,则按照匹配的作战方案编辑命令进行作战方案编辑,然后返回继续接收人机界面产生的交互操作信息；如果匹配不成功,则返回继续接收人机界面产生的交互操作信息。

情况2：如果是多点触摸通道产生的交互操作,首先进行手写识别,根据识别结果查找作战方案编辑命令对照表,如果匹配成功,则按照匹配的作战方案编辑命令进行作战方案编辑,完成后,返回后继续接收人机界面产生的交互操作信息。

如果匹配不成功,说明不是作战方案编辑命令,则进行草图识别,通过识别结果判断是否是手写标绘的军标图元,如果不是,返回继续接收人机界面产生的交互操作信息；如果手写识别后的结果是军标图元,则在界面上提示显示关联的军标符号,以供指挥员选择,指挥员可以根据提示的军标符号,选择要标绘的军标,绘制军标,可以有效提高因为指挥员对大量军标的记忆不全导致的军标标绘效率不高的问题。

4 结语

本文针对舰艇指控系统中需要快速制作编辑作战方案的要求,提出一种采用语音和多点触摸结合实现作战方案快速生成的方法。结合海军常用军标种类多的特点,采用象形的手写标绘方式进行军标标绘,根据标绘笔画进行军标同步提示,避免了指挥员记忆大量军标信息,提高了军标标绘的准确性和快捷性率。

[1] JA Pittman, I Smith, P Cohen. QuickSet: a multimodal interface for military simulation[C]//1996:130-141.

[2] SJ Ross, JL Hill. A compossable framework for secure multi-modal access to internet services from Post-PC devices[J]. Mobile Networks and Applications, 2002,7(5):389-406.

[3] 王延江,袁保宗.多模态人机交互中基于笔输入的手势识别[J].北方交通大学学报, 2001,25(2):10-13.

[4] 程浩.基于普适计算模式的上下文可察觉应用模型的研究[D].武汉:武汉理工大学,2005.

[5] 李允.普及计算的终端技术研究[D].成都:电子科技大学,2002.

[6] 李允,熊光泽.具有输入/输出事件约束特性的实时系统设计方法[J].计算机科学,2000,27(9):32-35.

[7] 李刚,黄席樾,袁荣棣等.以人为中心的机器人系统的人机交互技术[J].重庆大学学报,2003(5):59-63.

[8] 张晶,李心广.基于人工智能技术的火灾探测信息融合系统[J].工业仪表与自动化装置,2004(4):52-55.

[9] 廖传锦,黄席樾,柴毅.基于信息融合的汽车防撞决策系统研究[J].系统仿真学报,2004(7):1589-1596.

[10] 王鹏.未来指挥所双手触摸式自然交互技术研究[D].长沙:国防科技大学,2007.

[11] 李建新,廖士中.一个基于支持向量机的草图识别系统[D].天津:天津大学计算机应用技术,2006.

Battle Plan Rapid Generate Technique in Shipborne Command and Control System

YANG Xuefei1NING Yunhui1XU Jianping1LI Yang2

(1. Navy Academy of Armament, Beijing 100161)(2. Wuhan Digital Engineering Institute, Wuhan 430205)

According to the battle plan rapid generate requirements in Shipborne Command and Control System, a new kind of solution is given by speech and multi-touch interaction, the method overcome the defects that reauires a lot of memory military marks, time consuming and editing is inconvenient, and the accuracy is low, improved the accuracy and speed of the military marks making.

handwriting recognition, speech recognition, shipborne command and control system, battle plan

2016年10月17日,

2016年12月3日

杨雪飞,女,工程师,研究方向：舰艇作战系统,人机工程。宁云晖,女,工程师,研究方向：舰艇作战系统,人机工程。徐建平,男,高级工程师,研究方向：舰艇作战系统。李阳,女,高级工程师,研究方向：指控系统,人机工程。

U664.82

10.3969/j.issn.1672-9730.2017.04.007