机器人智能交互新一代人工智能开放创新平台

叶国伟 杜轶锋 周国华

【摘  要】 機器人创新研究是当前我国技术研究的重点课题，机器人及其智能技术研究成功对国家技术创新以及高新技术发展而言至关重要。文章研究的机器人智能交互新一代人工智能开放创新平台就是目前智能机器人的技术研究重点，人工智能技术作为机器人运行核心技术，利用该技术创新人工智能平台将有利于机器人功能升级。文章在研究中结合新技术，提出创新平台的研究框架，包括对开放平台、共享服务等模块进行创新，创建一个完整的智能交互开放创新平台。

【关键词】 机器人；智能交互；新一代；智能开放创新平台

一、机器人智能交互新一代人工智能开放创新平台研究基本情况

（一）智能开放创新平台研究目标

制订平台研发目标，后续的设计及应用都需满足目标需求，确保平台创新应用更加严谨，提升平台设计效果。以下是对平台创新研究目标的总结。

1. 以打造行业领先的机器人智能交互开放创新平台为目标，研究综合行业关键技术资源，为机器人产业提供通用化的智能应用服务，促进机器人智能交互应用平台化、标准化、快速化的建设和实施。

2. 以解决当前人工智能方向细分领域“机器人智能交互”存在的中小微企业核心技术研发能力不足，产品落地周期长的困境为研究目标。平台在进行研究的过程中，构建开放的机器智能交互创新平台，重点解决开放平台中企业用户数据私有化下的安全高效率机器学习，以及开展中、英、粤等多语种语音识别、开放域个性化对话、基于知识图谱动态更新的模型增量学习、小样本个性化语音转换/合成等领域前沿基础和关键技术创新研究，形成标准化、模块化的模型、中间件及应用软件，实现前沿创新、核心技术、方案落地。

（二）智能开放创新平台研究内容

确定研究内容也是研究的核心，了解研究内容才能够确保技术研究具有针对性，实践性。

研究内容1：机器人智能交互开放创新平台建设。

研究内容2：多语种识别与合成技术引导的个性交互、增量领域知识图谱自动构建与推理、多模态交互下的情感认知与开放域个性化对话。

研究内容3：全栈智能交互产品服务体系构建、一站式智能人机交互平台服务。

二、机器人智能交互新一代人工智能开放创新平台设计研究

（一）机器人智能交互技术创新分析

该次机器人智能交互新一代人工智能开放创新平台设计研究的过程中，在传统交互技术基础上实施了技术创新，应用了前沿新技术。

1. 应用语言合成技术，实现个性化交互。研究的新交互平台支持中、英、日等多个语种识别以及支持广东话、河南话、四川话等方言识别的多语种识别技术，以及支持中英粤等语音合成技术。在此基础上，研究在音色、自然度等方面的表现接近甚至超过人声的个性化语音生成技术。

2. 应用增量领域知识图谱自动构建与推理技术。项目研究关键词提取、词法句法分析、语义角色标注，在此基础上进行知识更新建模与动态图注意力机制结合的非结构化知识抽取策略学习，引入K-折交叉、预训练语言模型与多源异构网络关联等实现数据自动去噪与知识增量融合、关联。在大规模语料库与增量领域知识图谱基础上，通过增量编码、动态图注意力机制，进一步实现数据驱动与知识驱动的对话生成，提升智能交互过程的推理能力。

3. 项目研究机器人智能交互下的多模态范式聚焦于各模态下的情感特征变化机理，通过构建细粒度多模态情感对话数据集，开展多模态情感识别、个性化识别、情感原因推理、对话状态识别、个性与情感引导的对话生成、场景内容视觉感知等方面的机理建模与技术研究。

（二）智能开放创新平台具体设计

1. 基本创新建设思路。该次创新是在智能交互平台基础上实施创新，采用新技术，形成新理念，以确保创新后的平台满足机器人智能交互功能需求。

（1）平台应用科大讯飞华南有限公司机器人领域的AI技术，包括AI核心能力、管理能力、运营能力，同时还提供有效地开放的一站式全链路深度学习平台，实现为能力的生产者（如行业专家、优质合作伙伴、机器人领域开发者等）提供的稳定的标准工具。

（2）平台在算法模型基础之上完成框架、研发、测试与标准的设计，在标准平台上完成开放共享。

2. 平台基础功能体系建设。该次创新智能交互平台完成基础功能体系建设应用非常关键，平台设计围绕交互机器人数据中台、机器人AI能力中台、业务前台为核心进行展开。而其各项功能的设计也是为满足机器人交互应用的不同场景。以下是对其功能设计进行综合分析。

（1）数据中台的基本功能

数据中台设计是围绕数据构建平台数据采集、处理、分析以及管理等服务，将机器人产生的数据作为基础服务提供给业务方，业务方可以以自助的方式在数据中台上获取数据、进行数据处理、数据探索、数据挖掘、分析钻取、多维分析、自主化报表、数据共享等，以快速实现自己的商业价值。

（2）机器人AI能力中台功能

能力中台是交互平台应用的主要功能，该功能在AI技术基础上完成各项功能，借助AI优势确保功能发挥良好，应用技术应用效率，以下是对AI应用进行分析。

①AI能力服务功能。以API（应用程序编程接口）接口调用方式对外开放了科大讯飞的核心人工智能能力，包含语音、图像、语义认知多个方面的几十项AI服务能力，提供一站式深度学习研发实验环境给有相应技术能力的机器人产业公司/开发者来满足公司更高层次的人工智能创新需求，实现了AI能力模型的开放共享。

②AI管理平台功能。管理平台提供了机器人的管理能力，包括角色权限管理、多租户管理、服务资源管理、知识库管理、会话管理、技能管理、可视化配置流程引擎、配置中心等能力。

③AI运营平台功能。运营平台提供了通用的机器人运营管理能力，包括机器人运营分析指标、分析报告、自主挖掘分析、数据运营服务、人工后台服务等能力。

④AI監控平台功能。监控平台提供了对机器人能力调用、服务运行状态的监控和预警，提供平台的监控服务。包括性能监控、状态反馈、预警通知等。

（3）机器人业务前台

业务前台是在机器人交互实现后，能够独立承接业务，完成不同业务，确保各项工作满足使用者需求。该次平台设计以API开放标准化服务的模式提供机器人产业公司通用化的面向不同场景（如教育，医疗，智能服务、智能外呼、展厅、图书馆、酒店、党建等）技术服务，同时提供相应可自主快速配置化的前端模板，实现机器人大规模快速复制上线。

（4）平台端云一体化开发设计

交互平台设计的过程中，一体化开发设计的主要目的在于解决隐私保护和数据共享的冲突问题。为此在平台设计中引入联邦学习，从而对模型原型在测试环境中保持持续学习，高效管理和维护海量设备及其具有的各种功能模型，同时有效处理个人隐私及安全问题。随着5G时代的到来，模型训练和推理均可以利用每个端侧设备独有的部署环境和原始数据进行初步数据处理和推理，而在云侧针对设备的个性化需求进行在线训练，实现设备的在线自动学习与更新。

3. 平台核心技术应用设计。通过平台设计思路研究发现，平台在设计的过程中，创新应用增量领域知识图谱自动构建与推理技术和多语种识别与合成技术，为确保两项技术应用合理，平台在设计中也针对两项技术进行重新构建。

（1）应用增量领域知识图谱自动构建

该项目将研究大规模的知识自动构建技术，提升机器人与人的交流互动能力。主要涉及三个方面，一是数据的自动获取，通过大规模的云服务器集群结合网络抓取技术获取多源异构数据。二是结合大数据处理、自然语言理解技术和领域知识库实现识别和抽取文本中的三元组信息。三是自动纠错和自主学习，结合智能模型和强化学习方法，通过人际交互接口对代表性错误三元组进行人工纠正，通过强化学习提高模型的识别精度和鲁棒性，实现自动纠错和自主学习。

（2）该项目计划开展通用语法和语义分析技术研究、知识图谱及逻辑推理算法研究

①该项目将规模化开展面向中文的通用语法和语义分析技术研究，在建立大规模的标注数据集合基础上，构建能准确分析出句子的分词、词性、主谓宾动状补等语法结构以及实事、受事等语义角色的通用语法及语义分析技术。

②知识图谱及逻辑推理算法：知识图谱是指利用三元组等形式对客观世界进行描述的一种知识表示和存储方式，是基于知识逻辑推理的认知智能技术的基础。

（3）多语种识别与合成技术应用

该次技术设计，采用多语种语音识别技术、多语种语音合成技术以及个性化语音合成技术，确保语音交互功能更符合新时期机器人交互需求。

①基于自注意力机制的端到端识别网络，在编码端基于迁移学习方式强化大数据中文与其他较少数据语种之间的关联性，突破多语种训练数据受限的瓶颈；在解码端，融合文本语料进行辅助对抗训练，提升解码端的语言模型覆盖度；最终构建一套实现多语种混合解码的语音识别系统。

②通过联合多语种多话者的端到端神经网络建模，分离语种相关与话者相关的深层语音表征，融合前端韵律分析与后端声学特征预测，实现对各语种合成语音发音人特征的灵活控制。

③通过联合个性化发音人的端到端神经网络建模，融合前端韵律分析与后端声学特征预测，实现对个性化语音合成语音发音人特征的灵活控制。该项目目前可通过录入10句个性化发音人话语，实现了采集量只有行业平均的1%。

三、机器人智能交互新一代人工智能开放创新平台实践效果研究

目前，文章设计研究的机器人智能交互新一代人工智能开放创新平台已经搭建成功，完成了在教育，医疗，智能服务、智能外呼、展厅、图书馆、酒店、党建等8大示范应用场景的建设，提升了机器人多模态交互领域各种业务形态的自主技术能力。

在众多研究机器人智能交互平台的方案中，机器人与人交互，并不仅仅是内容、信息交互的难度非常，最为困难的是实现情感的交互。相对内容而言，情感能传递最多的状态信息，不同情感状态下大脑的计算资源分配方式差距巨大，会采取完全不同的思维执行路径，从而产出最后不同的结果，因此目前来看研究相对困难。从人类表达的角度出发，说话者表述的内容既受到他当前的情感状态影响，也受到他从小到大形成的人格，甚至他的性别、年龄、所处的环境等信息的影响。传统的对话生成内容一般不考虑情感因素或者只考虑到简单的高度抽象的情感因子（一般不超过7种），因而难以真正实现足够人类的交互表达。该项目建立机器人的个性模型，赋予机器人人格、年龄、性别，并且动态地根据对话双方的情感调整自身的情绪状态，然后根据这些信息指导生成相对应的回复，实现个性化且有情感约束的交互表达，提高智能交互企业和机构的开发和生产交付效率，有效降低开发成本，证明平台应用效果非常好，具有可推广价值。

四、结语

机器人智能交互新一代智能开放创新平台是机器人智能化研究的重点技术。本平台致力打造行业领先的机器人智能交互开放创新平台，整合行业关键技术资源，为机器人产业提供通用化的智能应用服务，促进机器人智能交互应用平台化、标准化、快速化的实施，降低行业技术研发和使用门槛，实现安全且有效的数据特征共享，使中小微企业或行业开发者能专注于行业内、场景内的差异化、零散化数据建模与产品研发，从而构建稳健的产业生态，促进机器人智能交互产业持续快速发展。希望文章的研究能够对机器人智能交互应用领域有所帮助。