空间技术验证试验综合评估探索研究

柴　黎，　廖育荣，　王杰娟，　洪海丽

( 1. 装备学院 光电装备系， 北京 101416；　2. 63893部队)



空间技术验证试验综合评估探索研究

柴黎1，廖育荣1，王杰娟2，洪海丽1

( 1. 装备学院 光电装备系， 北京 101416；2. 63893部队)

摘要分析技术验证试验评估国内外现状，研究美军空间系统试验与评估体系的理论基础，得出对我国技术验证试验评估研究的一些启示。从试验阶段、在轨试验体系、各层次间关系3个方面，全面分析基于层次化的综合评估模型；从构建思路、原则和类型等方面设计层次化评估模型的指标体系。最后，从典型任务的仿真试验和在轨试验数据2个方面提出对下一步评估工作的思考与建议。

关键词空间技术验证试验；综合评估模型；指标体系设计

空间技术试验卫星对空间系统新技术、新原理、新器件进行空间飞行演示验证，验证若干项关键技术，寻找技术增长点，为将来转入航天装备研制或形成航天技术能力奠定技术基础。试验卫星不以用户需求为牵引，以技术验证为目的，属探索性试验，没有特定的用户，试验任务是否完成、任务管理是否有效，需要通过较为科学合理的评估指标体系来评估。因此，全面分析空间技术验证试验国内外综合评估研究现状，建立综合评估层次模型、设计相应指标体系，对开展我军空间系统综合评估探索研究具有重要意义。

1国内外研究现状

1.1美国技术验证试验综合评估相关研究

1.1.1试验与评估流程

图1　试验与评估流程

美军试验与评估的流程为：确定试验目标(计划)；试验前分析(预测)；试验；评价与报告(比较)；结果满足需求；改进(改正)[1]。如图1所示。1) 确定试验目标(计划)。确定系统的试验目标，参考任务需求说明书、作战要求文件、成本与作战有效性分析、设计与性能规范等源文件后得出详细的系统规范、系统的试验要求，形成试验与评价总计划、综合后勤支援计划、建模和仿真能力、试验与评价记录、编制详细试验计划所需的信息等文件。

2) 试验前分析(预测)。一旦确定了试验目标并完成初始试验计划后，就需要准确确定各目标需要检测的内容以及如何检测。试验前分析要细化试验概念，选择最优成本效益和最可行的试验方案。采用建模与仿真预测试验环境下的系统性能，形成详细试验计划、数据采集、操作及分析计划。

3) 试验。要求所有参与人员准备所需环境和受试品及应急方案等工作，按照试验事件计划进度执行核对清单，同时加以监控和报告。

4) 评价与报告(比较)。试验结果与预测值相比较，按单个的试验目标来分析单个试验数据，评价试验结果。最后，评价累计试验结果和系统成熟度。

5) 结果满足需求。单个试验结果和总体试验结果清晰地说明系统成熟度满足需求，接着进行持续的系统分析。

6) 改进(改正)。这是重要的反馈循环。如果试验结果与预测不相符，原因可能是系统设计、试验方法、意外的环境因素或者预测不正确造成的。分析试验数据，找出性能偏差的原因，从而对后续试验进行决策。

1.1.2试验与评估

美军试验与评估包括研制试验与评估、作战试验与评估两大类。研制试验与评估为工程设计和研制提供帮助，验证技术性能规范是否得到满足，以及对达到技术目标的潜力进行检验；作战试验与评估是在真实作战条件下进行的试验，确定装备由典型军事用户在作战中使用时的效能与适用性，对系统满足作战要求的潜力进行评估，并可提供使用效能和适用性、机构、人员需求、条例和战术等方面的信息。两者的区别如表1所示。

表1　研制试验与评估和作战试验与评估的区别

1.2我国空间系统试验评估现状

我国技术试验卫星评估研究刚刚起步，将来如何根据技术试验卫星的特点对技术试验卫星进行评估，缺乏切实可行的理论与方法指导。

目前国内仅有一些学者对这类问题进行了初步的思考，技术试验卫星评估的目的主要是客观评价各试验载荷、平台和整星的空间飞行试验考核及相关管理情况。技术试验卫星评估分为2个层次，一是整星层次，评估内容包括技术试验、项目管理和成果应用转化3个方面。其中，技术试验评估包括载荷、平台组件和元器件3个内容；项目管理评估包括试验选项、管理流程、试验流程等方面的内容；成果应用转化评估包括小子样试验有效性分析、技术成熟度分析、经济可行性分析和转化制度评价等内容。二是各个单项技术试验层次，评估内容包括试验目标评价、试验完成情况评价和应用效益分析评价等方面。由于项目管理评估和成果应用转化评估内容通常在技术试验卫星管理问题研究中会有所涉及，因此重点在对整星和各个单项技术试验载荷评估上。

1.3启示

美国空间技术验证试验由军事需求“物化”为关键技术和系统能力，再通过技术验证和使用保障转化为战斗力。美国开展的空间技术验证试验，及早考虑试验可能的应用问题，研究分析其潜在的军事能力，凝练和明确空间技术验证试验的军事需求重点。从技术走向应用，是使用价值体现的关键环节，空间技术验证试验的最终目的同样也是实现技术的应用。作战试验与评估对作战效能和适用性进行评估，着眼未来空间技术验证的应用需求，促进已经验证的关键技术向应用能力转化。

我国空间技术试验卫星评估中着眼于项目管理、成果转化应用和技术试验3个方面的评估，具有一定的借鉴价值，但并没有涵盖空间技术验证试验评估的所有层面。空间技术验证试验在技术试验方面包含的内容更为丰富，卫星的研制部门侧重于技术验证与新技术探索方面的评估；任务总体单位侧重于对试验层面的总体评估，考察试验的完成情况与收益；同样项目管理评估和成果转化应用评估也是重要内容。此外，空间技术验证试验评估还需要思考对新现象、新问题等科学问题认知程度的评估。

2空间技术验证试验综合评估层次模型

2.1基于层次化的综合评估模型

分析国内外研究现状，结合我国近年来空间技术验证试验任务的实际情况，建立层次化的综合评估模型。

图2　任务总师系统、工程总师系统在不同任务阶段关系图

图3　基于层次化的综合评估模型

空间技术验证试验通常可划分为3个任务阶段：立项论证阶段、工程研制阶段和在轨试验评估阶段。每一个任务阶段包括不同的试验活动，图2为任务总师系统、工程总师系统在不同任务阶段关系图。立项论证阶段由任务总师系统完成编制任务试验需求与总体技术要求、关键技术攻关、系统方案论证报告、任务总体实施方案，工程总师系统配合完成相关任务。工程研制阶段由工程总师系统完成工程大总体方案及接口控制文件、初样、正样的研制和相关地面试验、开展在轨测试，任务总师系统负责完成任务系统研制总要求的编制、开展任务地面综合演练、进行关键技术状态的把关和相关集成试验的协调。在轨试验评估阶段，任务总师系统完成在轨试验大纲和试验评估总体方案、完成在轨验证试验、综合评估与总结，工程总师系统参与试验协调与技术支持[2]。

在轨试验与评估阶段包括技术验证阶段和后期拓展应用阶段。在技术验证阶段完成以技术验证和系统能力演示验证为目的的试验，在后期拓展应用阶段开展以新技术验证、能力提升和科学探索为目的的试验。依据试验目的和试验阶段，构建在轨试验体系，如图3所示。

开展空间技术验证试验综合评估工作，将评估对象分层，有利于评估工作的分解，降低评估的复杂性。依据在轨试验体系，可分为技术层、科学层和应用层3个层次。此外，需要考虑对任务管理情况进行评估，所以评估从实施层面上分为技术层、科学层、应用层和管理层4个层次。

2.2综合评估模型各层次间关系

综合评估模型各层次间的关系依据技术验证和后期拓展2个阶段试验目的的不同进行分析。在技术验证阶段，针对航天器的关键技术和基本功能进行在轨验证，对试验任务的系统能力进行在轨演示验证；后期拓展应用阶段是在前期技术验证的基础上，充分发挥航天器效能，开展两类拓展试验。一类是深化试验，在确保卫星安全前提下，进一步挖掘卫星潜力，获取更多的科学试验数据；另一类是极限试验，按照试验项目风险递增排序，逐项开展高风险试验，最大限度地摸清航天器的能力极限。试验目的包括技术验证、能力提升和科学探索。

1) 试验效果评估。技术层包括技术验证阶段的技术验证试验、系统能力演示验证试验和后期拓展试验阶段的新技术验证试验和能力提升试验。试验效果评估是对卫星关键技术、系统能力的可达性、精度和可用性的评估，以及对试验结果的评估。

2) 科学评估。科学层的科学探索试验是针对新现象、新认识、新技术开展的探索性试验，进一步积累在轨试验数据，提高对空间科学规律的认知水平。科学评估是考察在拓展试验中对一些科学问题的认知程度。

3) 应用评估。应用层的应用试验是由需求单位提出未来空间技术验证的应用需求，探索在轨应用模式，促进关键技术向应用能力转化。应用评估就是分析卫星完成军事任务的效果和适用性，评估卫星技术能力满足军事任务需求的程度，找出技术短板，为技术发展提供需求牵引。

4) 管理评估。管理层的评估是在轨试验结束后开展的评估工作。管理评估是分析任务管理的合理性，客观评价和系统总结各方成绩与不足，为今后重大项目的管理模式提供借鉴。

2.3评估流程

评估工作分为评估准备阶段和评估实施阶段。评估实施阶段分为技术验证试验阶段、试验完成后、后期拓展试验阶段、后期拓展试验完成后的评估工作。各评估主体在不同的阶段分别完成各自负责的评估工作，生成评估数据及结论，进行汇总后形成任务总结与评估报告。评估准备和实施2个阶段的评估流程如图4所示。

图4　评估工作流程

3基于综合评估层次模型的指标体系设计

基于综合评估层次模型，设计相应的指标体系。评估对象不同，指标体系的分解思路和具体内容不同。本文依据指标体系的构建思路、原则和类型对试验效果评估、科学评估、应用评估、管理评估指标体系进行详细说明，对于具体的评估方案不展开介绍。

3.1构建原则

1) 科学性原则。在评估的过程中，选取的指标应科学合理、具有代表性，能真实反映项目总体面貌、本质特征和基本水平。基本要求包括：内容科学，表达准确，定义确切，指标间无合并、无重复、权重合理、层次清晰简练。

2) 全面均衡原则。指标选取以评估客体为核心，全面均衡地考虑项目各要素间的相关关系、准确描述和测度其本质属性及主要特征。

3) 一致性和综合优化原则。指标的设计应对发挥评估的功能有积极的指导和督促作用；同时，建立综合评估指标体系，尽可能反映各方面的因素，适当加权择重评估以体现出综合优化的要求。

4) 可操作性原则。评估指标的设置既要符合客观规律，又要符合主观思维程序，便于执行时具有针对性和可操作性。基本要求包括：指标少而精，内涵明确，覆盖全面，方法简便，易于实施。

3.2指标类型

对于空间技术验证试验，评估指标大致分为3类，验证类指标、评判类指标、统计类指标。

1) 验证类指标。此类指标的性质为考核型，即该指标评估结果以预先设定的参考值作为标准。主要针对任务总体设计方案中的技术指标设定值，考核各项指标是否得到验证。验证性指标为核心指标，是评估任务完成好坏的基础。

2) 评判类指标。此类指标的性质为定性评判，即该指标评估结果没有固定的参考值，评估结论根据试验数据，由专家给出定性评估结果。评判性指标为辅助指标。

3) 统计类指标。此类指标的性质为数据统计结果，没有参考值，没有最好值，只是将任务过程中产生的各种数据进行统计汇总，为任务评估和总结提供参考。统计性指标为参考指标，仅作为评估和总结的数据支撑[3]。

评估标准根据指标类型的不同而有所区别。验证类指标，以是否达到参考值为依据；评判类指标，以同行专家的定性结论为依据；统计类指标，不设明确的评估标准。

3.3试验效果评估指标体系

试验效果评估指标体系如图5所示，对关键技术、系统能力、试验结果进行评估。

1) 关键技术验证指标——重点列出在轨试验中需要验证的以及与试验目的紧密相关的几大类关键技术。

2) 系统能力验证指标——从卫星主要功能的角度进行分解，着眼于未来可能的应用需求，分析在轨试验过程中卫星功能的实现程度。

图5　试验效果评估指标体系

3) 试验结果指标——根据在轨试验技术验证任务，对几大类，若干个试验项目是否成功进行评估。试验效果评估立足于任务总体，评估整体试验任务，从关键技术、系统能力、试验结果3个方面对试验效果进行评估。重点是如何根据技术验证需求，设计一系列复杂的在轨试验，能够最大限度地验证各项关键技术，并且使试验流程的冗余度最小。评估结果的重点在于各项试验是否成功，整体关键技术和各种系统能力是否能够实现。

3.4科学评估指标体系

空间技术验证试验遵循空间科学实验和技术试验的要求与规律，主要通过积累科学试验数据，为认识空间和探索空间的科学规律服务。科学评估的目的就是考察拓展试验中对相关科学问题的认知程度。在后期拓展应用阶段，科学探索试验中的科学问题可以归纳为2类：为了认识科学现象总结规律而研究的科学问题；为了探索提高技术性能的方法而研究的科学问题。

1) “认识科学现象总结规律”指标体系。从是否发现科学现象、科学数据积累成果、科学规律与特性总结结果来衡量“认识科学现象总结规律”评估结果。

2) “探索提高技术性能的方法” 指标体系。从是否提高技术性能水平、改进后技术的应用价值、该科学方法对(其他)技术的推动力等指标来衡量“探索提高技术性能的方法”评估结果[4]。

3.5应用评估指标体系

通常新装备的作战试验与应用评估是为了确定最佳设计，指出该发展阶段的性能风险等级，检查系统研制在作战方面的问题，评估潜在的作战效能和适用性。应用评估的作用包括：评估新系统相对于现有能力的潜力；评估系统的效能和适用性；评估部署、保障和组织方案的充分性；条令、战术和训练需求的充分性。

对于空间技术验证试验的应用评估，具有特殊性，不能像评估传统武器装备时需要考虑较为全面的使用因素，而主要评估作战效能和作战适用性，即对已验证技术能力的应用价值进行评估，如图6所示。考虑的指标因素相对全面，对于具体的军事任务进行应用评估时，评估指标可依据任务类型(侦查任务、保障任务、攻防任务)进行选取[5]。

图6　应用评估指标体系

任务完成质量指标包括相关技术指标和效果描述指标2个方面。卫星类型与任务类型不同，任务完成质量的具体指标也各有不同，在此无法统一全部列出，需要根据具体实施的任务类型进行指标说明。指标需要进一步细化。

3.6管理评估指标体系

管理评估定位于评估周期中的事后评估，在空间技术试验经过论证、立项、研制建设和试验后组织实施。从组织、成本和效益3个方面进行管理评估[6]。

1) 组织管理。组织管理评估主要是指对重大项目专家组、任务总体单位、工程研制单位的任务组织管理过程和结果进行总结分析，为今后重大项目任务管理提供借鉴。评估内容主要依据项目管理理论中的管理要素，结合管理方特点和管理重点进行评估。组织管理指标分解依据不同的参与单位进行分解，按照“组织管理-参与单位-不同单位负责工作”的分解思路逐级细化。

2) 成本投入。成本管理评估是对经费和人员投入情况进行数据统计和汇总，掌握任务经费和人员分布情况，为今后重大项目的人才和资金投入提供参考。成本管理指标分解从人员和经费2条线进行分解，按照“成本管理-人员投入-不同任务系统组成人员投入”和“成本管理-经费投入-不同阶段经费投入”的分解思路逐级细化。

3) 任务效益。任务效益评估是评估任务产出的效益，主要包括任务研制过程和试验结果所奠定的技术基础，以及国防军事应用和产生的社会影响，可具体分为对技术效益、军事效益和社会效益3个方面的评估。任务效益指标分解从技术、军事、社会3条线进行分解，按照“任务效益-技术效益-分类技术效益”“任务效益-军事效益-可能实施的军事任务”和“任务效益-社会效益-影响、人才、科研”的分解思路逐级细化。

4结 束 语

开展空间技术验证试验综合评估探索研究，本文提出了基于层次化的综合评估模型，从实施层面分为试验效果评估、科学评估、应用评估和管理评估4个评估层次。依据指标体系的构建思路、原则和类型，设计了各层次相应的指标体系。针对我国的空间技术验证试验综合评估研究，下一步将通过典型任务的仿真试验和在轨试验数据，不断完善并细化技术层、科学层、应用层、管理层的指标体系，构建面向系统和典型试验任务的综合评估方案，支持指标体系、试验数据、分析评估等深入研究，进而推动评估工作在理论和应用2个方面取得新的进展，为相关重大试验提供参考和借鉴。

参考文献(References)

[1]防务系统管理学院.试验与评价管理指南[M]. 国防科工委军用标准化中心，译.北京:航空工业出版社,1992:20-22.

[2]孙万,刘燕洁.航天技术验证试验任务综合评估研究[J].装备学院学报,2013,24(5):102-106.

[3]武小悦,刘琦.装备试验与评价[M].北京:国防工业出版社,2008:107-108.

[4]张先恩.科学技术评价理论与实践[M].北京:科学出版社,2008:134.

[5]江敬灼.作战实验若干问题研究[M].北京:军事科学出版社,2010:122.

[6]袁家军.神州飞船系统工程管理[M].北京:机械工业出版社,2006:20.

(编辑：李江涛)

Study on Validation Experiment and Comprehensive Evaluation for Space Technologies

CHAI Li1,LIAO Yurong1,WANG Jiejuan2,HONG Haili1

( 1. Department of Optical and Electronic Equipment, Equipment Academy, Beijing 101416, China;2. 63893 Troops, China)

AbstractThrough discussion on the status quo of technical validation experiment and evaluation home and abroad and study on the theoretic basis of space system experiment and evaluation system in U.S., the author draws inspiration for China’s technical validation experiment and evaluation. In three respects including test phases, on-orbit experiment system and relation among all layers, the author comprehensively analyzes the layered comprehensive evaluation model; from perspectives like construction method, principle and type, the author designs an index system for the layered evaluation model. In the end, the author proposes some ideas and suggestions on the future evaluation work in two respects: simulation and on-orbit experimental data of typical missions.

Keywordsvalidation experiment for space technologies; comprehensive evaluation model; index system design

文献标志码A DOI10.3783/j.issn.2095-3828.2016.02.020

文章编号2095-3828(2016)02-0088-07

中图分类号V57

作者简介柴黎(1982-)，女，讲师，硕士研究生，主要研究方向为信息与通信工程。chaili1981@163.com

收稿日期2015-07-24