技术创新服务平台建设项目技术就绪度评价研究
2022-05-31莫冰尚斌雷柏茂廖苏亮
莫冰 尚斌 雷柏茂 廖苏亮
摘 要:针对技术创新服务平台建设项目传统评价方法不够全面、主观性较强等问题,通过研究关键技术及设备研发、资源能力建设及运营管理等创新要素,建立了技术创新服务平台技术就绪度评价指标体系,并基于国内外技术就绪度等级划分原则,研究了平台各创新要素的成熟路径,提出了技术创新服务平台技术就绪度等级定义以及对应每个指标标准化的技术就绪度评价细则,最后,基于研究形成的技术就绪度指标体系和评价方法,在面向高端仪器装备可靠性的工业设计公共服務平台建设项目中进行了应用。结果表明,技术创新服务平台技术就绪度评价方法能够全面评估平台的成熟程度,掌握平台建设进展,发现平台建设过程中存在的问题,为平台建设过程的全面、客观的系统评估提供方法工具。
关键词:技术创新服务平台;平台建设;技术就绪度;项目评价;评价指标体系
中图分类号:G 312
文献标识码:A 文章编号:1672-7312(2022)03-0282-09
Research on Technology Readiness Level Evaluation in Technology
Innovation Service Platform Construction Project
MO Bing1,2,SHANG Bin1,LEI Bai-mao1,2,LIAO Su-liang3
(1.China Electronic Product Reliability and Environmental Testing Research Institute,Guangzhou
511370,China;
2.Guangdong Provincial Key Laboratory of Electronic Information Products
Reliability Technology,Guangzhou 511370,China;
3.Guangdong R&D Center for Technological and Economy,Guangzhou
510070,China)
Abstract:In response to the problem of traditional evaluation methods for technology innovation
service platform construction project,such as insufficient comprehensiveness and strong
subjectivity,the innovative elements of the platform such as the key technology and equipment
research and development,resource capacity building and operation management have been studied,
and the technology readiness level evaluation index system of the technology innovation service
platform has been established.Based on the principles of technology readiness level
classification at home and abroad,the mature path of each innovation element of the platform has
been studied,and the technology readiness level definition and the standard evaluation rules
corresponding to each index of the technology innovation service platform are proposed.Finally,
the index system and evaluation method based on the research is applied in the industrial design
public service platform construction project for the reliability of high-end instruments and
equipment.The results show that the technology readiness level evaluation method of the
technology innovation service platform can comprehensively evaluate the maturity of the platform,
grasp the progress of the platform construction,find the problems in the platform construction
process.It provides a powerful method tool for the comprehensive and objective system evaluation
of the platform construction process.
Key words:Technology innovation service platform;platform construction;technology readiness
level;project evaluation;evaluation index system
0 引言
技术创新服务平台指面向产业和区域发展的重大需求,通过有效整合高等学校、科研院所、科技中介服务机构以及骨干企业等优势单位资源,面向企业技术创新共性需求提供公共服务的组织体系。技术创新服务平台主要功能包括条件资源服务、技术研发服务、技术成果转化与推广服务、产业技术人才培训与交流服务等[1]。国家“十三五”规划纲要以及《国家中长期科学和技术发展规划纲要(2006—2020年)》等文件中均指出,要加快建设各类技术创新服务平台,为国民经济和产业发展提供保障。
各级政府投入了大量财政资金支持技术创新服务平台建设,目前对于平台的建设管理主要通过传统的平台认定评价、项目验收评价、平台绩效评价等手段来保障财政资金的使用效益。从研发投入、场地建设、科技成果产出及经济效益等方面进行评价[2],且主要采用专家打分的方式。评价结果主观性较强,缺乏对平台建设和运行情况进行客观、规范评价的技术方法。
针对上述问题,结合基于技术就绪度评价的思想理念,研究构建技术创新服务平台技术就绪度评价指标体系,提出技术创新服务平台技术就绪度评价方法,客观、全面评估平台关键技术及设备研发、资源能力建设及运营管理等创新要素的就绪情况,为识别平台建设薄弱环节,控制平台建设风险,培育高质量创新平台提供规范方法和技术手段。
1 现状分析
1.1 常见技术服务平台项目评价方法
1.1.1 平台认定评价
政府部门主导的各类创新平台的认定评价是当前最常见的评价方式,主要针对企业已建设完成、运行良好的平台,由政府部门组织专家进行评价认定。2017年7月,工业和信息化部印发《国家中小企业公共服务示范平台认定管理办法》,规定了国家中小企业公共服务示范平台的功能要求和认定条件,要求服务业绩突出,有健全的管理制度、管理队伍和人才队伍。2018年7月,工业和信息化部印发《工业互联网平台评价方法》,提出了平台基础共性能力、特定行业平台能力、特定领域平台能力、特定区域平台能力、跨行业跨领域平台能力等5个部分的能力要求。2020年9月,国家能源局印发《国家能源研发创新平台管理办法》,针对国家能源研发创新平台建设任务完成情况、创新投入、创新条件、创新能力与行业贡献等方面提出了平台认定考核要求。
1.1.2 项目验收评价
财政资金支持建设的創新平台项目,在平台建设期满时,将开展平台建设项目验收评价。2016年4月,住房城乡建设部办公厅印发《省级公共建筑能耗监测平台验收和运行管理暂行办法》,采取专家评议、软件测试、现场核查等方式进行,考核平台技术开发、能力建设、制度管理、运行情况等。2020年1月,广东省工业和信息化厅印发《广东省工业和信息化厅财政专项资金支持项目验收管理办法》,验收内容主要包括项目的技术性能指标、经济和社会效益,并提出,对于平台建设类项目,还须检查所建平台在项目实施中的作用以及项目实施对平台建设的促进作用等情况。
1.1.3 平台绩效评价
为考察平台建设绩效,在平台建设中期或建设期满后,通常会开展平台项目绩效评价,主要围绕平台资金投入、产出和服务效益进行评价。财政部印发的《项目支出绩效评价管理办法》,一级指标设置及权重分别为:预算执行率10%、产出指标50%、效益指标30%、服务对象满意度指标10%。浙江省科学技术厅开展浙江省重大科技创新服务平台建设与运行绩效评价,评价内容包括专项资金的投入、管理和使用情况,平台建设进展情况,平台开展的关键共性技术开发、技术成果推广、人才培养、横向科技服务等方面的运行成效。
1.2 技术就绪度的提出与发展
技术就绪度又称技术成熟度(technology readiness level,TRL),起源于20世纪70年代的美国,当时美国航空宇航局为保障项目研发进度、控制技术风险和研发成本,提出技术成熟度的概念,并对航空项目技术就绪度进行评价[3-4]。
1995年,美国宇航局(NASA)推出了《技术就绪度白皮书》,将技术成熟水平划分为1~9级,并对每个等级的要求进行了阐述,覆盖了技术从提出到成熟应用的整个生命周期[5],见表1。此后,世界各国根据各国科技领域特点和对成熟理论的研究,分别制定了针对不同类别的技术就绪度评价标准。目前,技术就绪度已经发展出许多分支,包括材料成熟度、制造成熟度、集成成熟度、生物医学技术成熟度、能力成熟度、商业成熟度等[6-9]。
技术就绪度评价方法是根据技术发展成熟的客观规律,建立了标准化的评价量表,具有量化、客观的特点,与传统的专家打分评价方法相比,可解决评价主观性强、评价结果分散度大等问题。此外,技术就绪度评价是针对项目关键要素进行评价,可以有效避免评价不充分不全面的问题,及时发现项目实施的风险。技术就绪度评价方法发展至今,已经被世界各国广泛采用,逐步应用到武器装备、船舶、医药、电子信息等各个科技领域。我国在国防军工和重大科技项目研发领域也提出了技术就绪度评价方法并逐渐推广应用[10-11]。
目前,针对各领域项目管理制度和技术领域特点,分别制定了相应的技术就绪度评价模型和细则,大大提高了管理效率。2009年,北京宇航系统工程研究所王刚等提出了基于成熟度评定的技术创新体系[12]。同年,我国颁布了国家标准《科学技术研究项目评价通则》将科技项目划分为基础研究项目、应用研究项目和开发研究项目,并分别给出了三类项目的技术就绪水平量表[13]。2012年,总装备部发布国家军用标准《装备技术成熟度等级划分及定义》(GJB 7688—2012)、《装备技术成熟度评价程序》(GJB 7689—2012),明确了装备技术成熟度等级评价方法和流程。李达等在国家科技重大专项中期评估中应用了技术就绪度评价方法,评价项目关键技术就绪度情况,能够及时掌握技术攻关进度、识别技术差距、辅助管理决策,提高管理精细化程度[14]。然而,对于技术创新服务平台建设项目,目前仍未有技术就绪度评价方法体系。
1.3 在技术创新服务平台建设项目中引入技术就绪度评价的意义
当前常见的技术创新服务平台评价方法主要侧重于平台投入、服务能力和产出效益的评价,缺乏对平台建设过程和建设内容的系统评估,对于产出效益较低的平台项目,难以识别其中存在的内在问题。在评价过程中主要采用专家打分的方式,评价结果受专家认知的主观影响较大。而技术创新服务平台建设项目存在投入大、创新要素多、风险高等特点。平台建设评价需要更全面、客观的评价方法,为平台建设过程管理提供新的更科学的手段。
通过构建技术创新服务平台技术就绪度评价指标体系,提出技术创新服务平台技术就绪度评价方法,一是能够全面评估平台技术体系、能力体系及管理体系等创新要素建设情况,识别平台建设薄弱环节,控制平台建设风险;二是建立量化分级评价准则,直观反映平台建设进展;三是为财政资金支持的平台建设项目立项、验收等过程管理提供管理指标,为平台项目过程管理提供决策依据;四是用于平台建设主体对平台项目做全方位自检自查,为培育高质量创新平台提供参考。
2 技术创新服务平台技术就绪度等级定义
技术创新服务平台主要是在政府、科研机构、投融资机构等的协同支持下,通过“管理创新、技术创新”的双引擎驱动,致力于产业的关键技术研发与应用活动。平台功能主要包括汇聚创新资源,构筑实体性研发平台,组建高水平技术团队,承担产业关键技术研发、行业标准制修订,提供专业化技术创新服务,组织开展国内外交流与合作等 [15]。
技术创新服务平台建设项目与一般科技研发项目不同,不仅包含平台技术体系研发、专业设备研发、场地建設,还涉及平台运营体系建设、专业人员培训和运营管理等。国内关于创新平台成熟度评价方面的研究较少,鲁凤丽等研究了区域创新平台成熟度评价方法[16],许诚等提出了某自主防空作战平台技术成熟度评估模型[17]。这些评价多侧重平台建成后的绩效评价,对于平台建设中的成熟过程关注较少。
技术创新服务平台遵循“规划分析—能力建设—测试验证—运行服务”的成熟路径,根据技术就绪度等级划分原则,提出制定技术创新服务平台的技术就绪度1~9级等级定义,见表2。技术就绪度1~3级主要侧重平台建设的理论分析,确定平台的建设方案并完成平台要素的可行性论证;4~6级主要侧重平台的能力建设,包括平台的技术体系、场地、设备、人员以及运营管理体系等逐步建设齐全;7~9级主要开展平台的测试运行,验证并完善平台功能,直至最终成熟运行。
3 评价模型
3.1 评价指标体系
近年来,关于技术创新服务平台的评价指标体系,除了政府部门印发的相关文件外,国内外相关学者也进行了许多探索研究,赵艳华和杨永祺从重大前沿技术突破、科技成果转化、共享服务和产业孵化4个维度建立了重大科技创新平台发展成熟度评价指标体系[18];李佳等从资源集成、共享服务、运行管理与合作支持4个方面构建了区域科技资源共享平台评价指标体系[19];熊国强等人从科研课题、研究成果、人才培养、开放交流、实验室建设与管理等方面建立了重点实验室综合评价指标体系[20];陈丽娜等从资源整合、运行管理及服务成效3个方面对科技基础条件平台进行了评价[21];朱海伦、储节旺针对高校国家重点实验室研发平台提出了科研经费、科研设备、信息知识、团队领导者4个方面的驱动因素模型[22]。
通过总结技术创新服务平台建设内容和评价要点,可以看出,平台建设内容可以归纳为3个创新要素,分别为技术体系、能力体系及管理体系,平台建设内容一般围绕这3个要素展开。围绕3个建设内容要素,将平台的技术就绪度评价总结为关键技术及设备研发、资源能力建设及运营管理3个一级指标,并根据各维度特点设置了8个二级评价指标,见表3。
3.1.1 关键技术及设备研发
对于技术创新服务平台,通常需要有技术和设备作为支撑,部分技术和设备是通过引进购买来获得,部分自主研发,其中需要自主研发的关键技术和设备,其研发进度、技术性能、制造水平等对平台的开发和运行具有重要影响,是决定平台技术水平及技术能力的关键因素,也是影响平台技术就绪度的重要指标。关键技术和设备研发维度主要考察平台的关键技术和设备规划、开发、验证和运行等情况,根据技术及设备研发规律,可以从技术状态和制造状态2个方面来评价。
1)技术状态。平台所需关键技术及设备开发和验证情况,主要从技术功能性能指标实现、设备集成、验证环境等方面来衡量平台的技术就绪水平。
2)制造状态。从技术的可制造性、经济可行性角度来度量项目技术成熟程度,包括对生产制造工艺、原料、生产成本、人员、管理等方面的衡量,包含了技术和工业基础、设计、材料、工艺能力与控制、质量管理、生产人员素质、生产制造管理等方面。
3.1.2 资源能力建设
技术创新服务平台必不可少需要场地、设备、人员等资源和能力支撑,资源能力建设作为技术创新平台技术就绪度评价的一级指标,包括场地建设、软硬件设施和人才队伍三个二级指标。
1)场地建设。平台所需场地条件的建立,包括场地面积、环境条件、消防安全等的规划、批复、验收等建设过程。
2)软硬件设施。平台所需软硬件设备设施资源的建立,包括设备选型、采购、装调、测试、维护以及设备资源管理与共享等。
3)人才队伍。平台所需人才队伍建设情况,包括人才引进、培养机制的完备性,人才队伍结构
合理性、职责分工明确性、岗位能力匹配合理性等。
3.1.3 运营管理
成熟的科技型创新服务平台还需要有一套完善的运营管理体系,因此设立“运营管理”维度对平台建设运营的就绪情况进行考量,一般从服务体系、创新机制和组织管理3个方面来评价。
1)服务体系。平台的服务体系主要包括平台服务项目、服务流程及运营推广等内容。
2)组织管理。平台的组织管理情况包括组织架构设置、机构职责明确、实验室及人员管理制度建设情况等。
3)创新机制。创新机制包括产学研协同创新体系、成果转化机制、国内外学术交流与合作机制情况等。
3.2 评价细则
3.2.1 关键技术及设备研发
根据技术创新服务平台技术就绪度等级定义,提出“关键技术及设备研发”维度技术就绪度评价要求,见表4。与平台建设进程对应,在低成熟水平时(技术就绪度1`3级),主要侧重技术理论分析,确定技术研发方案,完成技术可行性论证;在中成熟水平时(技术就绪度4~6级),进行技术载体的开发,建立平台所需技术体系、软硬件系统,并完成测试验证;在高成熟水平时(技术就绪度7~9级),主要开展技术及设备的测试运行,验证技术功能性能,最终投入实际使用并稳定运行。
3.2.2 资源能力建设
资源能力建设作为技术创新服务平台建设的重要维度,对应平台技术就绪度1~9的要求,见表5。在低成熟水平时(技术就绪度1~3级),主要开展平台资源能力需求和可行性分析,确定资源能力建设方案;在中成熟水平时(技术就绪度4~6级),进行平台所需场地、设备、人员等资源和能力建设,实现平台所需功能;在高成熟水平时(技术就绪度7~9级),完成场地、能力验收和资质认证,投入实际使用并稳定运行。
3.2.3 运营管理
技术创新服务平台的运营管理对应平台技术就绪度1~9的要求,见表6。在低成熟水平时(技术就绪度1~3级),主要平台运营管理方案研究,明确初步的服务模式和运营机制;在中成熟水平時(技术就绪度4~6级),搭建运营管理体系,初步制定平台管理机制和运营管理规范;在高成熟水平时(技术就绪度7~9级),完成运营管理制度规范制定发布,在对外服务中得到推广应用及持续改进。
3.3 评价流程
技术就绪度评价包括3个流程,一是评价指标及细则的确定;二是对每项指标开展技术就绪度评价;三是平台综合技术就绪度评价。
3.3.1 评价指标及细则确定
由于各类技术创新平台的特殊性,首先需判断评价指标和细则的适用性,对于不适用的指标和细则,可适当进行剪裁。
3.3.2 指标技术就绪度评价
对每项指标的技术就绪度评价,通过采集评价信息及相关证明材料,对照每项指标评价细则,从低等级到高等级逐条评价细则的符合情况,若符合该等级细则条款,则增加一个等级继续评价,直至细则不满足为止。细则满足的最高等级为该指标的当前技术就绪度评价等级,并形成每个维度的评价意见,一般应包括当前指标的技术状态描述,达到所评定等级的理由,以及距离更高等级存在的差距。
3.3.3 综合技术就绪度评价
对于平台综合技术就绪度评价,根据最短板原理,平台的综合技术就绪度等级应为各维度的最低评价等级。
4 案例分析
以广州市“中国制造2025”产业发展资金项目支持的“面向高端仪器装备可靠性的工业设计公共服务平台”为例,开展技术创新服务平台技术就绪度评价方法应用。
面向高端仪器装备可靠性的工业设计公共服务平台是面向广州市乃至全国高端仪器装备产品研制全寿命周期中的设计、制造、管理等环节。研究高端仪器装备整机与核心零部件质量可靠性关键技术,形成覆盖产品关键部件及整机质量的可靠性技术支持、数据共享、试验检测、强化提升、考核评价、技术咨询和人才培训的可靠性工业设计公共技术服务平台,为促进国产高端仪器装备可靠性水平的整体提升,推动高端仪器装备行业及
其他制造业实现自主创新发展和转型升级提供支撑。
平台建设围绕高端仪器装备可靠性需求,开展高端仪器装备可靠性共性技术研究,形成高端仪器装备质量可靠性保障技术体系,并开展高端仪器装备可靠性服务能力建设,搭建可靠性设计分析与试验检测平台,进行高端仪器装备可靠性服务平台的应用推广。
按照技术创新服务平台技术就绪度评价模型,由技术就绪度评价专家组从关键技术及设备研发、资源能力建设及运营管理三个维度对该平台开展技术就绪度评价,评价结果见表7。
评价发现,“面向高端仪器装备可靠性的工业设计公共服务平台”在资源能力建设、创新机制和组织管理等方面都达到8级及以上,但由于部分关键技术成熟度不高,平台服务体系尚不完善,根据最短板原理,平台综合技术就绪度等级为各维度的最低评价等级,即为7级。可以看出,平台目前的主要问题是“加速试验与快速评价技术”尚未实现对外应用,尚未建立新技术推广方案、客户反馈机制等。针对这些问题,后续应加快新技术应用推广,建立新技术推广方案、客户反馈机制等,完善平台推广和运营维护机制,
提升平台运营管理水平,从而提高平台建设的就绪水平。
5 结语
针对技术创新服务平台传统评价方法不够全面、主观性较强等问题,通过研究技术创新服务平台创新要素以及成熟路径,基于技术就绪度等级定义划分原则,建立了技术创新服务平台技术就绪度评价指标体系和评价细则,研究形成了具有可操作性的平台建设项目技术就绪度评价方法及实施流程。实践表明,该方法能够全面评价平台技术体系、能力体系及管理体系等创新要素的成熟程度,全面掌握平台建设进展,并及时发现平台建设过程中存在的问题,解决了仅从设备投入及经济效益考核创新平台建设项目的局限性问题。技术创新服务平台技术就绪度评价方法可为财政资金支持的平台建设项目立项、验收等管理过程提供评价指标,也可为项目计划调整、管理决策提供依据,更有利于平台建设主体对平台项目做全方位自检自查,为培育高质量创新平台提供管理工具。
参考文献:
[1] 李增辉,汪秀婷,牟仁艳.面向我国重点产业的技术创新服务平台构建研究[J].科学学与科学技术管理,2012,33(03):33-38.
[2]魏建良,梦非,纪浩,等.面向分类的科技创新服务平台绩效实证研究——以浙江省为例[J].科技进步与对策,2018,35(13):49-56.
[3]MANKINS J C.Technology readiness assessments:a retrospective[J].Acta Astronautica,2009,65(09):1216-1223.
[4]OLECHOWSKI A,EPPINGER S D,JOGLEKAR N.Technology readiness levels at 40:a study of state-of-the-art use,challenges,and opportunities[J].Social Science Electronic Publishing,2015.
[5]MANKINS J C.Technology readiness levels:a white paper[R].NASA Office of Space Access and Technology,1995:1-12.
[6]WU C,WANG B,ZHANG C,et al.Bioprinting:an assessment based on manufacturing readiness levels[J].Critical Reviews in Biotechnology,2016:333-354.
[7]SIVLN E,PIRINEN R.Utilization of the integration readiness level in the context of industrial system projects[A].International Conference on Interactive Collaborative Learning,2014 International Conference on Interactive Collaborative Learning(ICL),Dubai:Institute of Electrical and Electronics Engineers(IEEE),2014:701-710.
[8]YUNIANSTANTO,SUTOPO,W.Concept of Economic Readiness Levels Assessment[J].AIP Conference Proceedings,2017,1902(01):1-11.
[9]周平,欧阳昭连,池慧.TRL及其在我国医疗器械技术成熟度评价中的应用探讨[J].医学信息学杂志,2015,36(05):52-56.
[10]周小林,武思宏,李骞,等.技术就绪度方法在国家科技计划项目评估中的应用[J].科技管理研究,2017,37(3):158-162.
[11]莫冰,杨纾彦,李骞,等.技术就绪度评价方法在广东省重大科技专项绩效评估中的应用研究[J].科技管理研究,2020,40(01):47-52.
[12]王刚,刘靖东.构建基于成熟度评定的技术创新体系[J].航天工业管理,2009(08):12-15.
[13]中国标准化研究所、中国电子科技集团公司、北京加集巨龙管理咨询有限公司.GB/T 22900—2009科學技术研究项目评价通则[S].北京:中国标准出版社,2009.
[14]李达,王崑声,马宽.技术成熟度在国家科技重大专项评估中的应用[J].科技管理研究,2016,36(01):153-157.
[15]易高峰,邹晓东.面向战略性新兴产业的产学研用协同创新平台研究[J].高等工程教育研究,2015(02):39-43.
[16]鲁凤丽,赵素巧,王媛媛.区域创新平台成熟度评价[J].商情,2012(30):96-96.
[17]许诚,孙尔蔓.基于改进AHP的某自主防空作战平台技术成熟度评估[J].飞行力学,2016(1):85-89.
[18]赵艳华,杨永祺.重大科技创新平台发展成熟度评价——以天津滨海新区为例[J].科技管理研究,2019,39(19):65-72.
[19]李佳,王宏起,李玥,等.基于组合赋权与规则的区域科技资源共享平台综合绩效评价研究——以黑龙江省科技创新创业共享服务平台为例[J].情报杂志,2018,37(08):173-180+132.
[20]熊国强,张林,曾昭智.陕西省重点实验室综合评价方法及其应用[J].技术与创新管理,2006(01):59-62.
[21]陈丽娜,司海平,方沩,等.国家科技基础条件平台服务绩效评价研究[J].科技管理研究,2016,36(18):262-266.
[22]朱海伦,储节旺.高校国家重点实验室研发平台管理研究——以中国科技大学国家同步辐射实验室为例[J].技术与创新管理,2012(05):498-502.
(责任编辑:王 强)
收稿日期:2021-09-07
作者简介:莫冰(1992—),女,湖南桃江人,工程师,主要从事科技管理与评价、可靠性工程的研究工作。