日本医学科技项目评价体系分析及启示*
2021-07-05单连慧安新颖
钟 华 单连慧 安新颖
(中国医学科学院医学信息研究所,北京100020)
在全球竞争日趋激烈的背景下,科技创新呈现加速发展态势,成为提升综合国力的重要手段。长期以来,各国纷纷将科学技术置于优先发展的战略地位,着眼大局,全面部署。日本是政府推动科研评价的典范。从20世纪50年代开始,日本政府和企业就把评价作为管理和推进研发活动的手段,逐步建立起系统的技术评估体系及其支持系统。日本针对不同项目类型评价重点也各有侧重[1,2],例如对于国家级大型的重要科技计划、重大技术研发项目评价会在项目实施不同阶段开展分级分类评价,对于小规模和基础性研究项目的评价更重视对研究人员标志性成果及其影响的评价[3],鼓励潜心科研的创新环境。日本政府重视第三方独立评价机构的地位,利用评价结果来引导研究经费的合理分配,以此来体现评价质量及效益回报[4]。此外,日本按照每五年一期的《科学技术基本计划》实施创新立国战略[5],通过持续修订研究计划、改进研发项目安排及调整研究机构管理措施等手段,实施跟踪调查保证政府研究经费的择优分配和有效使用。本文以日本医学研究与开发署(Japan Agency for Medical Research and Development,AMED)为对象,对日本医学科技项目管理实践和评价活动进行解析,对项目评价方法进行总结,进而对我国开展医学项目评价提出参考建议。
1 日本科技项目管理体制
日本科学技术创新政策是在日本内阁总理大臣领导之下,以“综合科学技术创新会议(Council for Science,Technology and Innovation,CSTI)”为中枢,文部科学省牵头各个省厅负责具体政策的实施,及制定日本科技基本计划[6]。在国家评价政策层面,日本政府就机构评估行为制定相应指南和法令。1997年8月,日本科学技术会议审议通过《国家研究开发评价实施办法大纲指针》[7],提出了建立开放型研究评价体制的基本框架,并历次修订,明确规定评估范围、评估机构、评估者责任、评估方法、评估程序等,表明日本政府一直致力于构建开放型的科研评价体制,及建立能够充分发挥研究人员创造能力的开放、灵活的竞争性科研环境。
2 AMED主要职能和业务活动
2.1 主要职能
AMED成立于2015年,是日本内阁下设的独立单位,是日本政府设立的最高级别医学研发政策制定机构。根据日本政府医疗保健和药物相关战略,AMED目的是支持日本大学和研究机构开展研究,改善研发环境,在医学领域推进从基础到应用研发的无缝衔接,并将成果投入实际使用。AMED整合此前分散在日本文部科学省、厚生劳动省和经济产业省中的医学研究资金。为了最大程度的扩大研究范围,AMED从第一个中长期计划(从2015财年到2019财年)开始就制定并启动“医学领域研究与发展推进”计划,对五个跨领域项目(药物开发,医疗设备开发,转化和临床研究,再生医学和基因组医学)和四个特定疾病领域项目(癌症,精神和神经病,新兴/再发传染病和疑难罕见疾病)进行资助[8]。
2.2 业务活动
AMED以国家“医学领域研究与发展推进计划”(图1)为基础,围绕六个综合项目,通过从基础研究到实际应用的持续研发,旨在尽快将医学研究结果提供给患者使用。其主要业务活动包括:
图1 AMED主要职责和功能
1)医药品项目。利用疾病相关技术和知识,支持从研发目标到临床应用的医药品全链条研发活动。
2)医疗器械和保健项目。综合运用AI技术、IOT技术、测量技术、机器人等新技术,支持有助于老年人改善生活质量(Quality of Life,QOL)的医疗器械及保健品研发活动。
3)再生/细胞疗法/基因疗法项目。支持再生和细胞医学的基础研究,支持使用疾病特异性iPS细胞研究及必要的基础设施建设,支持基因疗法的研究和开发。
4)基因组数据基础设施项目。推动基因组医学发展,支持利用基因组技术开展预防、诊断和治疗的研发活动,并促进AMED项目研究结果的数据共享。
5)疾病基础研究计划。支持分析生命现象的基础性研发活动,例如脑功能、免疫力和衰老、各种疾病的发病机理研究。
6)科研基础设施项目。推动在临床试验基础上进行临床研究,推进临床试验基础设施改善。
3 AMED项目评价体系
3.1 项目评价人员管理
AMED评价委员会由项目总监(Program Directors,PD),项目主管 (Program Supervisors,PS),项目职员(Program Officers,PO)构成(图2),三者均是在医学研究领域具有丰富学识,或对技术研发和业务运营有深刻见解的专业人员,其中大部分有在大学、公共研究机构、公司、基金资助机构进行研发的工作经历。AMED评价委员会在医药品项目、医疗器械与保健项目等六大综合项目领域分别设置六名PD,总体负责重点领域项目运行,推进领域间合作,提出需要加速推进领域布局或新增重点项目的建议;每个综合大项目下设10~20余个研究事业部,每个研究事业部由一名PS在PD领导下负责该研究事业部工作;每个事业部有2~10名PO协助PS处理事业部中各项目日常运营事务。PD、PS、PO三者共同合作,负责学科领域项目评价工作,并推动医学研发成果向临床转化。
图2 AMED重点领域项目评价人员管理体制
3.2 基于问题的项目评价体系
3.2.1 项目评价管理体制
AMED围绕疾病研究已经建立了六大类“综合项目”(图3),并明确了“预防/诊断/治疗/预后/生活质量”的技术实施方案,其研发重点在于延长日本人口预期健康寿命。针对六大类项目绩效评价工作由AMED内部外部专家组成的项目评价委员会负责实施。项目评价包括根据公开征集的科研项目提案开展的事前评价、为跟踪科研项目进度开展的中期评价和事后评价。AMED为充分发挥其在医学研究领域的作用,不断完善科研项目评价体系和管理机制。从2017年开始,AMED原则上对每个项目采用10阶段通用评价方法开展评估工作。
图3 AMED综合项目管理体制
3.2.2 项目评价过程
AMED项目评价由专家评价委员会负责实施,该委员会由多个领域多名专家作为评价委员参与,并尽量丰富评价委员在年龄、性别、学科领域等方面的多样性。2018年后,为了进一步提高基于问题的项目评价质量,AMED引入了国际审查员制度。目前评价委员会由日本国内专家和来自海外的国际审查员共同组成。国际审查员一般是国际认可的科学家,具有专业领域的国际洞察力,可以在全球背景下提出资助建议并提供独特见解。国际审查员对提交AMED项目申报书的目的、科学意义以及计划可行性进行评价,对申报书的科学性、优缺点提出意见和建议。评审过程包括四个步骤(图4)。
图4 AMED项目评审过程
3.2.3 通用量表评价法
AMED为了推进从医疗领域科学研究从基础到应用研发及转化,需要从公开征集的研发项目提案中,选出具有科学价值和可行性的项目予以资助,并评价资助项目进展情况。同时,AMED持续改进评价方法和资助相关的利益冲突(Conflict Of Interest,COI)管理方法。每个项目申报书都经由AMED项目评价委员会进行评估,并用10级评估量表进行评分(表1)。
表1 AMED项目10级评估量表
科研项目事前评价。项目事前评价是从公开征集的研发提案中选择AMED资助项目的重要过程。评价委员会对项目提案书进行书面审查,并根据需要进行答辩。事前评价综合考虑因素包括:1)项目目的和意义;2)科学、技术方面的意义及优越性;3)研发计划可行性;4)组织管理体制;5)所需经费;6)综合因素。为了提供跨项目的通用测算标准,AMED在项目综合评价中使用10级评估标准量表。在这个量表中,10分是卓越(Exceptional),意味着提名资助的项目达到世界领先水平,对日本医学研究和发展具有重要战略意义。1分是极端差(Extremely Poor)表示所申报的项目没有任何优点,且存在众多不足。6分以上“通过”,表示可以资助该项目,5分以下“不通过”,表示不应资助该项目。AMED利用量表工具既简化了项目评审过程,又为评估和资助高度多样化的项目提供了标准的量尺。各委员综合评价分数的均值是评价委员会总体评价分数。
科研项目中期评价。项目中期评价目的是根据研究进展情况,调整后期资源分配方案和研发计划等。原则上研究时间在5年以上的项目,每3年左右进行一次中期评估。AMED在适度修改评估量表中每个等级的描述后,也将10级评价量表用于已资助项目的中期评价。评价委员根据研究计划和目标进行打分,10分表明该项研究达到世界级水平,有望对日本的医疗事业发展做出实质性贡献,而1分则表明该项目明显没有按照计划进行并且完全没有获得预期结果。6分及以上为“按照计划开展研究(含根据需要进行修改)”,5分及以下为“没有按照计划进行”。
科研项目事后评价。项目事后评价原则上是在研究结束前的为明确研究实施状况、成果等情况而实施评估。事后评价也采用10级评分法。各委员评价分数为6分及以上为“按照计划实施并取得进展(取得预期成果)”,5分及以下为“没有按照计划进行(没有取得预期成果)”。
3.2.4 AMEDfind信息支持系统
为推进医疗领域从基础到产业化的研究开发,AMED建设 AMEDfind数据库 (图5)[9]。AMEDfind数据库包含2015年至今在AMED支持下进行的医学研发项目和研究成果信息,数据库依托研究人员和机构,将研究人员、论文、专利相互关联,并与全球科研数据进行组合分析。此外,AMEDfind根据研究项目的不同研究特征、研发阶段、审批类型、治疗疾病进行“标签”化分类标注,从而更便捷地辅助研发项目和研究成果的管理。
图5 AMEDfind数据库
4 AMED项目评价内容
本文以项目事后评价为代表,总结AMED项目评价内容。事后评价是在科研项目已经完成并运行一段时间后,对项目的目的、执行过程、效益、作用和影响进行系统的、客观的分析和总结的评价活动。AMED项目事后评价主要基于各项目预先提交的“项目完成报告”以及任务负责人(和共同研究人员)的陈述和问答。在评价委员会主席的主持下,评价结果由项目秘书处根据每个委员的评价表和事后评价会议上的讨论汇总形成。秘书处将评价结果通知项目负责人,项目负责人可以对评价结果提出意见。评价结果在考虑知识产权和商业策略的前提下在AMED网站上发布。根据各项目方案,AMED的项目事后评价有基本方案(ACT-M)和应用方案(ACT-MS)两种类型。
4.1 基本方案(ACT-M)
基本方案(ACT-M)的最终目的是通过大学和企业间的合作促进研究成果转化应用,以实现创新。评价要点包括判断研发成果能否满足当前的医疗、社会及经济需求,与其他国内外研究开发相比具有的优势,能否有助于提高日本医疗技术水平和产业竞争力。基本方案(ACT-M)从四个方面开展项目评价工作:“目标完成情况”“临床研究/临床试验工作”“企业贡献和产业化情况”“成果对提高市场竞争力和促进技术创新的作用”。
1)目标完成情况:是否完成项目目标并产出预期成果;是否实现各阶段的节点目标;即使无法实现目标,是否已经围绕目标开展相关研究。
2)临床研究/临床试验工作:是否提高诊疗技术水平或临床效果;是否有明确的临床医学监管计划和措施;如需要临床试验,实施的进度和效果。
3)企业贡献和产业化状况:合作中企业方是否提供适当的资源并取得研发成果;是否对研发成果中的最终产品或技术进行明确描述;产品的市场规模,生产方法,销售渠道等商业计划是否合适。
4)成果对提高市场竞争力和促进技术创新的作用:是否可以满足患者需求,及对医疗、社会经济发展的作用;是否能有效促进医疗科技创新。
4.2 应用方案(ACT-MS)
应用方案(ACT-MS)是将大学等研究机构的“早期阶段技术方案”战略性地交付给以医疗应用为目标的企业。判断研发成果是否能应对目前的医疗需求、社会及经济需求,与其他国内外研究相比具有的优势,是否有助于提高日本医疗技术水平和产业竞争力。应用方案(ACT-MS)对“目标完成情况”“企业出资和交付情况”“成果对提高市场竞争力和促进技术创新的作用”三个方面进行评价,并根据结果进行综合评价。
1)目标完成情况:是否完成项目目标并产出预期成果;是否实现各阶段的节点目标;即使无法实现目标,是否已经围绕目标开展相关研究;是否形成专利等知识产权。
2)企业出资和交付情况:是否有明确的商业模式,并在此基础上为学术研究提供建议和支持;转化形式是企业总体接管还是开展联合研发;企业是否有明确的研发计划。
3)成果对提高市场竞争力和促进技术创新的作用:是否可以满足患者需求,及对医疗、社会经济发展的作用;是否在促进医疗科技创新方面发挥作用。
事后评价是AMED评估资助项目是否完成预期目标的重要手段,是衡量项目成果临床研究价值及其在日本国内外学术界所处地位的关键性工具。部分事后评估结果将在考虑知识产权和商业策略的前提下在AMED网站上发布,以扩大资助项目实施成效和影响。此外,事后评价结果对AMED后续的临床研究布局和选择优先资助项目都具有重要参考意义。
5 结论和对我国的启示
日本近年仍保持科技方面高投入高产出的状况[10],2018年研发费用总额为17.9万亿日元,仅次于美国和中国,位居全球第二。其中从日本产业界“基础研究”的支出来看,制药业比重最大,约2560亿日元,在医学科技研究方面也取得大量成果并形成良好转化效果[11]。AMED建立覆盖六大类型的综合项目资助体系,设立专业管理机构负责各科技项目的组织管理和评价工作,并设置详细的评价流程和方案,从而为日本医学科研布局和优先领域设置提供较好的支撑服务。当前,医学已经成为推动和引领科技发展的主流学科,医学科技项目的实施关系到国家科技发展全局和长远发展,因此构建科学精确的科研项目管理和评价体系,发挥面向基础前沿、疾病防治、药械研发等不同类型科技成果评价的价值导向、诊断和衡量作用,对推动医学科技发展有着重要意义。AMED的实践和经验为我国医学科研项目的管理和评价提供一定的借鉴和启示。
1)构建重点突出、布局优化的医学领域项目资助体系
在全球新冠疫情蔓延情况下,面向人民生命健康开展医学前沿和基础研究已成为科技发展的主要方向。AMED启动“医学领域研究与发展推进”计划,对五个交叉领域和四个特定疾病领域项目进行资助,加速日本医学基础研究转化水平。对我国而言,医学既涉及疾病健康等基本理论问题,也面临众多亟待解决的难题。各类医学科研项目规划应根据国家战略需求进行布局,既要保持优势发展领域,也要在具有战略意义和潜在引领的领域进行优先布局,因此在医学科研项目管理中应统筹科技资源配置,构建具有国际视野、符合大科学时代科研规律的多层次协同创新的医学研究网络,并在国家层面出台医学科技领域科技评价指导意见,逐步完善医学科研项目的运行机制和遴选机制,在医学基础前沿、疾病防治、药械研发、技术支撑等重点领域予以研究保障,建立覆盖全面、重点突出、立体综合的医学研究项目资助体系。
2)完善高度专业化、科学化的项目评价管理体制
持续完善科技项目评价管理体制是国家科技治理体系的重要措施之一。AMED设立由PD、PS、PO构成评价委员会负责评价实施,并纳入日本国内专家和来自海外的国际审查员共同参与评价过程,为项目具有国际视野并保持全球领先水平提供制度保障。在我国重大医学项目评估过程中,同行评议制度在发挥着关键作用,但仍然缺乏国际同行的普遍参与,可建立持续邀请海外专家参与的评审机制,提升评审工作的科学性、国际水平和开放程度。同时,应设立决策、执行、监督相互制约又相互协调的项目管理体系,和贯通科研全过程的质量导向的评价体系,既要减少对正常科研活动的影响,又要实现统一、高效、透明、规范的科技项目监督和评价管理。
3)设计科学高效、分层分类的项目评价工具和方法
科学的项目评价工具和方法在项目管理中发挥关键作用。各国立足国情和科学发展现状不断在评价方法和工具方面进行优化和完善。AMED项目事后评价对基本方案(ACT-M)和应用方案(ACT-MS)进行分类评价,并利用10级通用量表为评估和资助的高度多样化的项目提供了标准的量尺。英国科研卓越框架2021(REF2021)[12]、欧盟“地平线 2020(Horizon 2020)”[13]、澳大利亚卓越研究 (Excellence in Research for Australia,ERA)[14]评估等都在评价方法和工具上不断探索改进。在我国“破五唯”的评价改革背景下,同行评价与定量分析共同成为判断学术质量高低的重要依据,可在完善基于专家信用和能力的学术同行专业评价基础上,通过构建科学高效的项目评价工具和方法,对项目产出和成果的质量、贡献、影响进行有效识别和揭示,从而更好为医学发展和学科建设提供支持和服务。