智能医学算法决策的伦理困境及风险规制*

张 荣 徐 飞

众所周知，算法、数据和算力是人工智能时代的核心驱动力和生产力[1]。随着硬件性能的提升以及海量数据集的建立，深度学习模型已经在智能医学实践中获得一系列创新成果。在某些领域，医生的操作权、决策权和选择权正在逐步被智能医学工具所取代。相比于CT、MRI等新技术在医疗领域的应用，以智能算法为主导的智能医学更显著地呈现出对医生主体地位替代的新特征。这些新特征在促进医疗领域发展的同时，也在与医疗系统固有属性的融合过程中产生不同程度的冲突，造成一定的伦理风险。剖析智能算法在智能医学应用中的新特征，才有可能给出适合智能医学的伦理规制建议[2]。

智能医学以黑箱原理和复杂性科学的方法从医疗数据中挖掘最本质的信息并加以解释，从而指导医护人员进行后续的相关操作。智能医学算法能够自动识别不完善或不准确的信息，为医生筛选出有用的信息[3]。智能算法是挖掘医学数据潜在本质信息的重要工具，也是提升诊疗精度的重要途径，对诊疗行为和决策具有不可替代的作用。智能医学算法可以根据模型和数据集来做决策支持，从而实现对疾病的诊断，并主动给出治疗方案。然而，由于模型本身具有自主学习的功能，可主动调整操作参数和决策规则，因此造成了智能医学算法决策方式与结果的不确定性，这就很难明确某个特定智能诊疗决策是否合理，其结果是否存在系统故障或算法偏见等。随着算法复杂度增加，算法间的输出彼此交互与融合才能获得决策[4]。由此产生的算法设计和操作与我们对其伦理含义的理解形成了差距，这可能会对医护、患者以及整个医疗系统造成严重影响。因此，算法模型测试通常需要一个长期的、多用户协同的过程。即便有充足的测试用例，也很难对算法的决策结果给出全面评估。一些算法只有在特定的条件下，决策错误或潜在问题才会显现出来。由于风险的潜在性、模糊性以及不可表征性，在实际应用过程中，很难界定算法潜在的伦理影响与风险，现有的伦理规则与法律法规也不能完全厘清此类问题的风险特征与伦理观念。与此同时，智能医学应用过程中对算法的依赖性还大大削弱了医生的主体地位并由此形成新的潜在风险[5]。

目前，学术界对智能算法决策风险的分析主要集中在讨论决策的有效性、透明性、偏见性、安全性等通用领域。对医疗场景下智能医学的特殊性所引起的新特征、新形式、新风险和新伦理的探讨相对不足。本文主要针对由算法决策引起的伦理问题进行分析，通过对算法引发相关伦理问题的梳理，尝试讨论智能医学模型在诊疗过程中出现的特征状况，结合诊疗决策的主体性分析，探索提出匹配智能医学的伦理规则和风险规制策略。

1 智能医学算法决策问题的由来

众所周知，算法在计算机科学、数学和日常生活中都有着宽泛的定义。任何程序或决策过程，无论其定义多么模糊，都可以被称为是一种“算法”[6]。医院推出智能全程导诊系统，其采用的最佳就诊流程就是一种相对简单的“算法”；医院前台为咨询的患者推荐科室、医生的策略可称为“算法”；患者在挂号时，会根据自己掌握的医生信息以及财务情况进行决策，这也可以称之为“算法”。这些算法可能存在正确或错误的结果，但都具备固有的本质属性。“算法”并不仅仅指一种数学结构，而是指在特定程序、软件或信息系统中，一个或多个规则的应用和交互。

从数学上看，“算法”是指对求解过程准确而完整的描述，国内外经典的算法有很多，如欧几里德算法、招差术、割圆术、垛积术、秦九韶算法等[7]。随着计算机技术发展以及编程语言的普及，算法以指令的形态描述了求解过程的策略机制。一个完整的算法应该具有有穷性(finiteness)、确切性(definiteness)、输入项(input)、输出项(output)与可行性(effectiveness)。作为一个数据结构，算法能够在给定约束下实现确切的目的。特定任务上表现良好的算法，其研究者必须设计和实现特定领域的功能[8]。在医学信号处理领域，传统算法包括水平集、统计形状模型、图割、小波、泛函等算法，用于描述纹理特征、形状特征、梯度方向特征、小波分解系数特征、局部特征描述和视觉词袋等低层次视觉问题[9]。这类算法都是人为设计，有完备的概率、泛函等数理统计支撑，具有可解释性与自洽性。由于人工设计特征的可区分能力有限，泛化性比较差，且选择有效特征比较难[10]。为此，人们开始研究特征学习的方法，让机器自我学习医学数据内部的本质结构特征，以解决人工设计特征普适性不强的问题，这已经成为智能医学研究的热点和趋势，极大地提高了信号处理的精度与挖掘价值。传统的处理算法按照规定的指令去处理输入数据，其结果具有确定性与可预测性。智能算法则是在数据驱动下通过自我学习的不断迭代来获取最优结果，其运作机制和数学模型具有 “算法黑箱”的特征。智能算法内部运作机制的不透明，使得人们对这种工作方式的结果深感担忧[11]。

乐观的一面是，医学领域常用的智能算法正在超越医生的决策能力和诊断精度。智能算法以高速计算机的算力加持，通过高维数据运算进行不同维度的逻辑决策，依靠机器学习不断产生新的模式和知识，实现非线性问题的有效求解[12]。机器学习使得智能算法获得某种程度的自主性，这种自主性又在一定程度上呈现出不确定性，进而阻碍算法识别的精度，并导致种种伦理问题的出现。

2 智能医学算法的概念体系与技术特征

智能医学算法是智能算法在医疗领域的应用，覆盖医疗行业各个环节，如病灶识别、辅助诊断、手术规划等。随着智能信号处理发展的成熟，近年来已出现大量智能医学诊断算法。智能医学的早期尝试出现在20世纪70年代。1972年，世界上第一个临床决策支持系统AAPhelp由英国的利兹大学研制成功，该系统采用朴素贝叶斯算法对患者的症状进行分析，最终计算出剧烈腹痛的可能原因[13]。尽管AAPhelp需要几十小时的运行才能给出诊断结果，但其诊断精度已经超过资深医生。然而，受限于当时硬件的性能，智能医学并没有推广开来。得益于硬件性能的提升以及海量数据集的建立，以机器学习为代表的智能算法在医学领域得到飞速发展。深入揭示智能医学算法的概念体系和技术特征，才可能找到因应其伦理风险的有效路径。

牛津大学的布伦特·密妥斯泰特(Brent Mittelstadt)博士根据医疗领域中各客体间的关系和概念间的关系，提出了算法模型概念体系的思想[14]，他认为，在医疗领域，算法概念主要涉及以下三个层次：(1)将给定的输入数据转化为确切的结果输出，其结果的行为受控；(2)算法以半自主的形式运行，其结果受数据驱动，可能触发或激励某种事件/行为的发生；(3)算法的结构复杂且庞大，以自学习或自主的形式参与行为决策。算法概念体系的建立并不是用来解决由算法错误运行导致的伦理问题，而是体现以算法运行层次为基础的组织结构，可用于对伦理决策困境问题进行分析。算法概念体系的三种层次直接或间接地影响着医疗体系的运行，并具有如下特征：

(1) 数据驱动性：对于医疗大数据场景来说，智能算法按照模型的目标函数，对CT、超声、心电等结构化/非结构化数据进行分析，揭示隐藏的规律与特征，从而为疾病诊断提供决策支持，其本质是通过数据驱动找到疾病形成的规律并加以利用[15]。智能算法不依赖人类的理解与分析能力，而是通过算法的自我训练、自我学习过程调整参数与权重以最终实现既定目标，其处理过程大致分为数据标注、模型训练、应用三个阶段。以肾脏占位性病变诊断为例，智能诊断算法的处理逻辑是从多模态影像中提取相关的病理参数和特征信息加以定量分析，从而为医生诊断病情和拟定最佳的治疗方案提供有效的决策支持。智能算法的决策能力实际上取决于海量数据的支撑，海量的数据驱动才能挖掘出不同数据间的本质规律与认知范式。

(2) 结果不确定性：和人类智能类似，当智能算法使用统计推理模型或机器学习技术从数据中提出相应结论时，也难免可能出现不确定的结果或认知。当智能算法将过去和当前数据转化为可执行的洞察力时，实际上是一个极其困难的过程。智能算法通常部署在系统、设备等载体中，输入数据的质量，载体性能的不足，运行环境的变化等，都可能导致结果的不确定性。此时，医生的介入分析和判断依然十分重要。算法并不是万能的，其对数据的处理存在局限，只有采用相应的辅助措施才能进一步增强智能算法的可靠性。

(3) 过程难以理解性：当输入数据经智能算法处理后的预期输出被用作决策依据时，输出与输入之间的关系应该是可理解甚至是可重复的，这才符合科学的逻辑。由于智能算法不公开与不透明，智能算法经常被描述成一个难以解析的黑箱。在智能算法中，算法的模型会随着样本的增加而自动学习，其相应的权值参数也在自适应调整。智能算法内部机制的高度自动化，一方面使得其智能化水平得到提升，另一方面也造成智能算法过程的可理解性的降低。

(4) 不公平性：虽然智能算法将临床医生从繁琐枯燥的任务中解脱出来，且最大限度地减少了人为疲劳导致的错误与偏见，但并不意味着算法决策就更加公平。智能算法由数据驱动，训练数据来自手工标注。由于算法依赖于数据驱动，而数据集的建立并非中立，这就可能导致失之毫厘差之千里，甚至还可能产生“恶意”。典型的如医疗领域中疾病诊断系统根据患者财务状况推荐治疗方案，利用算法推荐、大数据画像、精准个性化推荐新技术等，智慧医疗和智慧商业一样已经不再公平。智能算法的难以理解性、不确定性以及不可靠性使得模型的决策结果模糊性太高，也难以公平驱动系统运行。

(5) 责任难可追溯性：现阶段的人工智能,本质上是一种模仿人类认知过程的算法，因而也不可避免地存在缺陷与漏洞。虽然目前智能算法在某些疾病的诊断精度上已超过医生，但面对智能算法用于疾病治疗辅助决策时造成的医疗事故，其问责机制的缺失往往导致决策错误的风险变得不可接受。目前，由于缺乏完备的法律法规，由智能算法漏检与错检导致的责任既不能简单地归咎于算法技术的开发者，更不能将其归咎到使用算法技术的医护工作者。因此，智能算法的决策行为所造成的损害目前还难以得到定位与追溯，也很难确定到底由谁来对造成的损害负责。

3 智能医学算法决策的伦理困境

得益于顶层设计的大力推动，人工智能新兴产业正得到大力发展[16]。随着大数据、深度学习、区块链等前沿技术的高速发展与创新应用,智慧医疗正呈现出全面性、功能根本性、地位关键性与态度开放性的时代特征。医疗领域智能算法的技术特征与人工智能新兴产业的时代特征相互叠加与融合，在给医疗行业带来推动作用的同时，也存在一系列不容忽视的伦理问题。

3.1 医生主体地位被削弱

智能医学应用过程中对算法的依赖性正大大削弱医生的主体地位进而形成潜在风险。智能医学在应用过程中能够根据采集的信息迅速做出决定，并触发相应操作，实现某种功能与应用。随着智能时代的到来，越来越多的智能算法开始被引入医疗领域辅助或代替医生做出诊疗的决策。从导诊、医生推荐系统到疾病评估、体检分析，甚至手术、放疗等外科领域都可见到依靠算法进行决策与管理的影子。随着算法主体性的增强，医生的主体性自然相应的减弱，甚至逐渐隐退。例如，现在的智能心电设备已经完全取代了曾经的心电图医生，机器自动分析心电数据，并给出诊断建议；癌症的诊疗指南也正代替医生对整个治疗过程进行管理。

然而，从医学史上看，医生从来都是医学世界的主体，医生通过丰富的临床经验与超常的风险掌控能力而完成对各种疾病的诊断与治疗。然而，对算法的依赖使得医疗大数据与智能医学的应用极易造成医生无用论的观点。算法依赖使疾病诊疗过程高度数据化，公众也因为对科学的信赖而普遍存在相信数据结果并据此主导诊疗的理念，医患矛盾也在医生主体性的丧失中悄然凸显。在智能医学的诊疗场景中，一切事物皆可被数据化，并将其纳入到宏观的算法模型中，智能医学模型实时监控个人的状态数据，并给出诊疗建议。这不仅反映了人类对基于智能算法的疾病诊疗的信念，也表达了人类对未来智能诊疗模式的理解。在治疗场景中医生往往也被智能医学的算法作为可预测、可控制的客体，医生必须按指令完成相应信息采集与设备操作，此时的医生更多已成为智能医学系统的一个部件而不是独立思维的主体。目前这类简单智能医学诊疗观的潜在结果就是，从以“医生为主体”转向以“算法为主体”的诊疗模式，智能医学对整个医疗运作体制而言不再仅仅是局部辅助的工具属性，而是逐渐走向核心全面的本体地位。

当前，各大医院都在大力推进人工智能与医疗健康产业的深度融合，这一具有明显时代特征的举措尽管势在必行，但长远来看，医疗智能化可能降低医生的主体地位，剥夺医生最终决策权的风险也正在浮现。事实上，现有的影像科医生已经开始采用智能模型完成疾病的筛查[16]。从已经投入的智能医学系统应用来看，智能算法已经取代了医生的部分决策权，尤其是在病理统计、影像整理等重复工作方面已经完全可由智能算法进行代替，医生只需要根据智能提示就可以做出下一步的决策。尽管智慧医疗的初衷是改变医疗过程中主观性强、重复性高、劳动强度大、效率低下等缺点，提升患者的满意度，但智能算法性能提升的同时也会增加医生的依赖性，医生主体地位的退化最终将沦为技术的附属品。

3.2 医患信任危机的加剧

医疗资源存在的特殊性、专业性和风险性的特征，使得医患之间的信息不对称，因此，医患矛盾尤其是医患信任的危机从来都是医学哲学必须认真面对的难题。随着智慧医疗模式的提出，在某些角度上为患者提供了便捷咨询、高效初诊服务等好处，一定程度上解决了看病难、看病贵以及误诊的情况。然而实际上，智能算法的结果不确定性与过程难以理解性，加上算法可能存在的利己性与功利主义等，都可能在实际的诊疗过程中对医患信任造成新的冲击，主要表现为：

其一，医生的权威和知识垄断地位受到挑战。以往医生对医疗专业知识和信息资源占有绝对优势，医患之间医生被赋予高角色期待，也形成了医生的高权威和高支配地位[17]。智慧医疗的出现使得患者下意识会对基于大数据智能算法给出的诊疗建议信任程度超过医生，此时，医生的任何建议可能都会遭到患者的质疑。随着人工智能医疗诊断的效率及精确度在多数时候都大幅高于人类医生，就使得患者更愿意相信机器而不是医生，此时，对于某些特殊病例，医生首先要解释的不是患者应该怎么做，而是医生为什么更可信。

其二，在医疗领域，随着人工智能、大数据等智能技术的广泛运用，就医环境正在发生深刻变化。智能算法在时刻采集患者的数据，并为患者制定行为规则与治疗建议，潜移默化地改变着患者的行为习惯和价值选择。由于智能算法具有不确定性、不公平性等本质特征，在运行过程中可能会不断重构公众所处的环境，引导公众适应并遵循其所制定的规范和要求，由此形成数据迷信：一方面智能医疗在某些领域的技术强悍，造成了患者对现在的医生离开仪器还能不能看病多持怀疑态度；另一方面，智能算法的固有属性也使得算法能投其所好，改变患者的行为方式，进而加剧对医生的不信任感。

其三，某种意义上说，智能医学中的智能算法及其决策也可能成为修复医患信任关系的障碍。在传统社会中，医患间信任是基于人际信任建立起来的，是相对比较和谐的信任关系。但随着智能医疗的深入发展，医患信任不仅有人际信任，还增加了技术信任。已有研究发现，算法不仅客观上可能会持有偏见，并且其决策程序可能被视为是不公平的。在社会转型和医疗体制改革的共同作用下，医患双方在认知、态度和行为诸方面都产生了多重矛盾，角色定位偏移，行为模式错位，医患信任危机正面临更大的缓解困难。最为典型的例证就是，患者到医院之前，往往已经百度了一大堆信息记在脑子里，一旦医生给出的建议和百度建议不吻合，患者就会产生怀疑，医生是不是在推销药物或过度检查，而医生往往也对此类“百度患者”无可奈何。

3.3 医疗资源分配不均加剧

人工智能可高效开展实际的医疗任务，如给MRI影像贴标签、书写病历、辅助确诊等, 但这些操作必须确保所有人都能从中受益，而不是加剧医疗资源分配的不均。智慧医疗(smart health care)是IBM 2009年提出的概念[18]，旨在进一步提高医疗资源的优化配置，提升健康服务公平、可及和有效性。然而，搭载智能算法的医疗仪器具有高精度与便利性，其相应的成本也非常高昂，因此智能医疗的高成本往往可能加剧社会不公与资源分配不均。对于基因筛查、肿瘤标记物检测、智能血氧检测等高端医疗往往难以全面推广。虽然某些角度上智慧医疗为患者提供了便捷咨询、高效初诊服务等好处，但从全局范围来看，智慧医疗甚至还可能加重医疗资源的失衡，让拥有优质医疗资源的医院承接更多的医疗负担，而资源不足的基层医疗机构则更为寂寥。

作为一种技术，智能算法正逐渐演进为一种新的权力形态，成为控制社会“无形的手”，并带来了隐私泄露、不公平、歧视等风险，同时蕴含着强烈的精英意识和霸权思维。在实践层面，若放任企业自主发展而不加任何制度规约，智慧医疗或许有可能造成社会分裂，加剧医疗资源的分配不均。

3.4 诊疗结果不确定性增加

布莱恩·阿瑟[19]在《技术的本质：技术是什么，它是如何进化的》一书中指出：技术的本质是对现有现象有目的的复杂性探索，其结果具有不确定性。正是这种不确定性推动了技术进步与发展。随着技术的发展，其不确定性特征与医疗场景的确定性追求存在不可调和的冲突，可能诱发预期之外的医疗风险。考察智能算法的潜在风险，首先是智能算法责任的难可追溯性。智能算法受数据驱动，具有数据前置性，其自学习的特征极易造成结果的潜在倾向性与不稳定性。从技术哲学视角看，技术的潜在倾向性主要是因为技术的应用效果与应用领域可能远远超出技术发明时的最初设想，其未来应用方向与场景因此而存有某种不确定性[20]。

智慧医疗的目的是建立患者医学大数据，可以实时准确地进行各种疾病的诊断与治疗。医院是数据采集的主体，而算法模型由设备商提供，二者的分离使得医疗领域技术发展的目标与方向不可控。智能算法的自学习特征突破了传统算法的固有局限，只要算法针对某个诊疗任务拥有足够多的医疗数据，那么最终该算法会产生何种结果并不能被完全预见，因此，这些技术将以何种形态应用到医学领域，又会造成何种影响也难以预料。

综上所述，智能算法在医疗领域的应用尽管带来很多便利，但也极可能使某些诊疗结果出现新的不确定性，并由此对医疗系统带来不可预见的负面影响，必须引起高度的重视和研究。

4 智能医学算法决策伦理风险的规制

目前，医疗领域的智能算法对疾病诊治的应用尚处于起步阶段，智能算法对整个医疗体系的影响主要还是以正面形式呈现。为防止技术陷入“科林格里奇困境”(Collingridge dilemma)，在医疗领域人工智能发展的初期就应当通过法规或伦理规范来进行有效规制。遗憾的是，现有法律法规与伦理规范尚未系统全面涉及智能医学的技术范畴。作为一种新兴的技术形态，智能医学技术正处于创新发展的重要阶段, 通过同步的伦理治理研究，将智能算法与伦理价值进行有效融合，将有效防止风险的发生，构建符合智能医学发展规律的伦理框架和行为规范。当前，应着重关注以下四方面的规制。

4.1 以强化医生主体地位为根本出发点

针对智能医学应用过程中算法依赖性可能导致的医生主体地位被削弱的潜在风险，其伦理规制应该是以强化医生主体地位为根本出发点。

第一， 智能医学的发展及其在临床上的应用要尊重医生的独立性。当智能算法的辅助结果与医生的临床经验发生冲突时，系统能对当前的检测结果进行预警监控与指示，并将最终决策权交给医生进行裁决。智能医学系统应允许医生自主依据辅助诊断结果进行修正而不是相反，这样才能强化医生的主体地位。

第二， 智能医学技术的应用要充分尊重医生的亲历性。主治医生需要亲自经历诊疗的全过程，并有最高的权限在适当时机对诊疗过程进行干预。智能医学技术开发的伦理规范应当是遵循医生的亲历性与最终决定权。对于关键节点，其最终的决策应该由医生完成，而非关键节点则可适当采用智能算法加以辅助，以提升诊疗的效率。

4.2 以降低医患信任危机为主导

智能医学算法的出现改变了医患之间的伦理关系。在传统的医疗模式中，医生拥有丰富医学知识和医疗资源，在医患关系中处于强势地位。随着智能技术在临床上的应用逐渐超越医生，医生的主体性正被智能机器削弱和占有,患者对医生的依赖性和信任度也逐渐减弱，医患关系的不确定性增加。针对智能医学应用过程中智能算法导致的医患之间信任危机增大的风险，其伦理规制应该是以降低医患的信任危机为主导。

首先，要强化医患目标共同体意识。智慧医疗模式下，患者由原来对医生言听计从转为对机器决策的无条件服从，此时就需要强化医患目标共同体的意识。无论是机器还是医生，其目标都是希望患者早日康复，因此，充分认识医生的主体地位，在智能医学的辅助下，医患之间相互信任，才可能最终共同协作实现疾病的诊治。

其次，强化政府职能，加强行业监管。政府在改善医患信任危机中具有不可替代的重要作用，除了通过政策法规等对相关智能医疗企业和机构加以规制，防止其片面夸大算法的功能与性能等，还应对利用算法营销的各类违法违规行为予以及时处置，增强医患的道德修养和医疗企业的责任意识。

4.3 以平衡医疗资源分配为方向

智慧医疗旨在进一步提高医疗资源优化配置，在一定程度上可以缓解医疗资源分布不均衡的问题。然而，搭载智能算法的医疗仪器具有高精度与高端化的特色，使得高技术含量的智能医学技术对公众越来越难以触及，反而造成了医疗资源配置不均衡。

要有效解决这一问题，首先，应强化政府主体责任，加大公共医疗资源供给力度。切实提升公平与公正，全面建成体系完整、分工明确、功能互补、密切协作、运行高效的整合型医疗卫生服务体系。

其次，优化医疗服务体系结构，合理配置医疗资源。只有政府合理配置基本医疗资源和高端医疗资源，才能实现普惠医疗与高端医疗的均衡性。同时，政府也应该将智能技术纳入社保体系，降低公众的触及门槛，保证全民享有时代发展的红利与智能医疗的服务权利。

4.4 以增加诊疗结果确定性为目标

现阶段的人工智能仍然处于发展的初级阶段，针对智能医学应用过程中智能算法导致的诊疗结果不确定性增加的风险，其伦理规则就应该以增加诊疗结果的确定性为目标。

首先，应理性认识技术风险、建立技术监管机制。医学的本质属性是以保护和增进人类健康,预防和治疗疾病为目标。无论智能算法多么完善，也不可避免地面临各种技术风险，其技术并不是万能的。面对智能技术在医学领域的迅猛发展态势，应当充分认识到其技术风险，将技术发展和应用纳入社会管理系统中加以调控、引导和治理。监管部门应当对新技术的准入环节进行严格把关，任何用于临床的智能算法必须经科学性、伦理合理性审查。在确保技术安全有效的情况下，对可能出现的伦理和风险问题进行相应限定，通过完善的质量保障体系来提升最终诊疗结果的确定性。

其次，要完善技术研究，健全理论支撑机制。将智能医学技术应用于医疗领域时要充分关注技术瓶颈，对技术的工具价值保持合理的预期。受制于智能算法的不确定性、不可解释性的技术特征，当前智能医学算法在部分专业领域仍然面临技术障碍。这就决定了在医疗领域智能算法应当具有具体场景的限制，时刻意识其具有强烈的结果不确定性，必须引入医生主体的随时在场。

5 结语

当前智能算法对医疗领域的介入还在不断加深，并不断引发新的伦理疑难，而通用伦理框架显然已无法囊括智能算法所带来的新问题和新挑战。如何使智能算法在医疗领域变得更符合社会预期是医学哲学工作者需要研究的重要问题。只有正视风险与挑战，通过理论研究、技术进步和伦理规制的协同创新，方可逐步化解智能医疗的应用困境，有效应对各种不确定性风险。