论人工智能行为法律因果关系认定〔*〕

○ 刘志强， 方 琨，2

(1.广州大学 人权研究院， 广东 广州 510095；2.吉林大学 法学院， 吉林 长春 130012)

一、问题的提出

“这是一个最好的时代，也是一个最坏的时代。”〔1〕随着科学技术发展的日新月异，我们迅速地进入了“第四次工业革命”的人工智能时代。〔2〕在人工智能时代的今天，人工智能机器人技术不仅能纯熟地应用于棋类对弈、人脸识别技术之中，而且拓展至能够实现汽车无人驾驶、机器人自动操作等人类生活的方方面面，更为我们展现了人工智能技术与过去技术相比不可比拟的发展优势，成为了推动人类经济社会发展的强力引擎。对于国家发展层面而言，发展人工智能是非常有必要的。习近平总书记在党的十九大报告就指出：“要推动互联网、大数据、人工智能和实体经济深度融合。”〔3〕然而，对于个人层面而言，如英国物理学家霍金就担心“人工智能有可能会取代人类”〔4〕，或者悲观主义者忧心人工智能会发展成为“数字利维坦”。〔5〕人们对人工智能发展的焦虑在于担心它对人类社会带来的恶劣冲击。2017年7月国务院出台《新一代人工智能发展规划》〔6〕，要求“建成更加完善的人工智能法律法规、伦理规范和政策体系”，对人工智能实现完善的法律规制。一时间对人工智能的研究方兴未艾，学者们不仅从微观化视角，如人工智能的法律风险、人工智能机器人的法律主体与责任、法律适用等视角，〔7〕而且从法律学科内宏观化视角对人工智能进行法律的探讨，〔8〕以期应对人工智能对社会生活带来的挑战。

其实，在人类发展的历史上，科学技术的新突破、新进展，都会引发人们对科技的情绪性焦虑、质疑。然而，由于人工智能科技发展超出了人类的社会预期，使得人工智能与人工智能机器人涌入人类生活时，当人工智能系统的指令行为、人工智能机器人的行为超越人类的主体时，应当如何予以处理，目前并无明确的法律规定，这就更加深了社会对科技发展带来的风险所存在的焦虑。观照传统的法律规制体系，其是建立于人类行为与结果之间的因果关系逻辑之上，以行为人的法律行为作为法律因果关系客观归因、责任归责的依据。因此，人工智能的法律问题表面上展现的是人工智能及机器人的主体资格适用问题，但是在实质上，展现的却是在人工智能时代，法律因果关系的调整范围与适应性有所弱化、偏离情形下，如何对人工智能及其行为与结果进行法律因果关系客观归因、责任归责的问题。正如有论者认为，人工智能对法律的挑战的核心问题在于：人工智能对人的自由意志产生的影响以及人工智能作为一种技术构成对人的主体的异化。〔9〕诚然，人工智能行为是有别于传统的法律行为，其法律因果关系的认定当然也有别于传统行为的法律因果关系认定。故本文的旨趣基于卢曼的系统论——法律因果关系的内部系统与人工智能的外部系统，分析两个不同系统在目前存在的困境、行为异化、相互沟通、理论融合等问题，以实现对人工智能法律因果关系价值分析的反思与整合。我们基本思路是，首先，通过法律内部系统中因果关系的规则层面，分析外部系统中人工智能系统的指令行为、人工智能机器人的行为在法律认定的适应性、调整性问题现状。其次，通过观察外部系统中人工智能系统的指令行为、人工智能机器人行为的特征与类型，实现外部系统与法律内部系统的沟通。在上述基础上，再反思法律内部系统的法律因果关系理论本体，从而为融合人工智能行为的外部系统与法律因果关系的内部系统找到进路，找到人工智能行为及其造成的结果之间的法律因果关系认定路径，以此促进解决人工智能的法律责任归结、人工智能的发展治理与规制的决策发展。

二、因果关系的存疑

(一)法律因果关系的认定危机

毫无疑问，21世纪的人工智能时代已属于风险社会的时代。“风险社会是一组特定的社会、经济、政治和文化的情境，其特点是不断增长的人为制造的不确定性的普遍逻辑，它要求当前的社会结构、制度和联系向一种包含更多复杂性、偶然性和断裂性的形态转变。”〔10〕人类面临的风险已不再局限于自然风险，更有现代的、人为的风险，其中最为显著的是科技带来的风险。科技风险带来的“不明的和无法预料的后果成为历史和社会的主宰力量”，〔11〕由科技风险引发的现代性危机，即是科学技术作为一种工具与人的关系发生异化的主体危机。要明确的是，“现代性不是一件事物，而是一种关系，而且成为这种关系的一部分正是现代性的最终标志。”〔12〕所以科技风险引发的现代性危机，即是科技与人在主体之间关系的异化表现。

德国法社会学家尼克拉斯·卢曼研究风险社会带来的挑战时，认为“法律使规范性期望稳定化的功能远远超出了调解冲突概念所能把握的内涵”，即法律的作用不仅局限于矛盾纠纷的解决与冲突的调整上面，更在于应对风险带来的挑战。卢曼在系统论中对法律内部系统与外部系统(环境)的关系作了阐释，他通过“二阶观察”对法律内部系统与外部系统进行观察。在“一阶观察”中注重观察内部系统应对外部系统的风险，而在“二阶观察”中注重观察法律内部系统对外部系统的风险的回应性。因此，卢曼认为正是因为作为“社会的法律”，法律是应对风险而产生的，所以其具有“自创性”。〔13〕他认为法律可以在面对社会的复杂环境情形下，突破过去的理论限制，发挥法律的自创性作用。“法律始终以能预见可能会有偏离的行为——不管以什么动机为基础——并且不让这种偏离行为影响期望的贯彻能力为前提。如果仅仅一般地把法律的功能描述为对关系网的调节，这只能说明人们没有看到法律的特殊性，也许还不如观看超市里商品的陈列设计或者航空交通电脑网计划，或者观看作为法律制度一部分的语言本身那么仔细。”〔14〕简言之，尽管其展现为法律系统在规范层面是封闭的，但是在认知层面是开放的——可以认知与吸纳外部系统(环境)，可以利用条件程式(法律文本)来运转整个法律系统。法律系统必须要接受来自外部系统带来的挑战，并作出回应。

回到人工智能时代，现代性危机在法律系统的内部表现为人工智能行为的法律因果关系发生异化。人工智能行为应当如何予以认定法律因果关系，存在着激烈的意见交锋。一方面，不少论者从人工智能的行为及其结果的法律因果关系归因与归责路径作出考量，认为人工智能是生产者的“工具”。〔15〕纵观“工具说”的支持者，他们支持的理由在于人工智能的行为造成的结果与生产者必然具有因果关系，并且人工智能系统的指令行为、人工智能机器人的行为依附于人的意志，成为人的工具与手段，应分别对生产者、运营者与销售者、使用者的行为予以客观归因与责任归责。另一方面，社会部分论者对此观点并不认同。他们的焦虑症结在于认为人工智能可能具有“独立性”，将人工智能系统的指令行为、人工智能机器人行为独立于人的行为。他们认为人工智能的行为造成的结果带来的风险之一，就是与生产者并无直接的因果关系，认为人工智能目前的难题在于将人工智能造成的侵权结果归责于个人不妥、而归责于机器无说服力的两难之境。〔16〕基于此，更有少数论者提出应当依据人工智能机器人的智能化程度对人工智能机器人予以独立的法律责任认定。〔17〕与此同时，这个难题的侧面还存在着为了推动科学技术的进步和发展，不宜对科技发展作出严格限制的困境。

(二)规范层面的认定存疑

传统的法律因果关系就是耦合法律规则对法律行为的规定来认定行为人的行为与结果的因果关系。换言之，“因果关系是认定法律责任的构成要件之一，所起的作用是从事实上将损害结果与行为人的行为连接起来，即将结果归因于行为人”。〔18〕法律行为作为法律因果关系内部系统共识的认识基石，通过在概念上将法律行为认定为是“把契约、婚姻、遗嘱等具体行为概括起来的概念，是德国法学家在长期的历史积累的基础上创造出来的一个抽象性、一般性概念”，〔19〕使得法律行为自此在适用上具有独特的历史继承性和普遍认识性，同时为行为人依据法律规则作出自身的法律行为提供了明确的预期，使之成为社会的共识。我国通说认为，法律行为的构造上由行为人的特定行为组成，指在法律规则的规定与调整下，能够引起法律关系的产生、变更、消灭的行为人的法律活动与行为。因此，法律的因果关系是行为人依据法律行为产生、变更、消灭法律关系的客观归因。我国法律规则依据行为人实施的行为来自于不同的法律关系作出调整，将其划分为民事法律行为、刑事法律行为。一方面，民事法律行为是行为人在平等主体的民事活动领域做出的法律行为，其在构成要件上遵循意思自治原则，强调主体的平等性与意志的自由性。自民法立场言之，自以由当事人自身规划为最相宜，此为法律行为之一大原则。〔20〕法律因果关系在客观行为构造上的一般形态之一就是民事法律关系的产生、变更、消灭与实现。另一方面，刑事法律行为即刑法中的危害行为。刑事法律行为在法律关系上是以行为人的行为作为国家司法机关定罪量刑的客观依据的，其在构成要件上明确要求刑事法律行为的认定须恪守罪刑法定原则与刑法的谦抑性，从而抑制刑罚权的肆意发动。与民事法律行为相比，刑事法律行为更具有主体的不平等性与法益的侵害性，故法律因果关系在客观行为构造上的一般形态之一就是刑事犯罪的犯罪预备、未遂、中止与既遂的法律关系实现过程。

观照人工智能的行为，却在法律因果关系的行为规则上发生了异化，背离了传统法律行为的构成逻辑与模式，带来法律因果关系的认定困境，体现在民事活动中主体性活动形式异化与刑事犯罪中主体性犯罪现象异化。一方面，人工智能(Artifical Intelligence)一般又被称作计算机智能、机器智能(Machine Intelligence)，是智能机器所执行的通常与人类智能有关的智能行为，这些智能行为涉及学习感知、思考理解、判断推理与证明、规划与行动等活动，是社会进步与技术革新的产物，具有创新性和时代性。〔21〕现实中随着科学技术的蓬勃发展及人工智能技术带动下产业的转型升级，人类已经可以通过运用人工智能系统与人工智能的机器人技术，在衣食住行等诸多社会生活领域实现广泛的应用。在民事活动中，民事法律行为的界限于正面上只要行为人具备民事行为能力、实施行为具备真实的意思表示、没有违反法律法规的强行性规定，行为人实施的民事法律行为就成立有效；反面上如果行为人不具备民事行为能力、实施的行为违反法律法规强行性规定等情形，则行为人实施的行为就属于无效民事法律行为。而目前人工智能的民事行为多不胜数，如美国旧金山街头的咖啡店Cafe X采用人工智能机器人运作模式，从收银到咖啡调制全部由机器人完成；IBM公司的机器人Watson可在日常生活中承担大厨、医生、教师等多个角色；医疗机构运用人工智能机器人为患者实施手术；交通设施中运用人工智能系统自动操控技术实现车辆自动化无人驾驶；超市商场运用人工智能系统人脸识别模式与机器人收银系统实现无人贩卖等等。人工智能民事行为则包括人工智能指令行为与人工智能机器人行为两种。与法律行为的特征相比，其行为异化具有主体差异性、行动多重性、媒介客体的可替代性的特点。故显然造成了在法律认定上的困难——究竟是认定行为人的操作行为、人工智能的指令行为还是机器人的实施行为？

在此之外，科技的重大发展不但促使社会生活的重大变迁，还促成利用科技发展的成果犯罪。在刑事犯罪当中，刑事法律行为的界限于正面上要求行为人的危害行为符合有体性、有意性、有害性、规范违反性等特征，只有行为人的行为具有社会危害性，该行为受行为人的意识意志支配，且行为违反了刑法规范等情形，才能将行为评价为刑事法律行为。而人工智能的刑事行为的异化则表现为：掌握人工智能技术的犯罪分子不但可以借助人工智能程序、人工智能数据、人工智能机器人技术实施高科技犯罪来达到不法的目的，还可以借助人工智能技术实施传统犯罪。此时，技术手段为犯罪分子实施传统犯罪提供了充分的便利条件，人工智能使得犯罪分子的犯罪手段更为多样、犯罪技术更为先进，使得犯罪现象增多、犯罪结果更为严重，由此带来的犯罪形势更为严峻。同时进一步的难题在于：司法机关在侦查案件时不但首先要面对一个冷冰冰的机器人主体，在后期侦查案件过程中还需要投入高额成本抓捕在人工智能系统与人工智能机器人幕后使用匿名身份和多个不同线程控制机器人的犯罪分子，但是很有可能这个犯罪分子竟是人工智能系统的机器。这也使得过往以法律行为的行为逻辑认定行为性质在人工智能语境下对法律因果关系的认定变得更加困难。

三、人工智能行为的沟通

人工智能的创新性使得法律因果关系如果再固守过去的模式，则难以将人工智能系统的指令行为与机器人行为作为依据予以调整。而法律因果关系对人工智能行为调整范围偏离、适应性弱化的局面，其实在于过去法律因果关系在社会发挥着社会共识既定，产生一种对稳定行为的抑制作用。社会学家弗里德里希认为传统的法律因果关系随着社会的发展，会面临新的社会环境给社会的共识理论(Consensus Paradigm)带来挑战。此时对问题的理性分析就要对新的环境产生的冲突性(Conflict Paradigm)作出价值整合，通过优化整合使共识系统发展适应性。〔22〕而这种整合，正是以“社会的法律”中法律与社会存在内在关联性为基础。此时，法律内部系统在面临法律的外部系统——社会环境的转变带来的不同挑战时，就成为自我指涉型系统(Self-referential systems)，即一方面能够做到系统的自我调整，另一方面又能够实现对外部系统的沟通与吸收。对此，卢曼进一步指出：“只有法律系统在其范围内变得复杂，法律系统才能在其范围内运行、构建、变迁或者突破其旧有结构。当社会环境和法律系统发生冲突的时候，可以通过二阶观察重新进入法律系统。它可以在系统内进行复制，从而系统允许出现不稳定性，在震荡之间进行观察的参考，分别指示系统的外部和内部状态。”〔23〕回归到人工智能时代的科技风险，这种观察就是需要对人工智能行为进行“二阶观察”，包括相互观察(Reciprocal observation)与经由组织的沟通(Communication via organisation)两个层面。简言之，就是通过认识外部系统中人工智能的外在表征作为“介入点(Intervention points)”，从而得以让法律内部系统对风险作出有效识别。

首先，依据媒介客体不同，可以将人工智能的行为划分为人工智能系统的指令行为与人工智能的机器人行为。两者的逻辑关系用最简单的话讲，就是大脑和身体的关系。目前人工智能的基本原理就是通过对人类大脑的智能模拟发出相关中心指令信息，使人工智能机器人通过接受人工智能系统的中心指令，以机器人作为客体媒介向外界作出一系列的指令行为，从而实现人工智能与人工智能机器人的连串完整行为。人工智能的行为模式与行为逻辑是以对人类大脑的信息模拟为基础前提，再借助机器人对大量信息进行处理为中介，从而实现机器人对外界完整的特定信息表达的行为。最为常见的是：科学家基于不同程度的人工智能系统实现机器人汽车无人驾驶、军事无人机应用、人工智能人脸识别、人工智能机器人进行创作、日常生活家居机器人等。此外在刑事犯罪当中，不少犯罪分子可通过人工智能系统的指令行为，操控多个人工智能机器人同时实施网络诈骗，或者借助人工智能编出新的电脑病毒，从而借助人工智能机器人在网络予以传播并进行敲诈勒索。更有甚者，人工智能为网络犯罪提供了“新的交易场所”。犯罪分子借助人工智能技术，如“区块链(Blockchain)”技术来创造一个“暗网(Darknet)”交易场所，以“比特币(BitCoin)”“莱特币(Litecoin)”“以太币(ETH)”等电子货币来实现犯罪非法收入的交易。此时其法律因果关系可以简化为：人工智能机器人的行为就是犯罪的身体——“工具”，人工智能系统的指令行为就是犯罪的大脑——“主体”，而操控人工智能的行为人则是犯罪的“灵魂”。

其次，按人工智能的自我意识能力不同，可以将人工智能划分为弱人工智能(Artificial Narrow Intelligence)、强人工智能(Artificial General Intelligence)、超人工智能(Artificial Super Intelligence)。目前诸如谷歌AlphaGo等各种人工智能机器人在自我意识能力上属于弱人工智能的范畴，仅用于解决某些特定的问题，并不具备独立的自我意识。有论者认为“虽然目前人类将各式各样的机器人设施应用于他们工作环境中，如利用机器人进行手术或采用机器人坦克，以提高人类的工作表现和保护人类自身的安全，但是机器人仍然有待于应用在人类与机器人互动的模式之中”。〔24〕因此，不难预测，当人工智能机器人日益广泛应用于人类生产生活中，那么弱人工智能必然会向更具独立意识能力和自由行为模式的强人工智能、超人工智能转型升级。其中，人工智能的系统智能化程度、意识能力程度都是由算法模式所决定的。目前学界对人工智能的算法一方面是充分肯定了基于人工智能算法产生的技术对社会治理存在有益的推动，〔25〕如大数据分析、人工智能辅助裁判系统、云计算与数据共享存储等技术应用。但是另一方面却也存在焦虑，担心人工智能算法最终会变成法律。〔26〕对此，本文认为存在上述情况是对人工智能的算法认识不足。算法不是法律，算法也并非万能，我们应当对人工智能的算法理性认识。

其实依据不同的人工智能系统算法导向性(Algorithm-Oriented)，可以将人工智能的算法划分为有导向性的算法(Guided Algorithm)、无导向性的算法(Unguided Algorithm)。有导向性的算法是弱人工智能系统的逻辑基础，在于系统设计者通过让人工智能机器人利用计算机有目的地穷举一个问题的部分或所有的可能情况，从而求出问题的解或作出设定的动作。〔27〕一方面，在有导向性的算法当中，是基于回归算法、聚类算法、神经网络算法等三大类别算法让人工智能机器人进行深度学习；另一方面，机器人的有导向性学习又分为回归学习与分类学习两种，而分类学习当中就包括聚类算法、神经网络算法等多种算法。此外，目前在三大类别的算法内又延伸包括搜索算法、二分查找(Binary Search)、分支界定算法(Branch and Bound)、离散微分算法(Discrete differentiation)、极限流量算法(Maximum flow)、维特比算法(Viterbi algorithm)等多个不同模式的算法。之后在设计有导向性算法的人工智能机器人系统时，通过给予机器人特定的案例进行深度学习，从而引导机器人在算法学习过程中实现导向性动作，表现出明显的目的性和导向性。这些靠数据驱动的算法一方面为人类呈现了一种不受主观、偏见所影响的未来愿景，但是同时其算法未来受制于学习的有导向的数据，会导致尽管算法再如何优化，也不可避免地把人类的偏见、盲点、无知充斥其中。例如，人工智能系统深度学习数十个冤假错案的判决，那么其基于案例数据所作出的判决必然也是有罪的“冤案”。又例如，如果人脸识别系统在学习的案例数据中大部分是白人皮肤，且案例具有歧视黑人的属性，那么依据该案例数据进行算法学习的机器人，就不能识别黑人皮肤，带有了“肤色歧视”的偏见。换言之，人工智能机器人在有导向性的人工智能算法系统指令下，不可避免地会带有研发者、生产者和使用者的个人意志思想，存在沦为行为人实施行为的外在工具的可能。

而与有导向性的算法不同，无导向性的算法是深度学习的算法表现形式，也是强人工智能系统与超人工智能系统的逻辑基础。然而，尽管机器人可能没有像人类一样思考的意识，但是很有可能存在一套机器人独有的模式让机器人拥有机器人的意识，机器人因此可以做到各种人类做得到的有意识的事情。同时，有学者提出人工智能的算法模式可能存在机器人不同于人类过往的算法的独特模式和方法，使得机器人具备机器人自身的独立意识。〔28〕此时，人工智能系统已具备自我学习、自我推理、自我判断的完全自我意识与行为能力，不需要按照人类引导的思维模式进行行动，不但能够依据系统设置的条件情形去执行命令，而且能够在实际状况发生改变的情形下做出相应的调整，从而实现具有自我意识的人工智能机器人的具体法律行为，与人类发生各种不同的法律关系。人工智能机器人行为与人类行为相比，更具有可替代性、可复制性的无可比拟优势。假设发生无人驾驶的人工智能机器人汽车基于自身的意识造成交通肇事，或者人工智能网络机器人基于自身的意识开设网络赌场，就是人类与机器人在主体间的交互方式发生颠覆性的改变关系。那么又应当对犯罪主体、犯罪行为及其法律因果关系如何予以认定呢？目前法律对人工智能机器人的民事行为、刑事行为的具体规定仍是一片空白。可见法律内部系统正是因为人工智能系统的指令行为、人工智能机器人的行为与传统的规制有所偏离的冲突性，使得难以对人工智能实现法律因果关系的认定。如果是个体的话，法律行为的主体是具备法律行为能力和在法律中能够采取完全法律行为、限制法律行为能力的行为人；如果从个体与集体角度，还可以划分为自然人和法人，却缺乏人工智能机器人的一席之地。甚至有一极端主义的看法认为，“许多国家对法律科学问题是缺乏远见的，这种法律制度中任何对人工智能的行为主体所作的讨论都是没有意义的。尽管大多数法律可以发生改变，但是都是针对某些事情所作出的改变，而这些事情通常是不可预见的事故或不可避免的灾难。”〔29〕我们固然不可能也绝不能等到了法律不可控制的严重程度再对人工智能的规定加以改变。但是假若直接对人工智能机器人的设计、制作机器人的人员进行直接问责追责，又会因为缺乏说理性而与社会认同的“技术无责”〔30〕心理认识相矛盾。对此，英国法学家哈特提出由于法律内部系统存在“空缺结构(Open Texture)”的形式，导致对外部系统的新事物、新挑战产生不确定性所带来的风险。〔31〕对于法律内部系统与外部系统的沟通而言，“法律规则的空缺结构与法律的争议是紧密联系的，任何一个司法案件都是以空缺结构的问题为基础的。”〔32〕也就是说，正是因为法律内部系统存在“空缺结构”的原因，使得法律因果关系对外部系统——社会环境在司法实践中进行合理的自我调整、自我吸纳，如法律解释、法律论理等成为必然。回到人工智能的法律系统沟通中，这种冲突性挑战使得法律因果关系必须突破过去的理论限制，对人工智能与机器人的行为进行反思与融合。

四、两种法律因果关系理论的反思

目前在法律内部系统中关于法律因果关系的理论，主要有大陆法系的相当因果关系模式与英美法系的可预见标准模式。

一方面，大陆法系的相当因果关系模式，其逻辑判断在于当行为对某种结果的发生具有“相当性”的时候，成立行为与结果之间的法律因果关系。〔33〕所以，相当因果关系的判断在构造上分成客观归因上对行为条件关系的认定，责任归责上对行为与结果的相当性关系认定。相当因果关系依据相当性的判断在不同的立场，可划为主观的相当因果关系、客观的相当因果关系、折中的相当因果关系。〔34〕首先，主观的相当因果关系主张因果关系的相当性是以行为人在实施行为时候认识或预见到的情况为落脚点进行判断的，故更侧重于行为人自身的特殊认识。然而，法律因果关系是以行为的客观归因和责任的归责两个构成要素构成的。主观的相当因果关系不仅将判断的逻辑基础局限于行为人自身的特殊认识之中，而且过于强调行为人的主观认识。回归到人工智能行为的法律因果关系认定，人工智能系统存在系统的漏洞是可预见的，但是基于系统的漏洞指令机器人实施的行为与后果，就并非当事人可以及时预见，而且系统漏洞的发现到机器人实施的行为之间具有时空上的间隙，难以直接地对行为人的认识予以理性评估。过于强调行为人的认识而对客观行为置之不理又难免认定范围过于狭窄，不可避免地与因果关系的客观归因要求相悖，实属不适。其次，客观的相当因果关系主张因果关系的相当性判断逻辑在于理性的一般人对行为人实施行为时候存在的认识与可能预见的情形作出客观化的判断，故更强调一般人的普遍性客观立场。然而，行为人对人工智能的技术认识属于“科技理性”。与此不同，在司法审判中对人工智能技术的客观认识属于“技艺理性”。因此，如果在因果关系判断中不对行为人的特殊认识予以合理位置，实在过于苛刻。再次，折中的相当因果关系主张在因果关系的相当性的认定上既要充分考虑行为人的特殊认识，又要结合理性的一般人在客观立场下所能达到的认识与预见性。如果行为人能够认识到结果的发生可能性，则可予以法律因果关系认定。如果行为人不能认识、难以预见结果的发生可能性，则不可予以法律因果关系认定。该观点看似是做到了两者兼合，实则在认定路径上以行为人对实施的行为与造成的结果的特殊认识为落脚点。由此可见，相当因果关系模式的考量重心在于行为人、一般人的认识与预见结果发生的可能性上，但因为一般人与行为人对人工智能的认识、理解程度存在差距的鸿沟，使得法律因果关系在判断上显得有所随意性，其判断的标准不仅已然超出法律因果关系的系统内部范围，而且在法律因果关系的责任归责的构成要素上变得模糊化。观照人工智能语境下，人工智能行为的法律因果关系认定不仅存在一般人与行为人对人工智能的技术、原理、现状的理解和认识存在难以逾越的鸿沟，而且对人工智能系统的指令行为与人工智能的机器人行为构成的人工智能行为在归责主体的差异性明显。我们固然不可能对冷冰冰的人工智能机器人进行法律追责，但是要对生产者、销售者、使用者进行法律因果关系认定的话，该模式下“相当性”的可操作性和可实践性较低，也变得过于主观性，其客观性和说理性被削弱。

另一方面，在英美法系的可预见性标准模式(Foreseeability)的标准判断下，一般的损害结果只有在侵权行为具备可预见性的情形范围内，才能获得法律的保障，在司法实践中很少有法院将责任界定扩展至可预见性的风险范围之外。〔35〕例如，社区中有只狗众所周知是恶毒的。如果狗的主人疏于管理，让狗逃出去咬人，那么其主人对狗咬人的情形是可以预见的，他将承担无过错责任，具备法律上的因果关系。而对于狗因为莽撞地绊倒人的情形，狗的主人则不承担责任，不具备法律上的因果关系，因为狗的主人可预见的风险仅仅在于被咬的风险。因此，可预见性标准模式将法律上因果关系的判断定位于损害风险是否可以预见上面，然而是否可以预见却是一个难以准确判断与适用的问题。回到人工智能行为问题而言，人工智能系统的指令行为、人工智能机器人的行为在技术的操作上具有明确的技术性。使用人工智能的人员在知识背景上差异较大，生产者之间基于不同的算法研究主攻方向也不同，这些专业技术性强的内容，我们也不可能强求社会的日常大众可以合理预见，又如何确定一般的合理可预见标准呢？如果说因为行为人修习过人工智能或者理工科背景的知识，那么就将可预见性标准适当提高的话，又会使得法律因果关系在客观归因和责任归责路径上走向不平等性的歧途，使得普遍性适用降低。另外，人工智能系统与人工智能机器人在操作运行上出现系统漏洞与缺陷，导致人工智能在法律因果关系的客观归因和责任归责上必须考量行为人的故意、过失等主观认识，又使得可预见性标准与过失认定标准有所交叉重叠，其合理性与适用性存疑。对此，有论者提出可预见性的界定标准实则应该随着社会的发展与风险的增加予以合理化发展，进阶展现为理性一般人的可预见性标准。〔36〕简言之，即如果行为人只知道部分事实而并非全部事实，而一般人如果谨慎留意可以识别全部事实的，即可认为行为人对该事实的全部均可以预见，并处于事实引发的风险之中。但是，值得注意的是，“大陆法传统国家对英美法的借鉴，存在一个‘路径依赖’(Path dependence)及其突破的问题。”〔37〕换言之，在法律因果关系吸纳风险标准模式的制度融合当中存在着路径依赖，具体表现为制度融合的动力第一次推动后，法律内部系统的制度会进行自我强化、自我完善的选择，使得日益增加支持者和拥护者，并在此基础上一环节紧扣另一环节，沿着既有的轨道发展。

就法律因果关系学说观之，虽说过去不少案件在法律的因果关系认定上理由迥异，但是其实法律因果关系理论发端于理论逻辑上法律行为的客观归因及其结果的责任归责。因此，在法律因果关系的内部系统内，法律因果关系的意义价值在于对外部系统行为的责任成立。两种法律因果关系模式虽然在判断逻辑上各有迥异，但本质上都是基于行为人行为所制造的风险，对行为作出的约束，从而判断行为与结果之间的因果关系。尽管法律因果关系的内部系统在民法领域和刑法领域功能有所分化：刑法的法律因果关系确立在于对行为人的犯罪行为进行定性，从而更好地定罪量刑；而民法的法律因果关系确立在于行为人的侵权行为所产生的赔偿责任，而赔偿额度则依据是否惩罚性，在损害范围之内或损害范围之外予以衡量。但是从系统整合角度可以发现，其实两者的内在关联性都建立在对行为人的客观行为进行归因基础上，进一步对其法律责任成立进行责任范围的限制——即肯定性或否定性的评价。因此，观照人工智能时代，面对人工智能在系统与机器人之间行为的创新性挑战，从法律系统范围内客观归因和结果归责的两个不同层次审度人工智能系统的指令行为、人工智能机器人的行为，就是要整合人工智能的相关行为在法律因果关系的偏离性，使法律因果关系回归新的人工智能社会环境下对其行为的调整适应性。

五、人工智能行为的法律因果关系认定

“法律必须把它的一部分归于过去、归于现在，并且要预见到它将来的存在。”〔38〕如上所述，卢曼在系统论中释明法律的自生性就在于法律通过“二阶观察”外部系统后，可以自觉作出区分内外系统，并对外部系统的特征做出有意识地选择，使得有益因素成为内部系统的组成部分，更好地维持系统的强化功能。所以，卢曼非常看重法律内部系统必须与外部系统积极沟通融合，以保证自身的存在正当性。因为一旦法律内部系统与外部系统无法进行有效持续地沟通的时候，法律内部系统就会面临自身持存的更大问题。其中，沟通在卢曼的内部系统与外部系统理论中是指社会系统中基本的自我指涉过程内的运作单元，并以此区别于传统的社会行动理论。法律内部系统与外部系统进行沟通，是沟通对外部系统的理解、对环境释义分析的沟通，以及内部系统对外部系统通过信息、活动和理解的综合体。对于法律内部系统的封闭性和外部系统的开放性特征，卢曼进一步指出两者在沟通的意义下是辩证统一的。“作为基于意义的沟通系统，既是封闭的系统，又是开放的系统，它们通过封闭性而达到开放性。”〔39〕因此，内外系统的融合包括时间层面和社会层面。在时间层面，出于法律内部系统的封闭性，法律通过对外部系统的风险作出法律性质的评价，以降低时间的流动性，达到对未来的合理预期。人们借助法律内部系统的合理预期，区分出外部系统的行为合法性与非法性界限。在社会层面，出于外部系统的开放性，法律故仅存在于评价为非法的行为当中，进而对非法行为予以法律手段的治理规制。人们透过法律内部系统来观察自身置之于外部系统的行为，可以体验自身非法行为的风险性与法益侵害性、社会危害性，从而改变自身行为，实现法律内外系统的融合，成为零风险的系统结构。

“作为理性化的产物，风险本身应当被视为是现代社会发展的正常现象。”〔40〕人工智能时代，人工智能系统的指令行为、人工智能的机器人行为均带来不确定性与风险性，其法律因果关系判断模式应当直面人工智能带来的风险。而在法律因果关系中，风险标准模式(Risk Standard Theory)源于英美法系，其判断逻辑在于“行为人的责任限于产生于那些使行为人具有侵权性(Tortious)的风险的有形损害”。〔41〕因此，风险标准的归责基础就是对风险是否存在进行认定：如果因为行为人的行为制造或带来风险，且在该风险下行为人造成的结果是具有一般性的，则可对行为人的行为与结果进行法律因果关系认定。而且风险标准模式在法律的因果关系判断上包含着限制性与扩展性两个特征。其一，其限制性在于风险标准将恢复局限于处于风险范围内的损害，同时将这一原则建立在过失相对性基础之上。其二，其扩展性在于将发生在危险范围内的损害招致责任的情况下放弃了因果关系标准，也就是强调行为人要对处在风险范围内的损害负责。〔42〕此外，这对于法律内部系统在外部系统的融合中，在面对人工智能行为的法律因果关系内部系统时必须不能被过去的理论所束缚，相反，应当充分结合外部系统中人工智能系统的指令行为、人工智能的机器人行为的特征作出考量，对其所制造或带来的风险是否可归因与归责的事实认定与价值判断，提供一个合理的、可预期的标准及充分的理由。其中包括了以人工智能行为的作为、不作为为构成要素的模式与风险标准的例外。

就人工智能行为法律因果关系构成要素的模式而言，人工智能行为依据行为的类型不同，可以划分为作为行为与不作为行为，而判断其因果关系的标准就在于行为风险的关联性。一方面，在作为层面，表现为行为主体利用有导向性的人工智能算法系统以及人工智能机器人实施相关的行为。首先，对于行为人操控人工智能系统的指令行为、利用人工智能机器人行为的作为行为，具有风险的关联性，可以认定行为人在人工智能行为的法律因果关系。例如，2017年就发生了全国首例作为地利用AI人工智能犯罪的案件。〔43〕此案犯罪团伙共计159人，包括研发者、运营者、使用者。彼此间分工明确，研发者以结合人工智能的深度学习框架与神经网络算法系统，与运营者共同将人工智能机器人的ORC识别技术应用在全国多个省份，非法获取他人的信用卡账户信息、网站数据，盗取巨款，同时进行相关的网络诈骗。在此案中，犯罪分子运用的是有导向的人工智能算法系统以及人工智能的机器人与技术实施相关犯罪行为。而行为人的行为与人工智能系统的指令行为、人工智能的机器人行为法律因果关系可以简化为“工具”“主体”与“灵魂”的关系，并且有导向性的人工智能算法模式带有行为人的内在意志。行为主体共同故意通过人工智能算法系统与机器人设备实施积极的犯罪作为行为，行为性质极其恶劣，风险范围极大。因为行为人操作人工智能系统、人工智能机器人的行为是行为人主动地将自己置于法律风险之中，且对该风险带来的结果具有一定的可预见性，此时行为人的行为在人工智能系统的指令行为、机器人行为之间具有直接的风险关联性。所以在此判断中可以揭穿人工智能系统、人工智能机器人的假面，直接认定行为人就是人工智能行为的主体，而人工智能系统、人工智能机器人则是主体的“工具”。其次，在民事活动中基于有导向性算法或无导向性算法的人工智能系统、人工智能机器人产生的民事行为，尽管具有外观上的主体差异性、行动多重性、媒介客体的可替代性等特点，但是基于行为人是通过积极的作为行为，操控人工智能系统、利用人工智能机器人设备等实施民事侵权行为，带来的后果不仅损害了国家、社会和个人的合法利益，而且破坏了社会的正常管理秩序，自然是行为人通过行为将自身置于法律不允许的风险范围之中，应当为此承担法律责任。再次，在刑事犯罪中，行为人的作为行为表现在操控人工智能系统、利用人工智能机器人的行为实施科技犯罪与传统犯罪。例如，其一，行为人通过开发了人工智能的算法系统去自动攻击他人电脑系统功能，以此敲诈勒索，谋取非法利益。其二，行为人通过人工智能与机器人来窃取他人银行账号信息，或者破解储户信用卡密码，从而非法占有他人财产。其三，行为人通过购买人工智能系统，在网络上自动开设赌场与经营赌场，获得大量非法利益，严重破坏社会的正常管理秩序。此时行为人借助人工智能技术实施的犯罪所引发的风险性、法益侵害性与社会危害性不可估量，自然具有直接的风险关联性，可以予以认定法律因果关系，要求行为人承担法律责任。另一方面，在不作为层面，表现为行为主体对有导向性的人工智能算法系统以及人工智能机器人不履行要求的行为。而认定行为人在人工智能行为中的不作为行为具有法律因果关系，理由是基于人工智能系统中算法模式的“漏洞(Bug)”引发风险性、法益侵害性与社会危害性。因为在作为层面，行为人出于行为的故意，对行为引发的风险必然是可预见、可认识的。但是与之不同，在不作为层面，行为人可以是行为的故意、行为的过失或行为的意外，此时对行为引发的风险未必能预见。所以在法律因果关系判断上，其风险标准的逻辑即在于行为人在不作为时对风险的认识可能性。不作为的风险认识可能性又可以划分为积极不作为与消极不作为的认识可能性。其一，在积极不作为的风险认识可能性中，积极不作为是处于故意的意思表示，此时行为人对不作为引发的风险明显可预见，不存在认识的障碍，故应当予以行为人在人工智能行为中法律因果关系的直接认定。例如，行为人明知人工智能系统、人工智能机器人存在漏洞，却不予以行动防止风险的发生，反而使得人工智能系统、人工智能机器人带来损害结果，引发风险性、法益侵害性与社会危害性，自然应当承担法律责任。其二，在消极不作为的风险认识可能性中，消极不作为是处于过失的意思表示，其不作为义务来源实质是要求行为人对该风险具备作为义务、注意义务，且引发的风险是可以避免的。此时风险标准仅局限于认识到的风险范围以内，对超出风险范围不可认识的风险不予认定法律因果关系，不承担法律责任。例如，对于有导向性算法的人工智能系统、人工智能机器人，其一，行为人应当预见其可能存在致人损害的风险，但是却没有预见，更将其置于路边且不设置明显标志与安全防护举措，造成损害结果的，则应当认定行为人与损害结果之间具有法律上的因果关系，承担相应的法律责任。其二，行为人基于职务或者业务的要求，负有特定的安全保障作为义务与注意义务，如生产者在研发完成算法系统后，负有对人工智能系统的漏洞检查修正、人工智能机器人检测维修义务，但是生产者对此消极不作为，使得人工智能系统操作失灵、人工智能机器人出错而造成损害结果的，则应当判断生产者具备法律因果关系，承担相关法律责任。又如运营者与销售者在运营人工智能联网汽车、无人机等机械设备时候，应当对其系统与设备及时维护维修，如果因为运营者与销售者对此消极不作为，使得造成损害结果的，则应当判断运营者与销售者具备法律因果关系，承担相关法律责任。

就风险标准的例外而言，风险标准的例外就是对在无导向性的人工智能算法系统以及人工智能机器人不作为的行为进行法律因果关系认定。我国目前法律制度规定的自然人、法人、非法人组织三种主体在人工智能行为中应该予以明确。因为从目前人工智能的发展趋势上看，自然人、法人、非法人组织将会是并将长期会是人工智能行为中法律因果关系的主体核心部分。然而，对于具有独立意识的人工智能行为，是否应当给予独立的法律地位，存有争议。2016年欧盟法律事务委员会提起一份议案，提议将无导向性的人工智能系统、机器人定位为“电子人(Electronic persons)”〔44〕的法律主体地位。对此，我们认为该提议值得商榷。因为无导向性算法的人工智能系统、人工智能机器人并未真正面世，一切仅处于科学界的理论探讨当中，是否应当给予独立的法律地位需要考量实际产生的风险性、法益侵害性与社会危害性，且法律具有滞后性，现在直接给予法律主体地位实在言之尚早。相反，我们应当更关注行为人在该行为当中的风险承担。

对于无导向性算法的人工智能系统、人工智能机器人而言，由于此时行为人的消极不作为所能够制造与带来的风险性更大，所以对于行为人的风险性要求与风险范围必须予以扩展。例如，美国就有规定：“任何人不论是过失还是非过失地造成了某种‘危险状况’(Creating a Dangerous Situation)，都必须采取适当的补救措施以防止损害发生。”〔45〕此时风险标准在于将发生在危险范围内的损害招致责任的情况下放弃了因果关系标准。其实现今“随着企业社会责任(CSR)在全球商业环境中的日益突出，对企业责任的策略性和主动性的要求界限正在不断扩大”，〔46〕置之于人工智能的生产、研发、销售法人，更应该对人工智能系统、人工智能机器人等在法律责任上予以风险范围的扩展。其理由就在于行为人与一般人对人工智能行为引发的风险可能性认识上存在差别。如上所言，行为人对人工智能的技术认识属于“科技理性”，而审判时候对人工智能技术的客观认识属于“技艺理性”，自然基于专业知识不同带来的信息不对称，而对风险的认识也不一样。所以在法律因果关系认定中，除非行为人对消极不作为在风险认识存在合理理由的抗辩，如就目前技术发展水平而言不可预见，或者特定情景下行为人只具有一般人对风险的认识程度，否则应当认定具有法律因果关系，承担相应的法律责任。例如，目前针对人工智能无人驾驶汽车存在的风险性，国家和各地城市先后出台了《智能网联汽车道路测试管理规范》《北京市自动驾驶车辆道路测试管理实施细则》《上海市智能网联汽车道路测试管理办法》《广州市智能网联汽车道路测试指导意见》等文件，里面均规定人工智能汽车的风险控制在于测试，也即对于测试驾驶员管理、事故防范、事故处理、运行过程中的监控，都由测试企业承担主体责任。诚然，在认识和实践层面，具备人工智能专业技术知识的人比一般人更具有操控人工智能系统、利用人工智能机器人实施相关行为的风险性，所以其风险认识的一般标准在落脚点上自然更倾向于专业知识的自然人、法人、非法人组织。由此再基于不同责任的承担形式明确法律因果关系中责任的界限，厘清生产者、运营者与销售者、使用者的单独责任、共同责任还是连带责任。

当然，对人工智能的认识上存在的行为人与一般人认识差距带来的审判司法难题，则属于法律因果关系认定外的范畴。我们认为，可以通过整合社会力量，以设立人工智能技术的专业社会组织，聚集人工智能技术的专家、志愿者，为司法机关在审判中作出技术的评估与可预见性评判的报告，以此更好地促进解决人工智能的法律责任归结中对人工智能技术的认识理解难题。

六、结 论

面对人工智能技术、科学技术不断迅速发展的现代社会，法律不再被动地随社会变化而变化。相反，“法律跟随社会变迁并适应它，并扮演着一个很重要的角色。”〔47〕因此，本文的意义不仅在于人工智能行为的法律因果关系认定问题本身，而且更在于揭示面对人工智能的外部系统风险带来对法律内部系统的冲击、挑战的时候，法律系统应该选择什么样的路径去适应、变迁的问题。卢曼系统论为该问题提供了冷静客观的理论视角，通过对外部系统的特征观察与沟通：以人工智能系统的指令行为、人工智能的机器人行为与有导向性算法的人工智能行为、无导向性算法的人工智能行为作为切入点；通过对内部系统中相当因果关系理论、可预见性标准理论不足的反思；通过融合来构建以现行法律系统为基础的系统模式来适应人工智能的挑战。因此，解决人工智能技术、科学技术迅速发展中外部风险带来的迷思，归根于法律制度的内部系统实现封闭性与开放性的有机统一，以回应社会的焦虑情绪，推动人工智能的发展治理与规制的决策发展。人工智能行为的法律因果关系适用于风险标准，可在人工智能语境下从人工智能行为的风险作为、风险不作为以及风险标准的例外，实现对人工智能行为法律因果关系的认定，进而实现行为归因与归责。

注释：

〔1〕〔英〕查尔斯·狄更斯：《A Tale of Two Cities》，北京：北京联合出版公司，2015年，第3页。

〔2〕参见孟珂：《拥抱第四次工业革命 中国准备好了吗？》，《人民日报·海外版》2016年7月4日，第11版。

〔3〕习近平：《决胜全面建成小康社会 夺取新时代中国特色社会主义伟大胜利》，《人民日报》2017年10月28日，第1-5版。

〔4〕张梦然：《霍金忧心人工智能取代人类》，《科技日报》2017年11月7日，第1版。

〔5〕郧彦辉：《数字利维坦：信息社会的新型危机》，《中共中央党校学报》2015年第3期。

〔6〕国务院：《国务院关于印发新一代人工智能发展规划的通知》，《中华人民共和国国务院公报》2017年第22期。

〔7〕对于人工智能法律风险问题，可参见如Sergio Ferraz，Victor Del Nero：《人工智能伦理与法律风险的探析》，《科技与法律》2018年第1期；马长山：《人工智能的社会风险及其法律规制》，《法律科学(西北政法大学学报)》2018年第6期。而对于人工智能机器人法律主体与责任问题，可参见如袁曾：《人工智能有限法律人格审视》，《东方法学》2017年第5期；刘宪权、胡荷佳：《论人工智能时代智能机器人的刑事责任能力》，《法学》2018年第1期。

〔8〕宏观化视角的研究，可参见如范忠信：《人工智能法理困惑的保守主义思考》，《探索与争鸣》2018年第9期；吴汉东：《人工智能时代的制度安排与法律规制》，《法律科学(西北政法大学学报)》2017年第5期。

〔9〕参见陈景辉：《人工智能的法律挑战: 应该从哪里开始？》，《比较法研究》2018年第5期。

〔10〕〔英〕芭芭拉·亚当、乌尔里希·贝克、约斯特·房·龙：《风险社会及其超越》，赵延东、马缨等译，北京：北京出版社，2005年，第7页。

〔11〕〔德〕乌尔里希·贝克：《风险社会：新的现代性之路》，张文杰、何博闻译，南京：译林出版社，2004年，第20页。

〔12〕〔美〕阿里夫·德里克：《全球现代性——全球资本主义时代的现代性》，〔美〕阿里夫·德里克：《全球现代性之窗：社会科学文集》，连煦、张文博、杨德爱等译，北京：知识产权出版社，2013年，第24页。

〔13〕彭飞荣：《风险与法律的互动：卢曼系统论的视角》，北京：法律出版社，2018年，第94页。

〔14〕〔德〕卢曼：《社会的法律》，郑伊倩译，北京：人民出版社，2009年，第70-71页。

〔15〕参见刘宪权：《人工智能时代刑事责任与刑罚体系的重构》，《政治与法律》2018年第3期。

〔16〕参见贾开、蒋余浩：《人工智能治理的三个基本问题：技术逻辑、风险挑战与公共政策选择》，《中国行政管理》2017年第10期。

〔17〕参见马治国、田小楚：《论人工智能体刑法适用之可能性》，《华中科技大学学报(社会科学版)》2018年第2期。

〔18〕孙晓东、曾勉：《法律因果关系研究》，北京：知识产权出版社，2010年，第12页。

〔19〕窦海阳：《论法律行为的概念》，北京：社会科学文献出版社，2013年，第34页。

〔20〕芮沐：《民法法律行为理论之全部》，台北：三民书局，2002年，第73页。

〔21〕人工智能由于理论的复杂性、技术的前沿性，目前在理论上如何对人工智能作出明确的定义存在较大争议。但是对于人工智能的概念定义，不影响人工智能的技术发展、设备应用与进行相关的研究。参见蔡自兴、刘丽钰、蔡竞峰、陈白帆：《人工智能及其应用》，北京：清华大学出版社，2016年，第2-3页；参见袁飞、蒋一鸣编著：《人工智能：从科幻中复活的机器人革命》，北京：中国铁道出版社，2018年，第31-49页。

〔22〕参见Eckberg, Douglas Lee, and L. Hill,“The Paradigm Concept and Sociology: A Critical Review”,American Sociological Review,44.6(1979),pp.925-937。

〔23〕Luhmann, Niklas,“Globalization or World society: How to conceive of modern society?”,International Review of Sociology,7.1(1997),pp.67-79.

〔24〕Ashrafian, H.,“AIonAI: A Humanitarian Law of Artificial Intelligence and Robotics”,Science & Engineering Ethics,21.1(2015),pp.29-40.

〔25〕参见左卫民：《迈向大数据法律研究》，《法学研究》2018年第4期。

〔26〕参见Justice in robes，Belknap Press of Harvard University Press,2006。

〔27〕参见王永建、铁小辉、董真、陈伟东：《一种人工智能搜索算法的改进研究》，《通信技术》2017年第2期；王蕴韬：《人工智能算法梳理及解析》，《信息通信技术》2018年第1期。

〔28〕参见Dennett,Daniel C.,et al.,“The Practical Requirements for Making a Conscious Robot 〔and Discussion〕”,Philosophical Transactions of the Royal Society A-Mathematical Physical and Engineering Sciences,349.1689(1994),pp.133-146。

〔29〕Muzyka, Kamil,“The Outline of Personhood Law Regarding Artificial Intelligences and Emulated Human Entities”,Journal of Artificial General Intelligence,4.3(2013),pp.164-169.

〔30〕技术无责是指如果行为人研发、销售的产品技术可能被广泛应用于合法的、不受争议的用途，就不能仅仅因为该产品技术被其他用户所利用来实施侵权与犯罪行为就推定行为人具有帮助的意图并承担责任。目前在美国、日本的最高法院均有认可技术无罪观点的司法判决。详可参见黄旭巍：《快播侵权案与技术无罪论》，《中国出版》2016年第23期；刘艳红：《网络中立帮助行为可罚性的流变及批判——以德日的理论和实务为比较基准》，《法学评论》2016年第5期。

〔31〕参见H.L.Hart,The Concept of Law,Oxford:At the Clarendon Press,1961,p.124。

〔32〕Kearns, Thomas R,“Open Texture and Judicial Law-Making”,Social Theory & Practice, 2.2(1972),pp.177-187.

〔33〕参见叶金强：《相当因果关系理论的展开》，《中国法学》2008年第1期。

〔34〕刘海安：《法律上因果关系的反思与重构》，《华东政法大学学报》2010年第4期。

〔35〕〔36〕参见Seavey,and A.Warren. Mr.Justice Cardozo and the Law of Torts.Yale L.j 3(1939),pp.387,387-389。

〔37〕于雪锋：《侵权法可预见性规则研究——以法律因果关系为视角》，北京：北京大学出版社，2017年，第94-95页。

〔38〕Nobles, Richard, and D. Schiff,“Luhmann: Law, Justice, and Time”,International Journal for the Semiotics of Law - Revue internationale de Sémiotique juridique, 27.2(2014),pp.325-340.

〔39〕〔德〕卢曼：《社会、意义、宗教——以自我指涉为基础》，〔德〕卢曼：《宗教教义与社会演化》，刘锋、李秋零译，北京：中国人民大学出版社，2003年，第7页。

〔40〕劳东燕：《风险分配与刑法归责：因果关系理论的反思》，《政法论坛》2010年第6期。

〔41〕See A Restatement(Thrid) of Torts:Liability for Physical Harm,s.29.转引自刘海安：《法律上因果关系的反思与重构》，《华东政法大学学报》2010年第4期。

〔42〕〔美〕哈特、〔美〕奥诺尔：《法律中的因果关系》(第二版)，张绍谦、孙战国译，北京：中国政法大学出版社，2005年，第257-258页。

〔43〕参见刘甦：《“人工智能”违法？犯罪主体依然是人！》，《新民晚报》2017年12月26日，第19版。

〔44〕参见Lewontin, Max,“Should Robot Workers Be Considered ‘Electronic Persons’? ”,The Christian Science Monitor,〔Boston, Mass〕23 June 2016。

〔45〕〔美〕文森特·R.约翰逊：《美国侵权法》(第五版)，赵秀文等译，北京：中国人民大学出版社，2017年，第118页。

〔46〕Jooyoung Park,Nohora Díaz-Posada,Santiago Mejía-Dugand,“Challenges in implementing the extended producer responsibility in an emerging economy: The end-of-life tire management in Colombia”,Journal of Cleaner Production,189,2018,pp.754-762.

〔47〕Stephen Brickey, Elizabeth Comack,The social basis of law: Critical readings in the sociology of law,Garamond Publication,1986,p.8.