人工智能企业的风控框架

鲍勇剑 涂威威 袁文龙

风险代表着人们对负面影响事件的概率评估。风险因素也许来自外部力量，也可能由内部薄弱环节引发。风险对企业的存在、运营和发展带来威胁。人机共处的企业中，人工智能作为外部和内部活动的枢纽中介，也必然成为各类商业风险集中出现的领域。

在《常态事故》（Normal Accidents）中，已故社会学家佩罗（Charles Perrow）极有预见性地指出：在提高生产力的同时，技术创造了一个强关联的系统，它必然制造风险。事故不再是意外事件，而是强关联系统的常态。佩罗的预见在人机共处环境中得到充分体现。

人工智能是一种系统能力，可以解释和学习外部提供的数据，并利用数据学习能力去实现设定的目标，完成规定的任务。在此过程中，它能够通过机器学习的反馈回路，不断灵活调整和适应与外部环境的关系，以至于能够在合适的时空情境下，作出合适的选择。环顾左右，我们知道，人工智能已经深入到人类经济活动的各个方面。

据普华永道会计事务所估算，到2030年，人工智能及其应用对全球经济会产生15.7万亿美元（$15.7 trillion USD）的经济影响，大约接近中国2021年的GDP（$17.8 trillion USD）。除了规模，人工智能深入企业活动的程度也从点、线到全系统。以人工智能企业第四范式为例，其应用从增强企业单个功能发展到涵盖产、供、销、研、客服、物流全系统的智慧企业方案。普及的人工智能也制造了一个新型的强关联系统，由此派生的管理风险对许多企业还似初识。

因此，建立对人工智能企业风控的全面认知刻不容缓。本文意图提供一个系统的风控框架，帮助企业识别人机共存现象中的新型风险。

已故科学家霍金（Stephen Hawking）曾警示：人工智能会带来人类生存层次的危机。在哲学上，人工智能确实提出许多宏观科学哲学问题。在技术建模过程中，工程师会遇到各种各样的数据代码问题，引发系统错误。在公共政策方面，人工智能引发对社会控制和影响能力的合法性的关注。不过，这些不是本文的重点。人工智能已经被引入企业管理全系统，本文侧重讨论它连带产生的企业管理风险。人工智能在企业战略、日常运营、组织结构和企业文化四个方面都会衍生新型风险，将之综合在一起，可组成一个人工智能的企业风控框架（见图1）。

公元前3500年，在美索不达米亞的幼发拉底河流域，人们每逢大事就会询问当地巫师能否成事。巫师会评估正向和负面因素，并在泥板上标出比较分析的结果。中国古代的《易经》也为决策者提供未来情境的组合分析。它们可以被视为人类最早的风险思维和对外部灾害的规避活动。不过，规避外部灾害和风险管控有区别。前者是被动认识，后者代表人们的主动认知能力。

风险，特别是技术风险，是一个现代概念。风险指的是可能发生的意外或失误的概率，以及对计划中的活动带来的损害与冲击。它与早期朴素的避祸意识有差别。避祸是假设灾害来自外部环境因素，人们无法影响和控制，只能选择躲避。风险是一个概率问题，对它的影响，人们可以防范、避免、降低、补偿、恢复。简言之，通过人们有意识的管理活动，风险能够得到控制。

本文建议的风控框架就是识别人工智能的连带风险并加以控制的一套管理步骤。以下，先指出四类风险的问题性质，分析它们的来源，然后提出风控建议。因为人工智能对企业活动的系统改造还是一个进行时态现象，这一框架只能是基于现有情况的总结，并需要与时俱进。本文的贡献在于汇聚零散的风险分析为一个系统框架，并为将来的批判和反思提供一个集中的靶向。

2018年5月25日，欧盟的数据保护规范（General Data Protection Regulation， GDPR）正式生效。许多AI公司猝不及防，不得不暂时停止在欧洲的业务。事实上，欧盟在2012年就颁布了规范，并说明生效时日。如果在欧洲有业务的公司董事会理解它对数据收集和使用的影响，企业是有足够的时间采取技术措施，适应变化的。遗憾的是，许多企业的董事会成员缺乏人工智能知识，无法适时反应。

董事会没有在治理结构层面设计和推行有针对性的政策只是AI战略风险的一个表现。另外两个普遍的表现包括企业高管看不到AI改变商业模式，以及引入人工智能初期可能存在的价值冲突。

例如，美国滨州的一个地方政府人文服务部与人工智能公司合作开发了“反虐待儿童”软件 “AFST”（The Allegheny Family Screening Tool）。通过综合各个部门的信息，这一软件可以对本地儿童是否可能遭受家庭虐待作出风险评估，还能提出有预见性的干预措施。可是，在实施时，发现一个重大问题。卫生部门接到紧急求助电话的频率是预防软件的一个重要参数。黑人家庭拨打医疗求助电话的频率一般高于非黑人家庭，尽管对求助电话频率参数作过加权，系统还是给黑人儿童受虐待以更高的风险值。当软件推出后，公司和政府机构都受到各界严厉的批判。对这一有明显种族歧视的技术分析后果，董事会无疑是监管缺失、反应迟缓的。

造成董事会成员反应迟缓的一个根本原因是存在认知代沟。董事一般是事业有成的商业精英，他们的知识结构形成于10-20年之前。对于最近10年兴起的人工智能，董事们缺乏必要的知识准备，存在认知代沟。和大多数管理者的认识类似，董事会成员了解AI能促进流程自动化、生产规模化，能提高生产效率。但是，对AI的全系统影响以及外部监管的反应，他们有认知盲点。这直接体现在治理结构的缺陷上。治理结构涉及企业战略中的大关系、长远发展目标和根本规范。董事会成员的认知代沟致使他们忽略人工智能带来的颠覆性变化。

如果企业高管只是关注人工智能对生产效率和规模的正面效果，就可能造成决策短视。初期，改造现有流程的效率，降低成本，这是管理者对新技术的起始诉求。但是，随着技术和应用的演变，高管必须要站在商业模式的高度思考，人工智能怎样创造新的价值、新的客户关系和新的竞争能力。从已经发生的实例看，高管需要理解人工智能不仅可以改变怎样做，还能影响做什么的问题。做什么？怎样做？在哪里创造差异化的价值？当人工智能直接触及到这些问题时，企业需要重新想象自己的商业模式。

另外，强大的AI技术有可能带来道德风险，并有违于公司的核心价值观。与过去的技术相比，人工智能更能够刺激和培养特定的消费行为。而消费过度成瘾的时候，它就成为一种道德伦理的挑战。强大的AI技术还可能在服务特定客户的同时，对制度规则和其他利益相关者造成间接、灰色、滞后性的伤害。

一个典型的企业案例是“脸书”（Facebook）。脸书的后台AI技术可以识别使用者的兴趣偏好，并加大推送同一类型信息。许多患有厌食症的青少年，因为不断收到推送的同类信息而强化了厌食行为。在美国2016年大选过程中，一家名为“剑桥分析”（Cambridge Analytics）的咨询公司与脸书合作，利用AI技术，控制社交媒体中的政治话题信息，影响选民的投票行为。公司的一些员工明确反对利用技术操纵选举的做法。后来，剑桥分析被告上法庭，这些员工成为了法庭证人。

在人工智能应用领域，商业实践和公司价值观相违背的现象屡屡出现。原因很多，其中最突出的一个是利用AI实现单一目标，缺乏制约和平衡。当AI被引入企业时，它往往与一个显著的需求相关，例如识别和强化某种消费和信息使用习惯。但是，强大的AI技术也会带来负面溢出效应，例如操纵政治的能力和制造病态消费习惯。它们与公司和员工的社会价值观发生冲突，最终不仅離散人心，还可能给企业致命一击。剑桥分析这家公司后来以破产告终。

哈贝马斯（Jurgen Habermas）说：真理就在比例中！对于越来越强大的人工智能，把握它的适度性不是一件容易的事情，特别是关系到主观性极高的价值观。人工智能企业也发现，没有一付通用的妙方能解除AI涉及的道德风险。比较合适的方法就是始终保持关注，始终以反思和反省的态度看待技术的社会影响。为此，设立公司内部的伦理委员会，邀请外部伦理专家做第三方检验，借鉴行业经验和教训，是AI企业现行的风控实践。

另外一个有用的方法是做“蒙眼品尝”（Blind taste）。可口可乐和百事可乐曾经有过“蒙眼品尝”的营销方法，把商标拿掉，让消费者直接品尝味道来评估喜好。专家建议，借用同样的逻辑，用不同的训练数据建立人工智能预测模型，包括拨打紧急医疗电话的数据。然后，从模型中抽出特定性质的数据，例如紧急医疗电话，看模型是否仍然可以提供有效的预测。这个设计能解决模型某个参数造成的自我循环、自证合理的问题。

人工智能的道德风险将始终挑战管理者的认知。就像著名的道德困境——“滑轮车困境”（Trolley dilemma），是否让滑轮车改道，实则是一个是否可以牺牲少数、救助多数的两难选择。无论在自动驾驶应用，还是自动化替代人工的管理决策上，人机共处的企业将不断遇到两难的道德困境。这要求最高决策者从战略的高度正视这种风险，并通过集体反思，做出符合当地具体情况的选择。涉及到人工智能的道德风险，人既是问题的制造者，也是答案的唯一来源。图2概括总结了战略风险方面的问题、分析和方案。

AI应用在交通工具中已经很普遍了，可是，车主对AI的功能却有截然不同的反应。车主可以接受AI对道路选择的建议，但不太愿意选择AI的自动驾驶功能。研究表明，人工智能时常遇到“真实性”偏见（Authenticity）的挑战。在车主看来，路况建议的AI功能是一种“客观”的真实，可以接受；而自动驾驶功能则涉及道德判断的“主观”的真实，一般难以接受。心理学家早就指出人在决策过程中受到多种偏见的影响，例如寻求确定的偏见（Confirmation bias）、感知框架的偏见（Framing bias）、归因的偏见（Attribution bias）、锚定偏见（Anchoring bias）等。对人的认知和决策偏见，管理学已经逐渐摸索出一套对应和适应的方法。但是，对人工智能技术引发的新偏见，例如“真实性”偏见，管理学还没有比较好的应对方法。在运营互动过程中，新偏见也连带出新风险。

加州伯克利曾经发布一份极有行业影响的报告，指出美国金融公司智能算法支持的服务比人工服务收费低40%，但算法对少数族裔申请的房屋按揭收取额外的利息。类似情况在英国和新加坡也出现过。现在，各国对智能算法运用过程中的公正性有鼓励政策，但是，是否执行和怎样执行，还取决于金融公司的实际操作。因为监管者的专业知识水平滞后于人工智能企业，政策只能暂时鼓励自我监管。这增加了企业创新的宽松度，但也带来事后问责的风险。

自我监管不尽人意的例子很多。2018年，网络企业亚马逊的人事招聘算法被发现存在性别歧视，自动降低女性申请人入围概率。几年前，苹果公司的信用评级系统也出现对女性消费者的歧视。苹果创始人伍兹尼亚克（Steve Wozniak）的信用额度是他妻子的10倍，尽管他们的财务和账户是完全共享的。这些错误不仅增加了运营中的法律风险，也不利于优化运营过程的效率。

运营风险还发生在互动过程中。它包括内外利益相关者之间的互动。首先，它表现在不可理解和难以解释的风险上。员工对人工智能自动给出的建议也许不理解；客户、消费者对人工智能的反馈也会感到有失常理，不可理解。其次，它表现在难以举证性上。对人工智能选择决策的后果，系统本身难以在事后举证它的合理性和合法性，这种情况在监管部门检查和审计人工智能造成的不良后果时经常出现。

运营风险还表现在内置的偏见上。人工智能的强化学习起始于训练数据。如果训练数据有偏见，人工智能会强化这种偏见。AI模型是工程师建立的，建模工程师自身的认知偏见也容易内置在系统中，最终造成负面效果。内置的偏见与能够使用的训练数据库有关。企业在建立AI应用时，往往从内部的少数人成功的行为过程开始。而这些人的成功已经受到诸多社会因素影响，例如种族、教育背景、家庭收入、社会关系等。这些隐性变量也同时通过训练数据左右AI的强化学习，并成为决策规则的一部分。

互动过程的运营风险源不止是工程师，还有使用者。微软曾经为推特打造了一个谈话机器人（Chatbot），但很快就取消并下线。因为，在互动过程中，使用者各种各样的污言秽语和种族歧视言论把谈话机器人带坏了。由此，我们看到，运营风险既可能来自内部，也可能来自外部。

AI系统遭遇监管质询时，难以举证合理性。因为系统变量从千万级到亿万级，很难挑选和分辨出是哪一个单独变量导致决策失误和不良后果。特别是监管本身有滞后属性，一般发生在社会不良后果已经形成的时候，这为溯因举证带来困难。例如，蚂蚁金服曾经能够利用阿里生态中的各种数据，自动生成对小微企业的商业贷款决定。这个过程调动超过3，000个数据来源。如果有企业质询阿里算法的合理性，蚂蚁金服很难解释怎样由这3，000个数据来源推导出商业决策。换到一个严监管的环境，比如欧盟，这套算法就会立即遭遇监管危机，因为企业有责任解释消费者获得不同服务的依据。算法的难以解释性成为运营风险的一个要素。

导致不可理解性和难以解释性的因素很多。概括起来，主要是下面几个原因：一是机器运作逻辑和人脑思维逻辑不一样；二是人的思维受有限理性和直观情感规则影响；三是人的思考往往是线性推理的，抓大放小、有始有终，而机器则可以面面俱到，平行运转，来回往返；四是社会互动过程的复杂动态特征，人工智能不一定能涵盖社会文化中隐性和微妙的变化。

简而言之，人工智能运转过程不需要也不依赖人的理解性，也不一定需要善解人意。对人而言，它是一个黑箱过程。这是AI机器学习强大的原因，但也造成互动过程中的不可理解性和难以解释性。

也是因为受到监管的倒逼，运营风险是各类风险中首先被重视的。过去，人们认为人工智能运营过程的黑箱是无法避免的技术特征。现在，多种解决方案进入试错阶段。它包括提升运营过程可视化水平，用自然语言解释代码模型和运营过程，帮助监管者和消费者理解AI决策的依据和逻辑。现在也已经有允许溯因、文件留档和过程示警的机器学习模型。例如，IBM的开放源平台（Watson OpenScale platform）已经可以支持决策溯源需求。另外，事先审核训练数据库的隐性偏见、内置识别偏见的变量、培训提高工程师的社会意识等措施也在行业中推广开来。

消除工程师的自身偏见，也可以通过人力资源政策来推行。一些企业积极雇佣少数族裔、女性和新移民工程师，他们的世界观和文化背景为企业多元化增添力量。多元化是对冲单一思维带来的偏见的好方法。如软件行业的莱纳斯法则（Linus’s law）所言：有足够丰富的眼球，任何错误都是肤浅的。

在降低运营风险的实践中，法律领域相对比较积极。它与错误后果的严重性和监管的力度有关。法律领域的人工智能对当地具体情况、小数据和厚数据更加敏感。一个预测判断减刑犯人是否会重新犯罪的算法不仅涉及到个人命运，还关系到社区安全。因此，法律领域的人工智能更重视以特征数据为中心，用特别的价值回归模型（Shapely analysis）来训练机器学习社区动态变量，避免广谱性、通用算法带来的预测错误。

总之，人机共处企业中，运营风险一直会有，但是风险对冲的方法也层出不穷。图3概括了运营风险的问题特征、来源分析和应对方案。

组织结构为战略服务。任务性质、决策角色和权威主导组织结构设计。当人工智能进入战略层面后，传统的结构设计就不能满足新的战略要求，这会带来结构性风险。

在本刊曾經发表的一篇文章《高维智慧企业的认知协同策略》（2021年第7-8期）中，笔者分析，人工智能化的企业中，任务分工的基本特征发生重大变化：从劳务分工（Division of labor）演变到认知协同（Cognitive collaboration）。任务决策出现决定（Decision）、反思（Deliberation）、设计（Design）和探索（Discovery）四种认知活动范畴。在AI支持下，大多数日常活动都可以自动化，可以由机器去“决定”，而其他三类认知活动，则要求不同风格和方式的人机协同。在人工智能的机器这一面，强化机器学习，有监管和无监管的机器学习、神经网络机器学习等工具为人机协同展开一个广泛的选择区域。但是，受制于自然人的学习能力、有限理性（计算、记忆和感知能力的有限性）和去学习能力（Unlearning skill），自然人往往自陷于组织遗留下来的结构选择。机器可以同时接受等级制结构、扁平结构或者二者任意程度的组合、变化，而员工有历史性依赖，很难随工作任务的境遇做灵活、共时的切换。当员工必须与机器协同工作时，结构风险便出现了。

人工智能化的企业的结构风险主要体现在三个方面。

第一，A I赋能后，组织的核心流程发生重大变化。它包括：数码化（D i g i t i z a t i o n）——纸质信息记载方式转换为数码存储和交换；数字化（Digitalization）——工作任务和流程通过互联网、社交媒体和物流网方式执行；数据化（Datafication）——以有质量的数据形式整理企业资产，在高质量数据分析的指引下组织企业资源和能力；数字孪生（Digital twin）——企业的存在和能力同时具有物理实在形式和虚拟数字形态。以这“4D”为基础，企业重新审视核心业务流程。这个过程中，企业既需要等级结构，又需要扁平结构，而且在特定情境中，两种结构共存，两种结构随情境转换。这样的灵敏组织结构要求超过传统结构的支持能力。实践中，已经AI赋能的核心流程由于得不到对应的组织结构支持，造成重重矛盾。

第二，在可以完全自动化的工作任务环境中，机器主导决策；在涉及复杂人际关系的任务环境中，机器辅导人决策；在政治敏感性强的任务环境中，人主导决策；在探索性的任务环境中，人引导决策。因此，人工智能化企业既要求员工有不同程度的认知能力，又需要人机认知能力之间的高度协同。在前三次工业革命（机械，电气，信息）中，人与技术都经历了很长的磨合期，这次也不例外，甚至更严峻。两种组织能力要耦合为一股，它必然经历上上下下的波折。

第三，AI赋能后，工作任务属性发生变化，工作角色的权威性不同于往常。人工智能技术的显著地位让员工产生被边缘化和工作异化的心理感受，这影响到员工对企业的忠诚度、归属感和工作承诺。

为控制结构风险，人工智能化的企业摸索出一系列方法。首先，企业认识到核心流程与为客户创造价值之间的密切关系。梳理出核心流程，然后实施数码化、数字化、数据化和数字孪生。这四个步骤的每一步都试图将之与人工智能的应用相结合。而组织结构设计必须服务于核心流程的人工智能化。建构人工智能赋能的核心流程，人机共处企业要思考下面几个问题。

第一，在人工智能支持下，企业规模不再是竞争优势来源。规模不是竞争要素后，企业的核心竞争力出现什么变化？

第二，与外部供应链上下游之间的协同成为一个竞争热点和弱点。如此，我们管理专长有多少是放在与外部协同能力上？供应链之间因为紧密联动而始终隐含风险，我们有没有识别和应对的管理专长？

第三，假如竞争者可以用人工智能算法快速复制我们的核心流程，我们在成本上的优势和劣势如何？假如有成本优势，它能持续多久？

第四，赋能后的核心流程是否能够为新的客户、新的价值形式服务？例如数据分析演变出预测服务、战略情境分析等。

第五，赋能后的核心流程是否为企业带来跨界合作和联盟的机会？例如，本来用于预测性物流的算法能力可以成为与运输企业合作的资本。

除了核心流程结构改造之外，为消除员工对人工智能的恐慌心态和抵触行为，企业要率先从对员工能产生增强效果的工作任务开始。让员工直接感知到人工智能带来的好处。同时，企业应该选择一组相关性高的工作任务和流程，厘清它们之间相关性的性质和方向。然后，利用人工智能，同步提升这一组工作任务的效率。如果只是提升单个功能的效率，只会对有强关联的工作任务产生压力，让其他工作岗位的员工更加焦虑。同时提升一个群组的工作任务流程，能够对各个流程中的员工表现产生正反馈，让整个群组的员工有获得感。图4概括总结了结构风险的问题和解决方案。

在人工智能对企业文化影响的讨论中，一个有误导性的趋势是强调“数字信任”文化，认为包括区块链在内的去中心化数字技术会根本性地改写组织内部和组织之间的信任文化。这是一种不全面的认识。笔者曾经在本刊发文（《区块链改造组织信任》，2018年第10期）指出，区块链解决的是不信任问题。而信任与不信任不是一个共同维度上的两个极端。消除或降低不信任当然会促进信任。但是，影响信任的因素有人们感知到的专业能力、仁慈和友善的品质，以及相互欣赏的情感。至少，到目前为止，人们还很难在相互欣赏的情感方面建立起与人工智能技术的关系。因此，强调用人工智能建设与客户、消费者和员工之间的信任文化，是不全面的，甚至是一种误导。事实上，但凡涉及到道德判断和价值评估，消费者和员工对人工智能都有信任问题。这种文化风险将长期存在。怎样建立人机共处环境中的团队信任是这种文化风险中的突出问题。

另一个文化风险是关于劳动价值和商品价值的。深圳郊区的大芬村是一个全球著名的“画家村”，以模仿外国油画作品知名。几年前，模仿凡高画了2万幅作品的赵小勇先生终于有机会访问欧洲。站在凡高原作面前时，赵先生才深深感受到原创和复制之间的区别。人工智能指数级提升企业生产的規模化效应，其模仿再生产的能力影响消费者对产品价值的心理评估。机器人饭店的饭菜可能保持了大厨原创的色、香、味。可是，消费者的心理感知是一个复杂且微妙的过程。缺少的一种气氛会让机器人饭店给人一种养鸡场投喂的感觉。类似的价值评估也会发生在企业员工的心理活动中。在许多领域，工作越来越成为人的第一需要，是人定义组织身份和建立集体心理身份的必要功课。人工智能赋能后，当功课变得极其容易的时候，工作的异化和心理的空虚则演变为新的问题。企业是机器的组织，还是人的组织？这涉及到文化价值观的风险课题。

第三种文化风险来自于探索性和创新性工作任务的模糊性。人工智能容易在效率提升领域率先获得成功，因为效率和成本范畴的因果变量关系容易指认，容易设计自动化流程。而探索和创新工作任务的战略目标往往是模糊的、变化的、难以量化的。探索工作任务的表现更难定性和定量。这带来人工智能化过程中的两极分化现象。创新工作能否实现预先设定的目标还取决于许多偶然因素。这样，人们更加愿意选择能很快显现具体表现的任务。组织的资源也会向成功结果可视性高的任务倾斜。长此以往，将损害企业的创新文化，影响企业持续发展。

控制文化风险可以从下面几个方面着手。首先，理解信任不仅要有技术支持，更要有人与人之间友好的互动，情感信任和专业能力信任同样重要。人工智能技术在情感信任方面的功效是有限的。为克服人机共处企业环境中的团队信任问题，可以从三个方面开始。

第一，建立团队成员之间对彼此能力的信任。认为队员有执行任务的能力，可以依靠他们的专业能力，这是团队信任的基础。因此，要让人工智能普遍地对每个员工赋能，避免机器不平均赋能加剧团队员工的能力差别。

第二，支持团队成员之间积极的互助。在战场上，战友可能会冒着生命危险救助受困的伙伴。在商场中，队员也许会放弃一些自己的工作业绩，成全落后的伙伴。在人工智能的模型中，这些举措会被标识为非理性的行为。但是，正是这样的相关救助强化了团队信任。企业要有机制识别互助行为，并可以置人性决策于人工智能决策之上。

第三，鼓励以团队为建制，使用人工智能工具，培养对人工智能预测功能的使用能力。像任何专业领域一样，团队成員对技术的理解能力是有差别的，个人专业水平有高低。因此，使用人工智能过程中，判断水平会参差不齐。如果以团队为建制，并肩工作，集体判断，不仅会提升个别队员的判断水平，也能够增强全体成员对人工智能的预测功能的信任。

在建立社会信任方面，企业要建立AI为人服务的价值观。企业要利用正式和非正式的方式宣传，让人工智能为良善的社会关系服务。针对人工智能在支持效率活动方面表现突出的特征，企业高管要对探索性、创新性的任务有不同的规划，对任务表现有对应的评估标准，对失败的结果有“庆祝新鲜的失败”的态度。需要强调的是，人工智能技术也同样可以为探索创新任务服务，重点是在对结果变量的考核评估上。评估标准改变，照样可以利用人工智能的增强功能。

如何在人机共处企业推崇信任文化？IBM公司的做法有参考价值。首先，在董事会层面建立人工智能和伦理委员会，向全公司传递一个重要信号：人工智能是战略大事件。第二，对于人工智能的开放和利用，向全体员工发布“信任和透明”指导原则，破除围绕人工智能的迷思，帮助全体员工理解为什么、怎样、在何处应用人工智能。第三，坚持与值得信任的外部伙伴合作，从源头防范来自外部合作者的风险。2020年，IBM加入“人工智能伦理的罗马倡议”，积极参与欧盟关于人工智能应用的规则制定，这为企业寻找可靠的合作者提供一个广泛的朋友圈。第四，为人工智能技术建立开源代码做贡献。IBM有一个“公平AI”开源代码工具箱（AI Fairness 360），这个工具箱帮助志同道合的外部合作企业建设一个信任社区。

总之，人机共处企业的文化风险主要与社会信任、组织价值和创新战略有关。人工智能对这三方面长期的影响不容忽视。图5概括总结了文化风险的问题和解决方案。

需要指出的是，上述四类风险不是单独存在的。它们之间有极强的关联性。当一类风险得到妥善控制后，其他三类风险的管理也会更加顺利。四类风险之间的关联性和性质则是未来值得研究的课题。人机共处的类型可能会有多种形态，不过，企业风控框架的基本维度具有稳定性。管理者可以根据形态的具体特征对风控框架做调整。

人机共处时代的企业管理有两个令人担忧的现象：一个是对人工智能效益的重视远远高过对风险的关注；另一个是以单独和割裂的态度对待系统风险问题。而这两个现象又会反噬技术效益。本文建议用系统和辩证的态度看待人机共处的效益和风险，因为当代社会的枢纽性活动已经从如何生产与分配社会资源的问题转移到如何实施风险管理的问题。

已故社会学家乌尔里希（U l r i c h Beck）在他的开创性著作《风险社会》中指出，风险的产生、外溢、分布、防范和控制已经成为现代社会的管理纲要，纲举目张。他分析现代社会之前的社会形态有一个共同的特征，即围绕着社会资源的生产和分配来组织人类社会。而技术的大发展已经使其从被利用的工具变成改造社会的力量。同时，与经历过亿万年除错过程的自然界不一样，人造的技术尚在使用中除错。因此，它必然带来风险。技术力量越大，风险程度越高。这就是我们目前面临的人机共处的世界的核心矛盾。我们的研究不过是理解和缓解这一核心矛盾的尝试。

有一种风险未被包含在上述框架中。它就是可能的极端不确定性，也是经济学家奈特（Frank Knight）所定义的“无知的未知”（The unknown unknown）。人工智能是否潜藏对人类的灭绝力量？这个问题属于“无知的未知”，即我们“不知道所不知道”的现象。藏身其后的极端不确定性可能带来灭绝危机。牛津大学“人工智能研究中心”的博斯特伦（Nick Bostrom）指出，当我们看到极端不确定可能带来灭绝危机时，一切已经太晚，命运将无法改变。有些技术信仰者认为这是耸人听闻，他们相信一切皆可控制。只有读过《百年孤独》，人们才能体会那幻影般不可知的力量能如何扭曲制造光怪陆离的人生。待到能够体会时，改变已经不可能。

《百年孤独》是一部拉丁美洲的魔幻现实主义作品。哥伦比亚作家加西亚·马尔克斯（Gabriel Garcia Marquez）描述了布恩迪亚家族百年七代的兴衰、荣辱、爱恨、福祸、文化与人性中无法逃避的孤独。小说中的人物时而通鬼神，时而钟情于科学技术。每一代人各有奇诡的折腾方式，却总是以孤独命终。无论他们如何上天入地，通鬼拜神，这七代人还是被神秘的外部力量笼罩。孤独无意义注定是他们的宿命。

了解欧洲外部力量几个世纪以来对拉美社会的摧毁性打击是理解《百年孤独》的钥匙。加西亚·马尔克斯曾经近乎绝望地表示：“拉丁美洲历史是一切巨大然而徒劳的奋斗总结，是一幕幕事先注定要被人遗忘的戏剧总和。”1518年，骑着高头大马的西班牙人科特斯（Heman Cortes）出现在墨西哥时，当地的阿兹台克土著人完全懵了。从军事技术到社会文化，欧洲对当地人而言是完全未知的新现象（unknown unknowns）。人数上有绝对优势的土著人首先在思想上被征服，然后遭受肉体的杀戮而无还手之力。在拉美的场景里，看到极端不确定性出现之时已经是终场的前戏。

人工智能会带来另一幕拉美剧情吗？我们宁可信其有，不可信其无！