有效的风险管理是企业成功使用AI技术的关键

德勤中国

AI可以提高运营效率、降低成本，同时还有助于企业实现战略转型，更多、更好地融入用户参与。然而，一些客观限制条件，都在或多或少地阻礙着金融服务企业大范围的推广使用AI技术。为了充分利用AI技术的优势，并且避免未来可能出现的问题，企业必须从风险的角度仔细考虑AI的影响。在这种环境下，有效的风险管理已经不再是抑制创新的因素，而是公司成功使用AI技术的关键。

近些年来，金融服务业因对客户和市场的失当行为，从而受到众多经济上及其他形式上的制裁。由此产生的对于公平对待客户和保证市场诚信问题，以及AI技术在监管领域中未经测试与未经检验的特性的关注，都意味着金融服务企业对于采用AI解决方案应该时刻保持谨慎。

德勤认为，企业面临的重大挑战不是在处理全新类型的风险，而更多应该是关注那些难以用有效且及时的方式去分辨的风险，或它们已经以不同以往的出现方式而显现的风险。 在这篇文章中， 我们将讨论企业应该如何重新审核并调整现有的风险管理框架，以反映当部署复杂AI应用时企业需要关注的一些重要差异。

比如，AI可以不断地从新数据中学习，并通过建立复杂统计模型，而后得出结论。但这种结果并不是基于那些明确且预先定义好的规则，这就让企业难以理解这其中支撑最终结论的决策机制。 在许多方面，这种挑战与面对管理人力资源时所面临的挑战非常相似。

然而，不断发展的AI技术使其可审计性以及可溯源性变得异常困难，并且这种技术发展的速度可能会导致在极短的时间内产生大规模的错误。

企业需要重新审核并且更新他们的风险管理方式，从而在不同的风险管理框架全生命周期（识别、 评估、管控、监督）阶段管理风险。不断发展的AI技术要求这些风险管理方式必须在更短更频繁的时间间隔内得以应用。现有的风险偏好声明也同样需要重新审核，并且需要添加一系列新的内容，比如公平性原则等，以便为风险管理框架的各个阶段提供信息支持。

本文旨在成为一个理解AI对于现有风险管理方式和更为广泛的监管环境的影响的起步点。通过强调这些需要关注的领域，我们希望帮助企业能够在制定AI政策时，或者更具体来讲，在制定AI风险管理框架的时候，为它们提供更加高效的解决方案和监管机制。

企业大规模采用AI技术时可能会遇到的挑战

自从2008年的国际金融危机之后，金融服务企业一直致力于提高自身成本效益，并在利润压力下保持竞争力。为实现这一目标，他们所关注的其中一个领域就是技术，并在过去几年中开始更多地去使用AI技术。然而，采用AI技术的方式并不是唯一的，有很多原因导致出现了这种情况。

关于AI应该应用于何处的不同观点

德勤最近对与欧洲财务管理协会（EFMA）合作的3000多名企业高管调查显示，AI能对其公司产生最大影响的活动和功能因行业而异。

总的来说，从这份调查我们可以看到，在金融服务企业中采用AI技术还仍处于起步阶段。在接受调查的公司中，有40%的企业还仍在学习如何在他们的公司中部署AI，11%的企业还没有开展任何这方面的活动。只有32%的企业已经开始参与开发AI解决方案。

数据数量与质量

AI与传统技术解决方案的一个最重要的区别是，后者常常在那些需要用预先设定清楚的规则框架内完成任务。然而，AI应用可以自行分析数据来进行模式识别，并以此为基础来制定决策。此外，AI还可根据给出的数据进行一次性或不间断性的学习来完善决策制定机制。

这意味着每一条AI系统所给出的建议都对所处理的数据的数量和质量十分依赖。总的来说，AI解决方案所遇到的最棘手的困难就是缺少大量高质量数据。对于金融服务企业，因为受到普遍使用的传统系统和组织架构的限制，阻碍了数据之间的无缝流动，并在某种程度上影响了数据质量，导致问题愈发加剧。

透明性、可审计性与合规性

一些AI解决方案拥有许多有关决策制定的隐藏层，都影响着最后生成的结果。在一些复杂AI应用案例中，如那些使用了深度学习技术的AI应用，可能在： 维护系统，论证其中需要理解的部分，并且对于那些以AI为基础生成的决策拥有控制权等方面上阻碍了金融服务企业的使用。

具体来讲，应判断其决策是否包含有适用性、 公允性， 是否与公司价值观和风险偏好相符合等。

这与公司在面临人力资源的挑战无异。然而，可以说，那些不断学习，不断进化，并且拥有许多有关决策制定的隐藏层的AI解决方案，会使可审计性和可溯源性变得更加困难。此外，AI自我学习及进化的速度可能还会导致在极短的时间内产生大规模的错误。

一些AI解决方案的不透明性还会与现有的法律法规产生冲突，如欧盟的“通用数据保护法案”（GDPR），它规定了在特定情形下企业需要能够向客户解释他们的个人数据是如何被使用的， 并且能够给出那些假设性结论的合理解释，和那些对顾客会产生重大影响且完全自动生成的结论的内部机制。

理解AI及其隐藏含义

AI是一个既复杂但又快速发展的领域，在一些非专业人士的眼中，它被认为是一项难以控制的技术。此外，AI的使用会加剧企业的现有风险，改变风险出现的方式，甚至会为公司带来新的风险。

金融服务企业属于严格管控产业，这其中包含了复杂多样的经营范围和产品，并且当公司处理业务时必须使用严格的审查原则。可以说历史上对于金融服务企业因违规而产生的行政处罚，造成了这些企业在采用相对不了解的技术以用于受监管的业务时非常保守，这也就为创新增加了另一重阻碍。

因为对于这项技术和其所带来的风险，相对而言，不熟悉也不了解，这就造成了过度谨慎的现象。 那些重要的利益相关方，比如风险部门、合规部门，以及各业务部门主管、董事会成员和公司高层，除非他们对于这项技术充分了解，否则就可能会在批准使用AI上迟疑，并且得留企业内受监管业务使用AI技术的解释权。要理解这项技术，就不仅要了解它带来的风险，同时也要知道这些风险可以如何降低，如何管理并监控。

如何让利益相关方有一个对于AI独立且整体的认知，对公司而言是非常困难的。可以使用一些实际的用户案例，使利益相关方知道相关的客户经历可以帮助了解AI能提供的潜在益处，同时也可以认识到哪些方面会出错，以及如何有效地规避或管理风险。

在风险管理体系中嵌入AI

AI的应用和一般的创新过程一样，都要求企业经历一次不断学习的过程。然而，这样的过程并不是要规避所有与AI相关的风险，而是要去开发工作流程和处理工具，从而让企业相信这些风险，可以在整体的公司的风险观和偏好框架所规定的范围内，有效地被识别和管理。

因此，尽管存在着一些常见的误解，但一个行之有效的风险管理体系在企业的创新中起着关键性作用。

AI应用程序的固有风险性质

我们认为，管理AI所产生的挑战并不在于处理这种全新的风险类型，而是要考虑到当我们把AI解决方案的复杂性和发展速度纳入考量，或者风险以我们不熟悉的方式出现时，我们就难以采用有效和及时的方式来识别这些风险。因此，企业不需要全新的流程来处理AI，但他们需要改进现有流程，把AI因素纳入考量，并填补一些必要的管理空白。同时还需要去解决对所需资源水平以及岗位角色和责任可能造成的影响。

德勤AI风险管理框架提供了一种识别并管理AI相关风险和管控的机制。在表1中， 我们从涵盖了60多个AI风险的总表中列出了一些关键性的评估因素。这些评估因素都会用一般术语来表达，但实际上，风险等级和那些必要控制因素在不同案例下、不同的组织下会出现很大差异。

风险偏好

公司的风险偏好是公司在任何时候为实现其目标而准备接受的风险量。为了建立有效的风险管理流程和控制系统，采用任何AI的策略都需要从一开始就与整体风险偏好保持一致。

同样，我们也需要重新审视公司的风险偏好，并纳入AI的特定考虑因素。尽管AI的引入不会改变公司整体的风险偏好，但是会影响判别风险的因素，以及会影响衡量和管理风险的工具。

AI解决方案本身就可以增加或减少某些特定类型的风险（例如模型风险），并改变公司当前和未来的风险概况。这就意味着需要在每种风险类型的层面都需要重新考量风险偏好。这其中不仅包含目标风险级别，还有那些能有效支持、管理和监控该风险的政策和管理信息。

当公司需要评估AI使用对其风险偏好的影响时，他们首先应制定一套清晰一致的评估标准。例如：“这个AI解决方案是否将面向外部？”，回答这个问题有助于确定AI使用案例中可能会涉及到的风险类型。制定这一套标准问题可以帮助企业了解，无论是单从AI使用的层面还是从整体而言，哪些风险领域需要或多或少的关注。

风险管理框架（RMF）的全生命周期

尽管具体细节和所用术语可能因公司而异，但从概念上讲，风险管理框架全生命周期包含四个关键阶段（如图2）。

识别

金融服务企业中AI的复杂性和相对不成熟性意味着某些风险表现出来的方式及其程度可能会随着时间的推移而发展， 在某些情况下发展还会非常迅速。 从行为和稳定度来看， 这可能对公司产生重大影响（例如大规模的不当销售）。

因此，企业需要定期进行重新评估，以确定AI应用的风险情况自引入以来是否已经发生变化， 因为该模型已经学习了新数据并已经进化。

同样，作为概念证明或仅供内部使用而开发的AI解决方案，如果其使用范围扩大，也需要重新评估。例如，如果公司计划扩展最初开发的AI解决方案的适用范围从而为外部客户提供建议，但此方案最开始设计是仅为提供内部建议，则需要了解这些新客户在使用过程中可能产生的风险。

值得注意的是，AI所对应的自身定义及其风险也将发生变化。例如，随着时间的推移，移动电话的定义及其功能的扩展，使得与移动电话有关的风险也发生了巨大变化。

企业需要确定如何将AI风险整合到现有的风险管理框架中，以及需要其改变的程度。这其中包括监管与伦理方面的影响，例如算法偏差，以及AI模型在不建立因果關系的情况下从数据集推断的能力。

但是，一般而言，对于复杂和不断发展的AI应用，企业需要审查其自身的管理方法，采用一个全面且可持续的方法来定义并识别风险。当识别AI风险时，其中应包括与AI应用有关的特定风险（例如风险分析应用程序） ，以及因在整个公司内广泛采用AI而引入的风险（例如对员工关系和企业文化的影响）。

为了识别AI解决方案产生的风险，同样重要的是要考虑更加广泛意义上的公司层面的影响， 及其在短期与长期层面上对公司的人力资本而产生的影响。

分析

在每个AI应用开发之前，都应该去设计其风险评估过程，并由公司管理层同意。在该过程中应仔细考虑那些可能会使某一特定应用的风险更高或更低的关键性因素（例如监管、客户、财务或声誉的影响）。

现有风险偏好和评估框架可能不够全面，无法涵盖AI解决方案中的一些特定考虑因素。例如，为了评估AI模型中的偏差，企业首先需要定义诸如“公允性” 等概念 以及如何衡量它们。

此外，由于AI模型可以随着时间的推移而不断进化，企业可能会发现以前的一些定义和评价指标无法充分解释或评估模型中的决策驱动因素。因此，评估工作的开展需要变得更加的频繁和动态。同时，我们也需要以“自下而上”（针对每个单独的应用）， 和“自上而下”（整体风险偏好）的方式来不断修正评估流程。

同时，评估工作还需要有更高的参与度，以及来自更加广泛的利益相关者的赞成，这其中包括AI方面的专家、风控部门（如技术风险和合规性），以及业务代表们。

还需要注意的是，AI应用一般使用敏捷开发方法，相比之下，许多技术风险管理框架通常采用传统的瀑布模型。因此，那些为了评估传统技术开发而设立的流程、政策及管理方式都需要改变，变得更加动态。在实际问题中，这可能意味着，至少对于那些高风险应用，在整个开发阶段，风险方面的考量可能会更加频繁地出现在日常工作之中。但这可能会给企业现有资源造成压力。

管控

管控和测试过程也需要更加动态。在实际工作中，可能需要定期且频繁地测试并监控这些AI解决方案，可以说，这部分的工作量会远远超出AI方案的最初开发阶段和初始数据集的训练过程。

与传统技术的解决方案相比，这可能会增加所需的测试量。我们应使用基于风险的解决方案来确定每个实际应用最适合的管控等级，而且也要与公司的整体风险评估框架成比例相关， 并与之保持一致。

此外，由于AI的采用将对整个公司产生广泛的影响，与之相关的管控工作可能会横跨多个领域（例如人力资源、技术、运营等）。这进一步强调了在整个风险管理的生命周期中需要广泛的利益相关者来参与其中。

企业可能还需要重新定义业务连续性计划，以便系统不可用的情形下或在AI使用过程中出现管控失败的情况（例如部署“紧急开关”）时，公司能够重新回跳到当前的已有进程。该算法还应该定期进行压力测试，以分析它在响应严重问题时的反馈，以及在遇到非典型性行为时是否会产生正确的处理方式。

管控过程应当考虑AI会如何与利益相关者（客户、承销商）进行交互，以及它们之间的关联点是什么。对于公司来说，当测试从最初参与到AI解决方案产生结果时，这其中的用户体验尤为重要。公司需要时常进行测试，并在必要时，于早期阶段就纠正那些出现的反常现象和异常值。

同样，公司还应该有一个完善的“交还人工” 的流程，这说的就是当AI解决方案负责的工作需要交还给人工来完成的情况，比如当算法无法在预先定义好的风险容差框架内输出的时候。如果该算法无法十分确定产品价格的时候，就应该将该工作交给人类来完成。我们还需要使用测试外样本来设计一些关键性能指标，也就是使用全新数据来运行一些测试人员已经知道正确结果的AI模型。同时应该对算法（包括其中的模型驱动程序）进行频繁且连续的测试和统计分析，以确保生产环境下AI解决方案使用全新或被更新数据集时，它的性能可以符合预期和公司的风险偏好。

最后还应该注意到，用管理整体模型风险和提高算法透明度的其中一种方法，也可以构建模块化的解决方案，在这其中我们将使用一系列处理能力有限的微型算法来确定最终输出， 而不是单一且复杂的模型。这将使得我们更容易理解和控制算法的推理过程和这些决策驱动因素。

监控与报告

由于算法在不断发展和进化，公司需要采用更加动态的监控方法来确保模型仍然按照为了特定应用而设计的预期目标来执行。此外，必须定期监控那些与AI解决方案有关的限制因素和预期目标（例如关键绩效指标——KPI）的适当性、相关性和准确性。

监控和报告工作都应涵盖模型的技术性能指标，以及因该模型而实现的业务和运营成果。

监控工作还应关注所有可能涉及到需要更改模型架构的法律和监管措施的更新，同时也要关注可能会影响模型数据、模型结果的外部事件。那些静态技术解决方案也会受到这些改变的影响，只不过， 在这些方案中可以相对容易地识别它们对决策驱动因素和结果的影响。 在AI解决方案中这些不断变化的决策驱动因素使得我们难以隔离分析、评估并监控这些新的外部事件对决策驱动因素的影响程度。

监管者看重的具体是什么

从国际上、欧盟和英国当局所发表的众多声明和文件上来看，充分了解应用人工智能对这些受监管公司可能造成的影响，已经成为监管机构关注的重点。

一般而言，这些准备采用或已经使用AI技术的公司可以预见到，在未来，监管机构对它们的审查只会不断增加。

尽管没有十分完善的AI法律法规，但已经有相关规定，包括算法交易的现行规定和监察描述，以及英国的高级管理人员及认证制度（SM&CR）的规定，还有系统控制方面的众多要求。以上提到的对于AI治理和风险管理的所有规定，可以很好地给出监管机构指导意见。

根据这些文件，以及我们服务客户时的经验，可以总结出当公司在采用AI时应该考虑与监管相关的重要原则和措施。这些原则在很大程度上都源于有关算法交易的一些完善和应用。在多大程度上这些考虑因素可以适用于其他AI应用，这将取决于它们的特性和复杂度。

治理、监控以及问责制

·监管机构希望公司能够实行强而有效的治理方式，其中就包括建立风险管理框架，从而可以去识别、减少并控制整个公司内每一个AI应用程序在开发和持续使用阶段所产生的风险。 除了风险管理框架应该得到董事会的批准以外，公司还应该能够向他们的监管机构解释每个AI应用程序的工作原理，以及它是如何与有关的监管条例和公司的风险偏好相符合的。

·由于AI的快速发展，公司内采用AI解决方案的比例不断提高，我们应定期审查风险敞口和相关控制措施，以确保它们与公司的风险偏好时刻保持一致。这其中需要考虑诸如公司内AI的使用程度、内部AI的处理能力以及从外部而来的威胁和事件等因素。

·根据问责制度，其中特别是英国的高级管理人员及认证制度监管机构希望公司有明确的责任制和问责制，其中包括每个AI应用程序都有明确的负责人。根据预先定义完善的测试和批准流程，负责人将全权负责审核和批准AI算法。只要存在任何可能影响其准确性、公平性或合规性的可能因素（例如市场或监管方式的变化），负责人都应负责开始对AI应用程序的重新审核和更新工作。

·AI监管管理委员会中的成员，除了应该接受培训来了解与AI应用程序相关的风险以外， 还应该建立测试和批准流程，这其中包括质量保证标准，还同时需要定期审查AI应用程序的性能，以确定是否有任何新问题出现。

·为了能够反映AI在整个实体中所具有的深远影响，一个有效的AI治理过程应当更加广泛地涉及来自整个公司的所有利益相关者。尤其在那些关键的开发和测试阶段，除了应该包括AI技术专家以外，还应该有来自第一、第二和第三道防線的相关代表们。

·公司还应起草与人工操作“紧急开关”或“退出滑槽” 有关的步骤和管控细则，以便一旦检测到错误或异常行为时，立即停止算法运行。企业应该围绕这些管控细则的实施来制定管理流程，其中应当包括业务连续性计划和补救预案。

·所有AI算法都应定期重新验证。这些重新验证工作的频率将根据公司、客户或其他市场参与者在算法出现故障时可能面临的风险程度不同而有所差异。这一频率还应考虑到算法随时间而进化的程度，以及决策的关键驱动因素的波动性，例如宏观经济指标。

管控工作中应具备的能力和参与度

·公司需要确保风险、合规和内部审计团队中的员工具备足够的专业知识，以正确理解所采用的每个AI解决方案的风险。此外，他们应该有足够的权力来与业务主管人员相抗衡，并在必要时施加额外的控制措施，以确保风险管理有效进行。

·特别是风险和合规方面的工作，应充分地融入到新的AI应用程序开发和实施过程中的每个关键阶段，以便能够为建立适合的风控系统提供帮助，确定其是否符合风险偏好，并对任何潜在的行为和监管风险进行独立调查。

·内部审计工作应确保对AI应用程序和模型的审查是其工作计划中的一部分，并且还应该考虑是否需要持续不断的监控。

文档和审计跟踪

·公司应清楚全面地了解其公司部署的所有AI应用程序、相关负责人，以及现有的合规性和风险控制工作。

·应记录测试和批准的过程，其中包括明确说明AI模型在真正实施之前需要满足的条件。

·同样，监管机构也希望公司能有一个符合审计标准的工作流程来跟踪和管理任何已识别出的问题。

·最后，还应清楚地记录现有算法的任何变化。企业应该定义什么属于“重大变化”，并确保这些标准在整个企业中能得到一致的应用。任何重大变化都应经过严格且记录在案的测试工作，其程度应与这个变化可能给公司带来的风险相称。

第三方风险和外包

·受监管公司在任何情况下都不能将应该履行监管义务的责任外包给第三方。同理，任何由外部供应商设计和提供的AI模型及其相关的风险控制， 都应接受在部署之前在公司内部就形成的同等严格的测试和监控流程所约束。

·为了应对第三方供应商开发的AI解决方案停止工作的情况， 或者供应商无法提供服务（例如，供应商受到网络攻击时）的情况，公司应设计一套行之有效的业务连续性计划以维持日常运营。因为目前市场上AI第三方供应商的数量相对较少，其中大多是小型的初创企业，所以这一点显得尤为重要。

监管AI中的一些反思

我们需要认识到不断增加使用AI所产生的影响以及风险，这不仅是对金融服务企业的挑战，也是对其监管机构的挑战。后者知道AI技术可以凭借提供更优质的服务和量身定制的产品的这一形式，为金融市场提升效率并为消费者带来利益。事实上，监管机构本身一直在探索如何在自己的日常工作中应用到AI。

然而，正如我们之前提到的，监管机构也越来越关注受监管公司因使用AI而可能带来的潜在风险和意外后果。从金融稳定性的角度来看，潜在的网络和羊群效应以及网络安全问题是一些需要重点关注的方面。从行为的角度来看，监管机构注意到，因为一些不准确的AI模型可能造成无法公平对待每一位客户（即大数据“杀熟”），或出现不当销售的情况等问题。

与公司一样，大多数风险对监管机构来说并不陌生。监管机构在AI方面面临的挑战，或者更普遍来讲，在创新技术方面面临的挑战，需要在支持良性创新和竞争、保护客户和市场诚信，以及稳定财务之间找到一个适当的平衡点。

由于新技术发展和被采用的速度与新法规的制定和实施的速度之间的不匹配性，使得找到这种平衡变得特别困难。例如，当时欧盟金融工具市场指导II（MiFID II）于2011年首次被提出，旨在解决金融市场中算法交易日益增多的问题。但是，欧盟金融工具市场指导II是在七年后，即2018年1月才实施。

监管机构已经意识到这种滞后性，并且在历史上已经通过采用“技术中立” 这一原则解决了这个问题，即无论他们受监管活动所使用的技术具体是哪一类，可以使用类似的监管原则适用于其上。技术中立这一监管措施确实有助于降低法规过时的这一风险，但也可能阻碍监管机构应对个别特殊技术和应用产生的风险的能力。

然而，一些迹象表明，如果某些特定技术的使用对于全系统会成为或有可能在未来成为十分重要的一部分，监管机构就会开始准备着手摆脱其技术中立的立场。有关算法交易的欧盟金融工具市场指导II就是一个很好的例子。

我们也越来越多地看到监管机构开始发布一些详细的技术指导，使他们在许多领域上对公司的一些要求变得更加清晰，其中包括智能投顾、外包云平台以及最近的算法交易。

就AI而言，我们认为监管指导是一种强有力的工具，可以帮助企业了解监管机构对其风险管理方法的一些要求。这同时也使得管理主体和高级管理层不光可以更有信心地推进其创新计划，也能帮助他们找出一些亟需解决的问题。更多针对AI的指导方案也将有助于监管者自身的日常工作，因为这些方案使监控工作更加具有统一性，也同时提高他们发现行业内合规缺陷和剩余风险上的能力。

但我们面临的挑战就是，要真正有效地向企业提供有关监管机构是如何希望企业来遵守现有监管制度这一问题上充足的信息。同时，挑战也包括，任何AI的指导方案都需要具体问题具体分析，而非套用普遍的情况。尽管最近审慎监管局（Prudential Regulation Authority）所给出的一些关于算法交易的草案声明中提到的原则与AI应用程序相关，但它们的真正目的是在于它们对于处理不同算法交易活动上所表现出的特殊性。

鉴于AI使用案例的广度及其复杂性，监管机构需要使用基于风险程度的方法，仔细选出在哪一具体方面集中他们有限的资源去监管。

监管者的另一个措施就是去定义那些要解决的问题，随后要求行业内部自行制定与之相符的AI标准和行为准则。 这类似于英国的市场竞争管理局在调查零售银行后所做的事情。 当时它要求英国九大银行自行制定开放應用程序接口的标准细则。这种方法还得到了来自英国信息专员办公室（ICO）的信息专员（UK Information Commissioner）的支持。他最近解释说，在AI和数据保护这一领域，行业自行开发特定的行为准则，经过相关监管机构的认证，是值得推行的方式。

当然，对于AI的监管不仅仅是对金融服务领域的挑战，同时也不能被地理边界所框限。监管机构需要不断克服不同国家和部门之间所存在的界限约束，并广泛地与对手方进行合作， 除了要制定有效应对新型风险的政策，还要更广泛地着手解决公共政策和道德领域上出现的问题。

结语

AI会越来越多地成为众多金融服务公司企业战略的核心组成部分，从而提供更好的客户服务，提高运营效率，并赢得竞争优势。

總的来说，在金融服务公司中采用AI这一技术尚属初期。这些企业仍在不断摸索这一技术并发掘，当基于它们各自的商业模式、产品和服务时，那些可应用AI的工作可以为他们带来最大的价值。

在整个学习过程中一个最重要的部分就是要从风险的角度出发来理解AI所蕴含的含义。对于金融服务行业的严格监管，这不仅是业务需要，也是监管机构希望看到的。

对于公司而言，重要的是他们要认识到这是一个双向学习的过程。董事会、高级经理队伍以及业务和管控方面的职能部门需要增加对AI的理解，而AI专家们如果还没有对于风险和监管方面的理解，他们需要增强对这方面的认识，并一定会从中有所收获。能够认识到这种跨领域合作的重要性并激励员工以这种方式进行协作的金融服务公司，将能够最大限度地利用AI所带来的优势。

这种“合作关系” 会使企业认识到，AI所带来的一些已经非常普遍的风险类别（例如偏差性） 可能表现出的方式与以往不同，或这些风险出现的速度以及强度也会出现与往常不同的情况。这意味着，在采用AI技术时，企业需要仔细考虑如何将那些与AI相关的特定因素整合到现有的风险管理框架中，以确保这些框架时刻与最初设定的目的相吻合，并且能够让公司相信在企业文化和风险偏好的框架内，AI相关的风险能够被有效地识别和管理。

监管机构也越来越关注金融服务企业采用AI技术的潜在风险和可能出现的意外后果， 以及如何在支持良性创新和竞争以及保护客户、市场诚信和财务稳定性之间找到一个平衡点。 其中可能采用的应对措施可能包括，在某些情况下脱离其当前一直保持的技术中立地位，或要求全行业与监管机构进行合作，从而制定针对特定应用情况的AI技术标准和行为准则。

我们还应该认识到，管理AI技术这一任务并非只是应该落在金融服务企业这一方，而是，全行业连同监管机构都必须共同努力，参与到那些有关于AI技术产生的大范围且长期社会和道德影响的讨论之中，同时研究应对这些情况可以采用的政策应该有哪些。

中国AI风险管理和监管现状

从2017年国务院发布《关于印发新一代人工智能发展规划的通知》对中国人工智能发展给予指导性规划以来，发展人工智能已经成为国家重要战略，推动互联网、大数据、人工智能和实体经济深度融合被写入十九大报告，人工智能应用也已遍及智能制造、智能医疗、智能金融、智能电网、智能安防和智能家居等各个领域。

在应用人工智能技术驱动行业创新、创造商业价值的过程中，国内企业对于人工智能相关风险管理认识普遍不足、重视程度亟待提高。人工智能风险控制不到位造成的企业声誉影响、 经济损失、监管问责等事件屡见不鲜。如国内部分互联网新媒体由于人工算法的信息推送导向不正、格调低俗等问题被监管机构行政处罚甚至整改关停;国内多家电子商务企业由于疑似利用人工智能技术开展大数据杀熟引发大量用户投诉和舆论批评;国内某金融结构由于自动化交易程序漏洞造成乌龙指发生引发巨大损失等，这些事件都对企业人工智能风险管理敲响了警钟。

从监管环境来看，在新出台的《中华人民共和国网络安全法》、《中华人民共和国电子商务法》、《关于规范金融机构资产管理业务的指导意见》等法律法规中，都包含了人工智能应用有关的法规要求，国内金融行业监管机构也正在抓紧制定针对人工智能、金融科技等颠覆性技术所带来的新型风险的应对指导意见和监管要求。

因此，对于已经在或者计划在业务中应用人工智能技术的各类企业来说，都应当在企业风险管理过程中考虑人工智能风险，充分评估人工智能技术蕴含的复杂性、不确定性、难解释性以及发展速度等风险因素，开展人工智能风险管理工作已经刻不容缓。

（本文内容摘自德勤《人工智能与风险管理》报告）