2024，AI和大数据的五大趋势

托马斯·达文波特 兰迪·比尼斯

2023年，人工智能（AI）和数据科学成了热门新闻，这显然与生成式AI的兴起密不可分。但进入2024年以后，AI和数据科学领域将如何发展才能持续引发人们的关注？这些趋势又将如何真正影响企业？

在过去的几个月里，我们对数据和技术高管进行了三次调查：前两次调查的对象是麻省理工学院首席数据官和信息质量研讨会的参会者——第一次是由亚马逊网络服务公司（Amazon Web Services）赞助的，第二次是由思特沃克（Thoughtworks）公司赞助的（调查结果尚未公布），第三次是由Wavestone公司——其前身为NewVantage Partners——开展的，我们过去撰写过该公司的年度调查报告。参与这三次调查的高管共500多位，其中有些人可能出现重复参与的情况。

调查虽然不能预测未来，但确实能够揭示企业里那些负责数据科学、AI战略和项目的人在想什么、做什么。根据这些数据高管们的说法，以下五大趋势值得密切关注。

1.生成式AI大受追捧，但仍需创造价值正如前面提到的，生成式AI吸引了企业和消费者的极大关注。但它真的能为采用它的组织带来经济价值吗？调查结果显示，尽管人们对这项技术非常兴奋，但其价值在很大程度上尚未变现。大多数受访者认为，生成式AI具有变革性的潜力：在对亚马逊网络服务公司的调查中，80%的受访者表示，他们相信这将改变他们的组织；在对Wavestone公司的调查中，64%的受访者表示，这是当代最具变革性的技术。绝大多数受访者也在增加对这项技术的投资。然而，大多数公司仍处于试验阶段——要么是在个人层面，要么是在部门层面。在对亚马逊网络服务公司的调查中，只有6%的公司对生成式AI进行了生产应用；而在对Wavestone公司的调查中，只有5%的公司对生成式AI进行了大规模生产部署。

当然，生成式AI的生产部署将需要更多的投资和组织变革，而不仅仅是各种试验——业务流程需要重新设计，员工技能需要重新培训（或者在少数情况下，员工被生成式AI系统取代），新的AI能力需要整合到现有的技术基础设施当中。

也许最重要的变化将涉及数据——监督非结构化的内容、提高数据质量和整合不同的数据来源。比如，在对亚马逊网络服务公司的调查中，93%的受访者都表示数据策略对于从生成式AI中获取价值来说至关重要，但57%的受访者迄今为止并没有对他们的数据做出任何改变。

2.數据科学正从手工艺转向工业化 大多数企业都觉得有必要加快数据科学模型的生成。曾经是手工操作的这项活动现在正变得越来越工业化。各公司都正在投资于平台、流程、方法、特征平台、机器学习运营系统以及其他有助于提高生产率和部署率的工具。机器学习运营系统可监测机器学习模型的状态，并探测出它们是否仍然能够准确预测。如果不能，这些模型就可能需要输入新的数据，重新进行训练。

虽然这些新能力大部分来自外部供应商，但有些组织正在开发它们自己的平台。尽管自动化（包括自动化的机器学习工具，我们将稍后讨论）有助于提高生产率和数据科学更广泛的参与度，但对提升数据科学生产率而言，最大的好处可能是重新启用现有的数据集、特征或变量，甚至整个模型。

3.两个不同版本的数据产品将占主导地位在对思特沃克公司的调查中，80%的数据和技术高管表示，他们公司正在使用或考虑使用数据产品和数据产品管理。我们所说的数据产品，是指把数据、分析技术和AI打包成一个软件产品提供给内部客户或外部客户。这种产品从构思到部署（以及持续改进）都是由数据产品经理来管理。比如，指导客户下一步购买什么产品的推荐系统，以及为销售团队提供的价格策略优化系统，都属于数据产品。

但是企业会以两种不同的方式来看待数据产品：将近一半的受访者（48%）表示，数据产品的概念应包含数据分析及AI；而大约30%的受访者认为数据分析及AI与数据产品是两回事，觉得数据产品应该单指可重复使用的数据资产，只有16%的受访者表示，他们根本不会将数据分析及AI放在数据产品语境中加以考虑。

我们倾向于将数据分析及AI纳入数据产品的定义中，因为这是发挥数据作用的有效途径。然而真正重要的是，企业在定义和讨论数据产品时必须保持一致性。但如果哪家企业倾向于使用“数据产品”和“数据分析及AI产品”二者的组合，那也能说得过去，毕竟这个定义保留了数据产品管理的许多积极方面。但是如果不澄清这一定义的话，企业就拿不准要求数据产品开发人员交付什么。

4.数据科学家的魅力将减少 被称为“独角兽”的数据科学家拥有“21世纪最诱人的工作”，因为他们能够把数据科学项目的方方面面都做得很成功。然而他们的星光已经开始暗淡下来。数据科学领域正发生着一系列变化，为部分重要工作的管理提供了许多替代方式。其中一个变化是涌现出了大量能够解决数据科学问题的相关角色——这一不断扩张的专业人士队伍包括：清洗数据的数据工程师、扩展和集成模型的机器学习工程师、与企业利益相关者打交道的中间人，以及纵览全局的数据产品经理。

企业对专业数据科学家需求减少的另一个因素是公民数据科学（citizen data science）的兴起，即熟谙定量方法的商界人士自行创建模型或算法。这些人借助自动机器学习工具来完成大量繁重的工作。对这些非专业人士来说，更有用的是ChatGPT提供的被称为高级数据分析的建模功能。只要输入一个非常短的提示语并上传数据集，高级数据分析就能处理模型创建过程的几乎每个步骤，并解释其操作行为。

当然，数据科学领域仍有许多方面确实需要专业的数据科学家登场。例如，开发全新的算法或解释复杂模型的工作原理，这些都是尚未消失的工作任务。数据科学家这个角色仍然是必要的，但可能不再像从前那么重要——不再享有同等程度的力量和光芒。

5.数据、分析技术和AI的领导者变得不再那么独立 我们开始注意到，在过去一年，越来越多的企业正在减少技术和数据“负责人”的数量，包括首席数据官和首席数据分析官（有时被称为首席AI官）。虽然首席数据官/首席数据分析官的角色在企业中越来越普遍，但它们的特点向来是任职期限短以及职责界定不明确。尽管我们看到数据和分析高管们的职能还在，然而这种职能正日益被纳入更广泛的技术、数据和数字化转型职能当中，并且由一位“超级技术领导者”负责管理，然后直接向CEO汇报。“超级技术领导者”这一职位的头衔包括首席信息官、首席信息和技术官、首席数字和技术官。现实世界的例子有：美国教师退休基金会（TIAA）的萨斯特里·杜瓦苏拉（Sastry Durvasula）、第一集团（First Group）的肖恩·麦科马克（Sean McCormack），以及旅行者集团（Travelers）的莫根·勒菲弗（Mojgan Lefebvre）。

我们对思特沃克公司进行调查时，一大关注点就是数据领导者这一重要角色的演化，87%的受访者（主要是数据负责人，也有一些技术高管）一致认为，他们公司的同事在需要数据和技术方面的服务支持时，不知道该找谁——这种困惑或多或少因人而异。许多首席级高管表示，自己与公司内部的技术负责人合作程度相对较低；79%的受访者认为，正是这种合作不足阻碍了公司的发展。

我们相信，在2024年，我们将看到更多纵览全局型的技术领导者。他们有能力从数据和技术专业人士下属那里创造价值。他们仍然必须强调数据分析和AI的重要性，因为这是企业利用数据为员工和客户创造价值的抓手。最重要的是，这些技术领导者必须高度遵循以业务为导向的原则，能够与他们的高管同事们探讨战略，并能够将战略转化成系统和洞见，这样战略才能变为现实。

翻译：张子源