借助云的力量重塑企业的现在和未来

2022-02-10菱俊丘

计算机与网络 2022年23期

菱俊丘

在近期举办的2022亚马逊云科技re：Invent全球大会上，亚马逊云科技首席执行官Adam Selipsky发表了“如何借助云的力量，在未知领域抓住机遇并茁壮成长”的主题演讲。在演讲中，Adam重点围绕数据、安全、计算性能和行业应用等4个主题发布了多项重磅信息，助力云上客户快速实现数字化转型，提高创新速度。

数据之浩瀚

Adam提到，正如宇宙探测一样，我们要用多个工具才能够深切地了解到深不可测的宇宙，我们需要把不同系统、不同部门的各种深刻见解整合在一起，才能去寻找各种可能。同样，数据领域也是如此，管理数据的规模和增长既是一个巨大的挑战，也是一个机遇，我们需要一套完整的工具来应对数据的规模和种类。

企业需要对数据做到很好地管理，来保证数据是安全的，同时还要去理解这些数据，然后探索这些数据可以给企业带来的各种潜力。亚马逊云科技专注于构建所有这些功能，亚马逊云科技倡导在数据管理领域需要有：

恰当的工具；

有效的数据集成；

规范数据治理；

深入的业务洞察力；

端到端的数据服务。

推出Amazon OpenSearch Serverless版本

为了帮助客户更好的管理和处理数据、提取数据价值，亚马逊云科技打造了多款数据分析的工具，客户可以使用不同工具来应对数据的不同规模和多样性。亚马逊云科技拥有的每个数据库解决方案都是针对客户的特定需求而推出的，每个数据分析解决方案在其产品组合中都有着清晰的定位。

面对日益增长的客户需求，Adam宣布正式推出Amazon OpenSearch Serverless版本，新解决方案简化了运行PB级搜索和分析工作负载的过程，而无需配置、管理或扩展OpenSearch集群。OpenSearch Serverless自动调配和扩展底层资源，为最苛刻和最不可预测的工作负载提供快速数据接收和查询响应。使用OpenSearch Serverless，客户只需支付所消耗的资源。至此，亚马逊云科技所有关键的数据分析服务均已提供无服务器选项。

除了提供数据分析服务以外，亚马逊云科技对专家级的从业者提供非常强有力的实用平台，助力每一个数据开发者简化繁杂工作、提升工作效率。还将数据分析与机器学习能力做了有效的集成，通过Amazon SageMaker，进一步挖掘数据的价值，促进企业增长。

数据集成

在数据集成方面，Adam重点提到了ETL，它包括数据提取、转换和加载，以及重复性无差别的繁重工作。在这方面，亚马逊云科技的Redshift、Athena和Data Exchange以及SageMaker集成可以提供更好的帮助。Adam宣布Amazon Aurora將首次支持与Amazon Redshift的Zero-ETL集成，以实现对Aurora PB交易数据的近实时分析和机器学习。

Zero-ETL集成

这种集成将事务数据与分析功能结合在一起，消除了在Aurora和Redshift之间构建和管理自定义数据管道的所有工作。用户不必构建和维护复杂的数据管道来执行提取、转换和加载（ETL）操作。Adam强调：“数据进入Aurora几秒钟后，就可以在Redshift内无缝提供，您可以在同一个Redshift实例中复制来自多个Aurora数据库的数据。整个系统是无服务器的，且可根据数据量动态地上下扩展，因此，没有需要管理的基础设施。您在Aurora中真正实现了快速、可扩展事务的两全其美，以及Redshift中的可扩展分析，都在一个无缝系统中。”亚马逊云科技坚信zero-ETL必将是最终目标，亚马逊云科技正在努力构建一个完全无需ETL的未来！

Amazon Redshift与Apache Spark集成

此外，Adam还宣布了Amazon Redshift与Apache Spark集成，以帮助数据工程师构建和运行Spark应用程序，这些应用程序可以从Amazon RedShift集群消费和写入数据。“今天，如果你在EMR工作，可以使用Spark对数据进行分析。但如果你想对Redshift中的数据运行Spark查询，则必须将数据移动到S3，要么查找、下载并配置缓慢的开源容器到Redshift的连接器。更好的方法是只在Redshift对数据运行一个Spark查询。”Adam在他的主题演讲中说道：“所以我们希望快速无缝，我很高兴为Apache Spark引入Amazon Redshift集成。”

如果客户正在使用亚马逊云科技的分析和机器学习服务，如Amazon EMR，Amazon Glue，Amazon SageMaker，他们现在可以构建Apache Spark应用程序，并在不影响应用程序性能或数据的事务一致性的情况下，读取和写入Amazon Redshift数据仓库。

Adam表示：“现在在亚马逊云科技的Amazon Redshift上运行Apache Spark应用程序非常容易，不再需要移动任何数据，也不再需要构建或管理任何连接器。”针对Apache Spark的Amazon Redshift集成最大限度地减少了设置Spark Redshift开源连接器的繁琐且通常是手动的过程，并减少了准备分析和ML任务所需的时间。

数据合规与可控

接下来讨论使数据可访问但又合规和可控的方法。合规可控与可访问性之间的平衡很难实现，建立正确的数据治理机制，是给人信任和信心，是鼓励创新，而不是限制创新。然而，在所有团队和职能部门之间建立企业范围的治理是一项艰巨但关键的任务。

Amazon DataZone

亚马逊云科技宣布推出的Amazon DataZone，是一项用于分类、发现、共享和管理数据的数据管理服务，可以集成Redshift、Athena和QuickSight，以及对第三方数据源提供API接口，可实现细粒度数据管理，其中包含由机器学习填充的数据目录，易于使用业务术语进行搜索。

Adam表示：“DataZone使数据管理员能够轻松管理对数据的管理访问，从而使您能够在整个组织中安全地释放数据。它使数据工程师、数据科学家、产品经理、分析师和其他业务用户能够轻松地发现、使用和协作这些数据，为您的业务提供见解。”

Amzon Quicksight Q

数据的第4个部分就是实现业务洞察，Adam宣布使用Amzon Quicksight Q应用探索新的基于机器学习的预测服务正式发布，以探索更广阔的数据领域。使用Q进行基于机器学习的预测，用户可以在不涉及任何分析师或数据科学家的情况下查看业务绩效预测。QuickSight Q还将支持自然语言“为什么”问题，允许非分析师深入研究数据并找出导致特定结果的因素。

“您需要所有工具来处理海量且不断扩大的数据量。当拥有所有这些时，就拥有了完整的端到端数据策略。”Adam表示，亚马逊云科技是实现这一目标的助力，因为我们在“整个数据之旅”中做了大量投入，目标是帮助客户更好地释放数据的价值。亚马逊云科技在数据服务领域的版图已经变得更清晰、更全面，企业将在亚马逊云科技的助力下，拥有各种各样的工具来轻松应对以往经常面临的数据类型多样性、业务需求和使用场景复杂性的难题。

安全之深不可测

安全性是客户选择亚马逊云科技的主要原因之一，亚马逊云科技提供的安全性是其他的云提供服务商所难以比拟的。管理数据安全是我们工作的重中之重，为客户提供包括从医疗服务、银行还有其他的金融机构等各个领域最安全的云服务，并致力于提升系统的弹性和柔韧度。我们能够为客户提供高级而安全的服务，帮助客户去识别、探测、减轻各种网络安全的威胁。

Amazon GuardDuty

Amazon GuardDuty这样一个组件就具有检测并且响应安全威胁的功能，Adam正式宣布了Container runtime threat detection for GuardDuty。更新版的GuardDuty能检测容器内部可能存在的安全风险，识别那些试图访问控制节点的的操作，支持与Amazon EKS集成。

它能够在运行时间去探测到这些威胁，不仅是监测它，更重要的是去提升系统的功能，同时加固网络之间的连接。在不同计算机的节点中，它的安全性如何，在各个不同的容器之间它是怎么样来实现互联的？Adam表示：“对此我们提供了数千个不同的安全解决方案，同时我们也把数千第三方的安全解决方案集成到亚马逊云科技服务的云端服务的平台上，确保您的安全。”

Amazon Security Lake

Adam宣布推出Amazon Security Lake，可以自动将来自云、本地和自定义来源的安全数据集中到存储在用户账户中的专用数据湖中。Security Lake使分析安全數据变得更加容易，以便用户可以更全面地了解整个组织的安全性，可以自动收集和管理您跨账户和区域的所有安全数据。用户可以使用自己习惯的分析工具，同时保留对安全数据的控制和所有权。Security Lake采用了开放式网络安全架构框架（OCSF），这是一种开放标准。它有助于规范化和组合来自亚马逊云科技和广泛的企业安全数据源的安全数据。

这是一个巨大的胜利，从长远来看，对于打击不良行为者和创建更易于管理的网络安全运营生命周期来说将是一个重大的福音。

计算性能之极限

在极端的环境里面，足够好，有时候还是够好，所以我们准备好克服各种各样的困难，在亚马逊云科技应对的是各种极端的环境。比如，F1赛车有5亿个不同的数据点需要得到监控，从60 h减少到12 h的时间，Epic Game需要支持上亿个不同的玩家，他们需要处理成亿的不同的要求，我们也可以给他们提供非常小的延迟。Nielsen每天有数十亿的数据需要处理。所以亚马逊云科技一直在创新，长期为客户提供所有数据分析的可用工具。亚马逊云科技现在有600多种实例类型来满足几乎任何类型的需求或使用案例，其中许多实例使用的是特别定制的芯片。

Hpc6id

以HPC客户的需求为例，首先要根据他们确切的工作负载来确定他们的性能的规模；第二，就是要提供简易使用的工具，确保客户可以多方尝试，用更少的时间来管理他们的基础设施。HPC就是一个很好的选择，它可以将管理扩展到数百万的用例上面，最大程度地优化客户的工作负载。

基于此，亚马逊云科技正式发布了用于高性能计算（HPC）的新亚马逊弹性计算云（Amazon EC2）Hpc6id实例，基于Amazon Nitro系统构建的EC2 Hpc6id实例，它提供200 Gbit/s弹性结构适配器网络，用于高吞吐量节点间通信，使客户HPC工作负载能够大规模运行。Adam表示：“Hpc6id实例旨在为数据、内存密集型HPC工作负载、更高的内存带宽、更快的本地SSD存储和弹性结构适配器增强的网络提供领先的性价比。使用EC2 Hpc6id实例，您可以降低HPC工作负载的成本，同时利用亚马逊云科技的弹性和可扩展性。”

多样化的强大实例

今天的机器学习模型已经发展到使用1 000亿个参数，在短短几年内增加了一百倍。这大大推高了训练机器学习模型的成本。随着企业构建的机器学习模型越来越复杂，训练和运行这些模型的成本成为一个现实问题。亚马逊云科技创建了一系列创新实例来帮助用户降低成本，Adam提到Trn1实例专为高性能训练而构建，同时与同类基于GPU的实例相比，可节省高达50 %的训练成本。Trn1实例对流行的NLP模型进行深度学习训练时提供最高性能。同时宣布推出EC2 Inf2实例预览版，旨在以最低的成本为推理应用程序提供高性能。与Inf1实例相比，Inf2实例提供高3倍的计算性能、高4倍的吞吐量和低10倍的延迟。

除了主要的产品升级以外，亚马逊云科技还致力于打造面向特定行业或者特定应用场景的解决方案，以帮助客户快速适配自己的应用场景，加速创新与缩短产品上市时间。

新服务

Amazon SupplyChain

Adam首先推出了Amazon SimSpace Weaver，只需要简单的几个操作就能在云端运行大规模空间模拟工作，支持主流3D引擎，包括Unreal Engine和Unity。该服务旨在将仿真开发人员从他们自己的硬件限制中解放出来。Adam表示：“使用SimSpace Weaver，可以创建无缝的虚拟世界，其中包含数百万个对象，这些对象可以实时交互，而无需管理后端基础设施。”

Amazon CleanRooms

基于Amazon Connect的呼叫中心已经广泛获得了客户的认可，每天支撑超过1 000万次互动。Adam宣布了Connect新功能：新的机器学习驱动的预测、容量规划和调度，他表示：“如今，数以万计的客户使用Connect每天支持超过1 000万次互动，仅3周就可以快速部署可用的连接。比如，Convoy在不到一分钟的时间内接听的升级呼叫的百分比提高了50 %，Priceline使1 000多名座席能够使用Connect在家工作。”

新方案

Amazon SimSpace Weaver

除此之外，Adam还宣布推出客户期待已久的供应链解决方案Amazon Supply Chain：“许多亚马逊云科技的客户问我们，是否愿意采用亚马逊供应链技术、亚马逊云科技基础设施和机器学习来帮助他们解决供应链问题。”Amazon Supply Chain是一个基于云的新应用程序，可帮助供应链领导者减轻风险并降低成本，以提高供应链弹性。Amazon Supply Chain统一了供应链数据，提供了基于ML的可操作见解，并提供了内置的上下文协作，所有这些都有助于用户通过减少缺货来提高客户服务水平，同时帮助降低积压成本。

Amazon Supply Chain提供了一个实时可视化地图功能，显示了每个地点的库存水平和健康状况，并提供了目标观察列表，以提醒潜在的风险。当风险被发现时，Amazon Supply Chain供应链提供库存再平衡建议和内置的上下文协作工具，使跨团队协调实施解决方案更加容易。Adam表示：“这只是一个开始。我们将继续在这里投资，努力解决您最困难的供应链问题。”