云原生时代的消息与流计算平台

林青山

实践云原生技术应用，最大化释放云计算的技术红利，可以让企业更加聚焦业务本身，快速响应市场变化，助力商业成功。

—阿里巴巴高级技术专家，阿里云消息负责人林清山

数字化转型已经成为众多企业的核心战略，这对于商业创新有着重要意义。数字化转型意味着企业要把业务在线化、数据化，通过产出大量的业务数据释放数据价值;通过数据的价值进一步助力商业业务的创新，包括通过数据做一些精准的营销以及优化产能、优化供应链，产出更多的创新业务;通过业务创新，并经过市场的检验，数据在线化可以形成一个持续正向的反馈。

企业数据化意味着要开发很多以业务为中心的软件，这些软件需要依赖于强大的IT基础设施。

当前，云计算为企业提供具备较高生产力的IT基础设施，使用云计算作为IT基础设施可以实现更快的数据交互。同时，云计算技术的应用让企业无需雇佣人力长时间的做数据中心运营，直接使用云计算提供的数据中心，通过持续的性能优化以及规模化的效应帮助客户降低成本。

上云为企业解决了IT基础设施的问题，让企业能够投入更多资源聚焦业务应用的开发，而云原生的主要特点是帮助企业完成更好的软件设计、开发、测试和交互。通过实践，云原生可以最大化地释放数据价值，可以天然适配分布式、虚拟、弹性、高可用、自恢复的计算存储资源，让企业能够快速响应市场需求。

云原生主要是通过四个要素来帮助企业做到这些的。第一个要素是微服务，微服务意味着要把庞大的业务系统拆分成高内聚、松耦合的业务单元，在企业的研发属性里可以达到更高的协作效率，通过拆分成小而美的微服务，可以实现低风险的变更，使业务快速迭代，实现更加精细化的容量管理。第二个要素是容器化，容器化可以解耦应用层，跟底层IT基础设施之间耦合，做到各个云厂商之间的数据可移植，同时可以借助容器管理平台K8S获得弹性伸缩、容错、自愈、滚动升级等优势。第三个和第四个要素是DevOps和CI/CD，它们可以帮助企业构建敏捷开发文化，建设持续集成、持续交付的工具流程，开发人员写的代码能够快速迭代、快速发布，及时响应市场需求。

前面提到云计算和云原生如何帮助企业进行数字化转型，下面我们探讨一下消息服务在数字化转型中发挥的作用。

消息服务在数字化转型中起到两个作用：第一个作用是在微服务架构里，消息服务可以为微服务提供基础支撑，起到异步解耦的作用。企业拓展新客户的时候不需要对上游微服务进行改造，可以降低前端的响应延迟，提升用户体验。第二个作用是消息服务具备消峰填谷的作用，可以降低机器的消耗成本。当企业进行数字化转型之后，势必会引用大数据技术充分挖掘数据的能力，大数据架构里有大量来自不同场景的数据生产者以及应用、数据库等，同时也有各种不一样的处理平台，通过消息队列的发布模式，我们可以聚合各种数据，把数据分发到不同的数据处理平台进行丰富化的业务数据处理，同时还可以起到一个数据缓冲的作用，弥补在线业务处理和离线数据分析的差异。

云原生的核心价值在使用消息的场景里，消息的开发者应该更加聚焦业务开发本身，降低使用消息的成本。我们认为，消息服务向云原生方面去演进需要具备以下五个重要的特征。第一个是易用性，云原生的消息服务特征应该是开箱即用的模式。第二个是标准化，云原生的消息服务需要有完善的管理控制平臺来建立社区标准和自建标准，降低客户使用消息的门槛。第三个是多样性，不同行业、不同场景对于消息的诉求是不一样的，云原生的消息服务必须具备多样性来满足不同客户的需求。第四是低成本，云原生消息服务应该像自来水一样，提供所见即所得的消息服务。第五个是高SLA，数字化软件的业务连续性对企业来说至关重要，我们需要通过引入云原生的消息服务帮助企业做到更高的可用性。

前面提到云原生消息服务的重要作用和时代特征，下面介绍一下阿里云RocketMQ的云原生演进。RocketMQ是诞生于阿里巴巴集团内部的电商核心交易系统。

提到RocketMQ的云原生化，首先是K8S化。云原生消息K8S化是指通过自定义CRD资源将有状态的消息集群托管至Kubernetes集群中，充分利用K8S提供的部署、升级、自愈等能力提高运维效率，同时尽可能享受K8S的社区生态红利。其次是Serverless化。Serverless化主要是两个维度的概念。一方面根据业务规模自动化扩缩容实例规格、队列数等逻辑资源;另一方面，根据服务端负载自动化扩缩容计算、存储等物理资源。最后是Mesh化，RocketMQ将消息的富客户端能力下沉至Sidecar，将消息的服务发现、负载均衡、流量监控等职责与业务逻辑隔离，在运行时完成透明组装，同时提供细粒度的消息灰度和治理能力。

RocketMQ在云原生的建设主要是承载消息队列的存储、分发以及位点管理，目前我们的系统已经接入了业界大部分主流的数据处理平台，未来，我们会给客户提供更加轻量级的应用。

（根据演讲内容整理，未经本人审核）