几个常用MQ的优缺点和应用场景
2023-05-30权露
权露
消息队列(MQ),是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据(消息)来通信,而无需专用连接来链接它们。
优缺点
ActiveMQ
Apache ActiveMQ是最流行的开源、多协议、基于Java的消息代理。它支持行业标准协议,因此用户可以从多种语言和平台的客户端选择中获益。从JavaScript、C、C++、Python、.NET等多个客户端连接。使用无处不在的AMQP协议集成多平台应用程序。使用STOMP over WebSocket在Web應用程序之间交换消息。使用MQTT管理您的物联网设备。支持您现有的JMS基础架构及其他基础架构。ActiveMQ提供了支持任何消息传递用例的能力和灵活性。
优点
单机吞吐量万级,时效性ms级,可用性高,基于主从架构实现高可用性、消息可靠性较低的概率丢失数据。
缺点
官方社区现在对ActiveMQ 5.x维护越来越少,高吞吐量场景较少使用。
Kafka
Apache Kafka是一个开放源代码的分布式事件流平台,被数千家公司用于高性能数据管道、流分析、数据集成和任务关键型应用程序。如今,有超过80%的财富100强公司信任并使用Kafka。
优点
性能卓越,单机写入TPS每秒约在百万条,最大的优点,就是吞吐量高。时效性毫秒级、可用性非常高,Kafka是分布式的,一个数据多个副本,少数机器宕机不会丢失数据,也不会导致不可用。消费者采用Pull方式获取的消息,消息有序,通过控制能够保证所有消息被消费且仅被消费一次。
有优秀的第三方Kafka,Web管理界面Kafka-Manager,在日志领域比较成熟,被多家公司和多个开源项目使用。功能较为简单,主要支持简单的MQ功能,在大数据领域的实时计算以及日志采集被大规模使用。
缺点
Kafka单机超过64个队列/分区,Load会发生明显的飙高现象,队列越多Load越高,发送消息响应时间变长,使用短轮询方式,实时性取决于轮询间隔时间,消费失败不支持重试。它支持消息顺序,但是一台代理宕机后,就会产生消息乱序,且社区更新较慢。
RocketMQ
由于ActiveMQ和Kafka不能满足阿里的需求,他们决定发明一种新的消息传递引擎来处理更广泛的用例集,从传统的发布/订阅场景到高容量实时零丢失容错事务系统。相信这个解决方案是有益的,所以希望向社区开放源代码,今天,有100多家公司在其业务中使用开源版本的RocketMQ。
优点
单机吞吐量10万级,可用性非常高,分布式架构,消息可以做到零丢失。MQ功能较为完善,扩展性好,支持10亿级别的消息堆积,不会因为堆积导致性能下降,源码是Java可以自己阅读源码,定制自己公司的MQ。
缺点
支持的客户端语言不多,目前是java及C++,其中C++不成熟,社区活跃度一般,没有在MQ核心中去实现JMS等接口,有些系统要迁移需要修改大量代码。
RabbitMQ
RabbitMQ是部署最广泛的开源消息代理,拥有数万用户,是最流行的开源消息代理之一。从T-Mobile到Runtastic,RabbitMQ在世界各地的小型初创公司和大型企业中使用。
RabbitMQ是轻量级的,易于在本地和云中部署,支持多种消息传递协议,可以在分布式和联合配置中部署,以满足高规模、高可用性需求。
RabbitMQ运行在许多操作系统和云环境上,并为最流行的语言提供了广泛的开发工具。
优点
由于erlang语言的高并发特性,性能较好,吞吐量达到万级,MQ功能比较完备,健壮、稳定、易用、跨平台且支持多种语言,如:Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等。支持AJAX文档齐全,开源提供的管理界面非常棒,很好用,社区活跃度和更新频率也相当高。
缺点
商业版需要收费,且学习成本较高。
MQ的应用场景及选择
ActiveMQ
ActiveMQ支持任何消息传递用例的能力和灵活性,较适合吞吐量比较小的公司使用,也是MQ起步学习的首选。
Kafka
Kafka主要特点是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输,适合产生大量数据的互联网服务的数据收集业务。大型公司可以选用,它是大数据分析必备,如果有日志采集功能,肯定是首选。
RocketMQ
天生为金融互联网领域而生,对于可靠性要求很高的场景,尤其是电商里面的订单扣款,以及业务削峰,在大量交易涌入时,后端可能无法及时处理的情况。RoketMQ在稳定性上更值得信赖,这些业务场景在阿里的“双11”已经经历了多次考验,如果你的业务有上述并发场景,建议可以选择RocketMQ。
RabbitMQ
结合erlang语言本身的并发优势,性能好、时效性可达到微秒级,社区活跃度也比较高,管理界面用起来十分方便,如果的数据量没有那么大,中小型公司优先选择功能比较完备的RabbitMQ。