# 云消息队列 Kafka 版 #
0
关注
8604内容
从离线到实时：无锡锡商银行基于 Apache Doris 的数据仓库演进实践
从离线到实时：无锡锡商银行基于 Apache Doris 的数据仓库演进实践
分层存储救不了Kafka
Apache Kafka，作为流处理领域的标杆，面临云环境下的挑战，如高存储成本、运维复杂性和性能瓶颈。传统的本地磁盘Shared Nothing架构导致这些问题，而分层存储仅部分缓解，未根本解决问题。直接写入S3虽降低成本，但牺牲了延迟。为解决这些痛点，提出了创新的共享存储架构，通过EBS+S3实现存算分离，保持低延迟并提高弹性，同时降低成本和运维复杂性。该架构将EBS视为共享存储，实现Broker与存储的解耦，确保在云时代引领流处理系统的发展。
阿里云服务器实例规格选型参考，根据上云场景选择适合自己的实例规格
对于很多新手用户来说，在初次选择阿里云服务器实例规格的时候，面对众多实例规格往往不知道如何选择，因为云服务器实例规格不同，价格也不一样，本文通过一些常见的选型场景推荐，便于大家在选择云服务器实例规格时做个参考。
Python 数学应用（四）（3）
Python 数学应用（四）
MQ产品使用合集之对于Kafka作为数据源的情况，官方比较推荐哪种使用方式
消息队列（MQ）是一种用于异步通信和解耦的应用程序间消息传递的服务，广泛应用于分布式系统中。针对不同的MQ产品，如阿里云的RocketMQ、RabbitMQ等，它们在实现上述场景时可能会有不同的特性和优势，比如RocketMQ强调高吞吐量、低延迟和高可用性，适合大规模分布式系统；而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集，这些场景涵盖了多种行业和业务需求。
Kafka Exactly Once 语义实现原理：幂等性与事务消息
Apache Kafka的Exactly-Once语义确保了消息处理的准确性和一致性。通过幂等性和事务消息，Kafka实现了要么全处理要么全不处理的原子性。文章详细解析了Kafka事务的工作流程，包括生产者的幂等性（通过序列号保证），以及事务消息的提交和回滚过程。Kafka事务提供了ACID保证，但存在性能限制，如额外的RPC请求和单生产者只能执行一个事务。此外，事务适用于同集群内的操作，跨集群时原子性无法保证。了解这些原理有助于开发者更好地利用Kafka事务构建可靠的数据处理系统。
Kafka 迁移工具 MirrorMaker2 原理起底
MirrorMaker2 (MM2) 是 Kafka 从 2.4.0 开始提供的数据复制工具，用于集群间的数据同步和备份。MM2 有三种部署模式：dedicated mode、standalone mode 和 Kafka Connect mode。AutoMQ即将推出基于MM2的迁移产品，助力用户平滑迁移到AutoMQ平台。
免费试用