说一说亚马逊云服务（AWS）中国区域新上线的Amazon MSK

  2020年4月15日，Amazon MSK在由光环新网运营的AWS 中国（北京）区域和由西云数据运营的 AWS 中国（宁夏）区域正式上线。这款新服务是做什么用的？本文为您解读。

  这些流式数据的数据源可以是前端Web/Mobile应用的点击流、IoT设备的事件或者是后端应用实时生成的日志。因为Amazon MSK与原生的Apache Kafka兼容，用户都能够使用原生Apache Kafka API来处理这些实时的流式数据，做相应的数据分析，或者分发到后端的分析应用，比如数据湖应用。

  Apache Kafka是一款在业内很流行的开源流式处理软件，它最早用于内部的消息队列处理。后面贡献给了开源社区，并慢慢发展成为功能强大的流式处理平台。Apache Kafka以它的分布式部署、高吞吐量、低延迟而著称，所以无论是在新兴的网络公司还是传统行业，都有十分普遍的应用。

  但我们也看到，要运维一个生产级别的Kafka集群不是一个简单的任务，这跟我们平时在本机起一个单节点的Kafka集群做日常的开发，不可同日而语。运维生产级别的Kafka集群需要仔细考虑以下的问题：

  要处理好上面的问题，对Kafka集群的运维团队是有一定的能力要求。如果让研发人员参与进来，往往又会影响研发人员的效率，因为繁琐的运维工作往往会使得开发人没办法专注于业务逻辑的开发。

  所以AWS推出了托管的Kafka服务：Amazon MSK。Amazon MSK 为用户管理Kafka集群的初始化、配置和维护，用户都能够专注于创建流式应用，无需担心管理Kafka环境的运营开销。

  Amazon MSK创建Apache Kafka 集群，并在 AWS 区域内提供多可用区部署。Amazon MSK 会持续监控集群的运作状况，如果某个组件出现故障，Amazon MSK 可以自动替换故障组件。而且使用多可用区部署的Amazon MSK无需再额外支付跨可用区的数据传输费用。

  在扩展性方面，Amazon MSK能做到随时扩充集群的节点数量和磁盘空间

  在安全方面，Amazon MSK提供了多级安全性，包括 VPC 网络隔离、使用 AWS IAM 来控制层面 API 授权、静态数据加密和传输中的 TLS 加密

  因为Amazon MSK与原生的Apache Kafka完全兼容，这使得用户都能够轻松地在AWS上迁移和运行现有的Apache Kafka应用程序，而无需更改应用程序代码。利用Amazon MSK，用户都能够保持开源的兼容性，并接着使用熟悉的开源工具，例如 MirrorMaker，Apache Flink 和 Prometheus。

  说到两者的区别，首先从使用的直观感受上讲，对于Kinesis Data Streams，由于每个Shard的读写吞吐量恒定（写每秒1M，读每秒2M），所以设计阶段预估了多少的吞吐量，初始化Stream的时候，指定对应的Shard数量即可，非常直接明了；反观Amazon MSK，Kafka集群初始化好了以后，用户都能够创建任意多的主题，每个主题需要指定相应的Partition数量，所以对于单个主题的吞吐量，一定要通过细致的测试和监控，才可以获得对应的吞吐量指标。

  Kinesis Data Streams是AWS自研的流式服务，它的设计初衷是为了更好的扩展性以及易用性。由于是AWS的原生服务，所以它和AWS其它服务，比如AWS IAM、AWS Lambda进行了深度的集成；Amazon MSK则是基于开源的Kafka，所以它对开源生态和第三方工具有更好的支持，同时由于Amazon MSK基于开源系统，用户都能够进行高度的定制，使用一些Kafka高级的功能，比如extended retention、log compaction等等。

  另外两者虽然有一些概念互通的东西，但由于底层实现架构的不同，通常来说，Amazon MSK能够得到更好的性能，比如更低的延迟。对于延迟有严苛要求的应用，Amazon MSK能够最终靠灵活定制，比如牺牲消息的持久性来获得更低的延迟，但Kinesis Data Stream由于其底层的架构限制，没有很好的方法实现如此灵活的定制。

  从扩展性而言，Kinesis Data Stream要扩容和缩容，只要增加或者减少相应的Shard数量即可，比较直接简单，同时能做到对客户端的透明。所以如果客户的流量波峰与波谷差别比较大，可优先考虑使用Kinesis Data Streams来灵活地扩缩集群，在保证满足业务需求的同时，也能在流量波谷时收缩集群，节省非常可观的费用。Amazon MSK集群的扩容，能够最终靠增加Broker的数量，但这个操作对于客户端不是透明的，所以一般在初始化MSK集群的时候，需要充分预估集群的吞吐量。最后从高可用来说，无论是Amazon MSK还是Kinesis Data Streams，均支持跨可用区部署。

  上述只是简单的一个比较，具体的架构决策还需要看实际的项目场景，不过若用户是Kafka的拥趸，或者已经在使用Kafka，那迁移到Amazon MSK是最直接的选择，因为它可以大幅度减轻运维负担，尤其是对需要多区域部署的Kafka支持，迁移到Amazon MSK后能节省大量的跨可用区数据传输费用。而如果客户的流量波峰与波谷差别比较大，则可优先考虑使用Kinesis Data Streams，在保证满足业务需求的同时，也能在波谷时节省非常可观的费用。

  在AWS海外区域，我们正真看到已经有很多客户在云上使用Amazon MSK服务。

  Poshmark是一个领先的社交电子商务平台。Poshmark数据工程高级总监Mahesh Pasupuleti介绍说， Amazon MSK使得搭建、维护和扩展Kafka集群都很容易，通过全托管的服务实现了端到端的数据注入管道。当需求量开始上涨时，Poshmark有信心能够轻松扩展，扩大其流媒体注入管道，实现数据改进和实时机器学习，为客户提供增强的体验。

  知名的网络安全公司Secureworks选择Amazon MSK服务来开发和发布其安全分析应用程序，缩短了产品上市时间，减少了基础设施和管理开销，让Secureworks能够专注于创新，专注其独特的差异化优势，帮助保护客户应对网络威胁。

  Delhivery是印度知名的物流公司。Delhivery使用Apache Kafka作为其数据管道中的关键组件，以收集、存储和按照逻辑流转在发货、运输、交货过程的元数据。当公司的物流业务扩大时，他们花费了大量精力来应对Apache Kafka集群基础设施的复杂性。Amazon MSK不仅帮他们减轻了基础设施开销，还以更安全和可靠的方式为其业务攸关的元数据管道保持了高吞吐量和高性能。

  现在，Amazon MSK已经在AWS中国宁夏和北京区域上线，我们始终相信，很快会有大量的中国区域客户受益于Amazon MSK。