Apache Kafka 0.8.0版本近日发布。Apache Kafka是源自LinkedIn的一种分布式日志服务,主要用Scala语言开发(少量Java),其实质是高吞吐量而功能简单的消息队列。由于架构设计独特,Kafka与传统消息队列相比,内置分区、复制和容错功能,适合大规模系统。曾有数据表明,Kafka能够每秒发布超过40万条消息。
目前Kafka已经被众多互联网公司如Twitter、Pinterest、Netflix、Tumblr、Foursquare、Square、StumbleUpon、Coursera等广泛应用,主要使用场景包括:消息处理、活动流跟踪、运营数据监测、日志聚合、流处理(与Storm配合)等。
Apache Kafka 0.8.0版本主要改进包括:
- 支持集群内复制,将每个日志段都在多个broker节点复制
- 支持多个数据目录
- 请求处理改为异步
- 增加许多新的内部指标,从JMX切换到Coda Hale开发的Metrics库
- 基于时间的日志段删除
更多技术细节请参考版本说明。
技术资料
- 官网资料
- LinkedIn:Kafka
- Quora:Apache Kafka讨论
- StackOverflow:Apache Kafka
- CSDN博客:介绍和学习笔记
- 董西成博客:学习笔记
- Kafka架构设计(原文,中文翻译)