1. Kafka简介
- Kafka是linkedin用于日志处理的分布式消息队列，同时支持离线和在线日志处理。
- Kakfa对消息保存时根据Topic进行归类，发送消息者成为Producer，消息接受者成为Consumer。
- Kafka集群有多个Kafka实例组成，每个实例（server）称为broker。无论是Kafka集群，还是producer和consumer都依赖有zookeeper来保证系统可用性，为集群保存一些meta信息。
2. Kafka应用场景
2.1 日志收集
- 日志收集方面，其实开源产品有很多，包括Scribe、Apache Flume。很多人使用Kafka代替日志聚合（log aggregation）。
- 日志聚合一般来说是从服务器上收集日志文件，然后放到一个集中的位置（文件服务器或hdfs）进行处理。
- 然而Kafka忽略掉文件的细节，将其更清楚地抽象成一个个日志或者事件的消息流。这就让Kafka处理过程延迟更低，更容易支持多数据源和分布式数据处理。
- 比起日志为中心的系统，比如Scribe或者Flume来说，Kafka提供同样高效的性能和因为复制导致的更高的耐用性保证，以及封底的端到端延迟。
2.2 行为跟踪
- Kafka的另一个应用场景是跟踪用户浏览页面、搜索及其他行为，以发布-订阅的模式实时记录到对应的Topic里。
- 那么这些结果被订阅者拿走后，就可以做进一步的实时处理，或实时监控，或放到Hadoop离线数据仓库里处理。
2.3 Kafka基本概念
- Topic：特指Kafka处理的消息源（feeds of messages）的不同分类
- Parition: Topic物流上的分组，一个topic可以分为多个parition，每个parition是一个有序的队列。parition中的每条消息都会被分配到一个有序的id（offset）。
- Message:消息，是通信的基本单位，每个producer可以向一个Topic中（主题）发布一些消息。
- Producers:消息和数据生产者，向Kafka的一个Topic发布消息的过程叫做paroducerss。
- Consumers：消息和数据消费者，订阅topics并处理发布的消息的过程叫做Consumers.
- Broker：缓存代理，Kafka集群职工的一台或多台服务器统称为Broker。
3. Kafka的Topics/Log
- 一个Topic可以认为是一类消息，每个topic将被分成多个parition(区)，每个parition在存储层是append log文件。
- 任何发布到此parition的消息都会被直接追加到log文件的尾部，每条消息在文件中的位置称offset(偏移量)，parition是以文件的的形式存储在文件系统中。
- Logs文件根据broker中的配置要求，保留一定时间后删除来释放磁盘空间。
Parition: Topic 物理上的分组，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列。 partition 中的每条消息都会被分配一个有序的 id（offset）。
