2021年大数据Kafka（九）：kafka消息存储及查询机制原理

​​​​​​​

kafka消息存储及查询机制原理

一、Kafka数据存储机制

        segment段中有两个核心的文件一个是log,一个是index。 当log文件等于1G时，新的会写入到下一个segment中。通过下图中的数据，可以看到一个segment段差不多会存储70万条数据。

二、Kafka数据查询机制

需求1: 读取 offset=368776 的message消息数据, 数据集如下

第一步: 确定segment段

第二步: 通过segment file 查找 message

寻找的步骤总结

1. 确定数据所在的segment段, 所以可以推断  368776 这条数据在第二个segment段中
2. 在这个段中, 先去查询 index文件, 从中找到 368776 消息在log文件具体的物理偏移量位置
3. 遍历log文件, 顺序查询到具体位置, 将数据直接获取即可

• 📢博客主页：https://lansonli.blog.csdn.net
• 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
• 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
• 📢大数据系列文章会每天更新，停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨