问Kafka数据流ID
EN

Stack Overflow用户

提问于 2019-02-08 03:02:41

回答 1查看 119关注 0票数 0

我是Kafka的新手，正在尝试建立一个管道，将我的apache httpd日志连接到mongodb。

我有用Kafka Output从Filebeat产生的数据。然后，我使用Kstreams从主题中读取数据，并将数据mapValues到不同的主题。然后使用Kafka Connect to a database (MongoDB)将数据下沉。不幸的是，我的Filebeat中的数据没有ID。

我如何为它们创建ID，因为我希望在将文档沉入mongodb之前创建一个唯一的ID并将其插入文档中？我希望这可以在mapValues转换中实现；

回答已采纳

发布于 2019-02-08 03:18:38

我认为你可以使用分区和偏移量的组合来为每条消息创建一个唯一的id。如果您想使主题在各个主题中保持唯一，则可能需要添加主题。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/54580481

复制

相似问题

问Kafka数据流IDEN