文章/答案/技术大牛

发布

社区首页 >问答首页 >使用文件节拍时内容重复收集问题

问使用文件节拍时内容重复收集问题
EN

Stack Overflow用户

提问于 2017-10-13 01:39:33

回答 1查看 196关注 0票数 0

最近，我们将使用file节拍将我们的系统日志收集到elasticsearch vias：

${local_log_file} -> filebeat -> kafka -> logstash -> elasticsearch -> kibana

在测试我们的系统时，我们发现了一种场景，即文件节拍将重复收集日志，这意味着一旦发生更改，它将从文件开始收集日志。

以下是我对file节拍的配置：

filebeat.prospectors:

- input_type: log
  paths:
    - /home/XXX/exp/*.log

scan_frequency: 1s
#tail_files: true
#================================ Outputs =====================================
#----------------------------- Logstash output --------------------------------
# output.logstash:
#   hosts: ["localhost:5044"]

#----------------------------- Kafka output -----------------------------------
output.kafka:
  enabled: true
  hosts: ["10.10.1.103:9092"]
  topic: egou

#----------------------------- console output --------------------------------
output.console:
  enabled: true
  pretty: true

注意：

我们手动构造日志文件，并且确定在文件末尾有一个空行。
要制作控制台，我们打开output.console
一旦有内容附加到日志文件的末尾，文件节拍将从file.But开始收集，我们希望只是获取文件的更改。
文件格式为5.6.X

希望你们能提供任何有用的提示。

elasticsearch

filebeat

回答 1

Stack Overflow用户

发布于 2017-10-16 06:37:42

我认为这是因为编辑器，您正在使用，创建一个新的文件保存与新的元数据。Filebeat使用它的元数据而不是内容来标识文件的状态。

试试看

echo "something" >> /path/to/file.log

参考文献：https://discuss.elastic.co/t/filebeat-repeatedly-sending-old-entries-in-log-file/55796

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/46721239

复制

相似问题

问使用文件节拍时内容重复收集问题
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用文件节拍时内容重复收集问题EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用文件节拍时内容重复收集问题
EN