回答情况：
提问时间：
问题标签：
我有多个服务器将他们的Rails日志传送到一个Kafka broker，使用Filebeat，从那里这些日志转到我们的Logstash服务器，然后存储在Elasticsearch中。# main (filebeat)sudo service filebeat restart
sudo vi/fil
浏览 0修改于2018-04-23得票数 1
我有一个关于filebeat.yml文件的问题。如果如下所示，%{偏移}的含义是否意味着日志文件的偏移量？filebeat.inputs: ... - /home/log/test.log codec.format:
string: '"o
浏览 5提问于2022-03-01得票数 0
回答已采纳
当我尝试同时向2个Kafka节点发送数据日志时，Filebeat出现问题output.kafka: hostsxxx.xx:9092", "192.168.zzz.zz:9092" ] timeout: 30s两个kafka我的
浏览 2修改于2018-11-17得票数 0
几天前我发现了Filebeat。如果我在filebeat.yml中硬编码主题名称，我会让它直接将数据发送到Kafka。但我似乎想不出如何根据suricata事件类型动态计算主题名称。我已经启用了filebeat suricata模块，并在filebeat.yml主题值中尝试了许多方法，例如： topic: 'suricata-%{[fields.suricata.eve.event_type]}' 但是我总是在日志中看到这样的错误： 2020-01-14T23:44:
浏览 138提问于2020-01-15得票数 0
回答已采纳
我想使用File节拍从服务器读取日志并在Apache上进行流。现在，我们正在使用Filebeat -> Kafka ->Flink。我想移除卡夫卡，让它成为Filebeat -> Flink
感谢你的回应/建议。
浏览 5提问于2022-08-25得票数 0
我想使用filebeat向logstash和kafak发送一个日志，然后logstash将日志发送到es，我可以在es中搜索它，kafak使用它来分析数据。filebeat.yml hosts: ["172.31.29.xxx:5044"] enabled: true
hosts
浏览 5提问于2020-05-26得票数 0
1回答
我是Kafka的新手，正在尝试建立一个管道，将我的apache httpd日志连接到mongodb。 我有用Kafka Output从Filebeat产生的数据。然后使用Kafka Connect to a database (MongoDB)将数据下沉。不幸的是，我的Filebeat中的数据没有ID。
浏览 16修改于2019-02-08得票数 0
回答已采纳
我目前正在设置中央日志系统(使用ELK)，该系统估计将从100个微服务中获取日志数据，并且可能会扩展更多。要求是有最小的延迟和高可用性的解决方案，现在我被困在如何设计应该看起来。在网上学习时，我得到了以下广泛使用的方法来满足这些需求 微服务->文件节拍kafka -> logstash ElasticSearch -> Kibana 然而，我很难理解filebeat在这种情况下是否真的有用如果我直接将日志流式传输到Kafka，然后Kafka再将其发送到
浏览 17提问于2020-07-11得票数 0
我想替换yml文件中每个日志的路径，下面是我的文件 enabled: true paths:- /var/log/*.log
enabled: true paths:sed -i -e '/^ *ssl:/,&
浏览 1修改于2019-03-30得票数 1
我想问一下，如何以结构化格式将日志从PHP放到kafka中(让我们说avro或protobuf，因为它将传输特定的业务合同，而不仅仅是纯apache日志)。Php不在我的领域或专业范围内，所以它可能很愚蠢，但解决方案可能只是从php本身向kafka发送消息。但考虑到它是在网络服务器下运行的，它很可能必须为每次调用创建到kafka的连接。另一种可能的解决方案是将日志记录到文件中，然后使用filebeat之类的东西将日志放到kafka中。
浏览 16提问于2021-10-22得票数 0
1回答
我在基于bitnami图表的kube集群上创建了一个Kafka服务。部署进行得很顺利。接下来，我安装了一个文件节拍来向该服务发送日志。在我看来，文件节拍与集群通信，但不吞食日志。我的配置如下：- type: filestream paths: fieldsforwarded - add_docker_metadata
浏览 34修改于2021-12-30得票数 0
是否可以通过filebeat.yml文件中文件节拍使用输出作为output.azure，并从本地文件输入，或者我们需要Kafka作为输出以将日志注入到eventhub azure。据我所知，只有我能看到kafka模块作为输出模块，用于将日志发送到Azure EventHub 和存储帐户是必要的，即使是注射?？ 谢谢!
浏览 82修改于2021-10-28得票数 0
最近，我们将使用file节拍将我们的系统日志收集到elasticsearch vias：在测试我们的系统时，我们发现了一种场景，即文件节拍将重复收集日志，这意味着一旦发生更改，它将从文件开始收集日志。以下是我对file节拍的配置：
- input_type:
浏览 1修改于2017-10-13得票数 0
现在，我尝试将Filebeat添加到其中，并将其配置为索引来自Kafka主题的数据。kibanaRef: config: - type: kafka在pod的日志中，我可以看到如下条目 log/log.go:145 Non-zero metrics in the last 30s {"monitoring": {"metrics": {
浏览 107提问于2021-02-04得票数 0
客户端的工作如下：我们的部分日志不是从特定的机器到达弹性的。我怀疑问题出在Filebeat的日志采集上。例如：filebeat -e -c myfilebeatconfig.yml
<e
浏览 1修改于2021-03-24得票数 5
在server1上，我有一个运行Kafka的docker容器。Kafka代理端口和动物园管理员被映射到主机。在server2上，我想安装Filebeat，它向server1上的Kafka发送一些日志消息。它似乎可以建立起与经纪人的联系.：
[kafka] kafka/client.go:317 Kafka (topic=sample-topic): kafka: client has run out of avail
浏览 10修改于2021-03-08得票数 0
回答已采纳
-6.5.0-linux-x86_64.tar.gzzookeeper-3.4.12.tar.gz我有一个XML格式的日志文件。*\<\/ProcID\b\>']
浏览 1修改于2019-02-17得票数 0
回答已采纳
我的日志有两个数据来源。一个是节拍，一个是kafka，我想根据源创建ES索引。如果kafka ->使用kafka作为前缀index_name，如果使用节拍作为索引名的前缀。input { port => 9300}
kafka { codec =&g
浏览 15提问于2019-10-15得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号