首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >File节拍收集日志并将它们推入Kafka错误。

File节拍收集日志并将它们推入Kafka错误。
EN

Stack Overflow用户
提问于 2019-02-15 08:27:08
回答 1查看 481关注 0票数 0

1.我的版本信息

代码语言:javascript
复制
jdk-8u191-linux-x64.tar.gz
kibana-6.5.0-linux-x86_64.tar.gz
elasticsearch-6.5.0.tar.gz
logstash-6.5.0.tar.gz
filebeat-6.5.0-linux-x86_64.tar.gz
kafka_2.11-2.1.0.tgz
zookeeper-3.4.12.tar.gz

2.问题描述

我有一个XML格式的日志文件。我用文件拍收集这个文件,并把它推到卡夫卡内容混淆。

这是我的文件节拍配置

代码语言:javascript
复制
filebeat.inputs:

- type: log

  enabled: true

  paths:
    - /data/reporttg/ChannelServer.log

  include_lines: ['\<\bProcID.*\<\/ProcID\b\>']


### Filebeat modules

filebeat.config.modules:

  path: ${path.config}/modules.d/*.yml

  reload.enabled: false

### Elasticsearch template setting

setup.template.settings:
  index.number_of_shards: 3


### Kibana

setup.kibana:

### Kafka

output.kafka:
  enabled: true
  hosts: ["IP:9092", "IP:9092", "IP:9092"]
  topic: houry

### Procesors 
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

我的日志内容

代码语言:javascript
复制
<OrigDomain>ECIP</OrigDomain>
<HomeDomain>UCRM</HomeDomain>
<BIPCode>BIP2A011</BIPCode>
<BIPVer>0100</BIPVer>
<ActivityCode>T2000111</ActivityCode>
<ActionCode>1</ActionCode>
<ActionRelation>0</ActionRelation>
<Routing>
    <RouteType>01</RouteType>
    <RouteValue>13033935743</RouteValue>
</Routing>
<ProcID>PROC201901231142020023206514</ProcID>
<TransIDO>SSP201901231142020023206513</TransIDO>
<TransIDH>2019012311420257864666</TransIDH>
<ProcessTime>20190123114202</ProcessTime>
<Response>
    <RspType>0</RspType>
    <RspCode>0000</RspCode>
    <RspDesc>success</RspDesc>
</Response>

测试正则表达式

3.启动和查看卡夫卡内容

4.我测试了文件拍收集内容并将其推到logstash中是正常的。

如何解决这个问题呢?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-02-17 20:41:52

如果您不想包含XML标记,我建议您使用正则组

就像这样

代码语言:javascript
复制
'<ProcID>(PROC[0-9]+)<\/ProcID>'
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/54705198

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档