我使用fluentd将Kubernetes pod日志转发到splunk,但在splunk中,我无法看到完整长度的pod日志,因为它们被截断了。例如,我们有一个74286个字符的单行日志,但是splunk只显示了16385个字符。我能做些什么来克服这个问题?
这是我在fluentd configmap中配置的方法。
<match **>
@id splunk
@type splunk-hec
@log_level info
server "#{ENV['FLUENT_SPLUNK_HOST']}"
protocol https
verify false
host "#{ENV['CLUSTER_NAME']}_#{ENV['NODE_NAME']}"
token "#{ENV['FLUENT_SPLUNK_TOKEN']}"
index "#{ENV['SPLUNK_INDEX']}"
buffer_type memory
buffer_queue_limit 256
buffer_chunk_limit 8m
batch_size_limit 8000000
flush_interval 1s
</match>发布于 2020-09-16 07:03:27
默认情况下,Splunk应该截断10,000个字符。您可以在props.conf文件中对其进行更改。
[mysourcetype]
TRUNCATE = 75000这是对其他“魔术”6设置的补充:TIME_PREFIX、TIME_FORMAT、MAX_TIMESTAMP_LOOKAHEAD、SHOULD_LINEMERGE和LINE_BREAKER。
https://stackoverflow.com/questions/63909930
复制相似问题