文章/答案/技术大牛

发布

社区首页 >问答首页 >Logstash配置:如何从ElasticSearch输出插件调用部分更新API？

问Logstash配置:如何从ElasticSearch输出插件调用部分更新API？
EN

Stack Overflow用户

提问于 2016-07-12 08:16:19

回答 2查看 8.4K关注 0票数 4

我试图创建一个数据管道，Logstash插件每5分钟通过SQL查询获取一些数据，ElasticSearch输出插件将输入插件中的数据放入ElasticSearch服务器。我希望这个输出插件能够部分更新ElasticSearch服务器中现有的文档。我的Logstash配置文件如下所示：

input {
    jdbc {
        jdbc_driver_library => "/Users/hello/logstash-2.3.2/lib/mysql-connector-java-5.1.34.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_connection_string => "jdbc:mysql://localhost:13306/mysqlDB”
        jdbc_user => “root”
        jdbc_password => “1234”
        last_run_metadata_path => "/Users/hello/.logstash_last_run_display"
        statement => "SELECT * FROM checkout WHERE checkout_no between :sql_last_value + 1 and :sql_last_value + 5 ORDER BY checkout_no ASC"
        schedule => “*/5 * * * *"
        use_column_value => true
        tracking_column => “checkout_no”
    }
}

output {
    stdout { codec => json_lines }

    elasticsearch {
        action => "update"
        index => "ecs"
        document_type => “checkout”
        document_id => “%{checkout_no}"
        hosts => ["localhost:9200"]
    }
}

问题是，ElasticSearch输出插件似乎没有调用部分更新API，例如/{index}/{type}/{id}/_update。手册只列出了诸如index、delete、create、update等操作，但没有提到REST的每个操作调用，即：update操作调用/{index}/{type}/{id}/_update还是/{index}/{type}/{id} API (向上插入)。我想调用部分更新api从弹性搜索输出插件？有可能吗？

logstash

elasticsearch

回答 2

Stack Overflow用户

回答已采纳

发布于 2016-07-13 04:09:46

在我的生产脚本中设置doc_as_upsert => true和action => "update"工作。

output {

  elasticsearch {
    hosts => ["es_host"]
    document_id => "%{id}" # !!! the id here MUST be the same
    index => "logstash-my-index"
    timeout => 30
    workers => 1
    doc_as_upsert => true
    action => "update"
  }
}

票数 12

Stack Overflow用户

发布于 2016-07-12 09:28:16

这是可能的。Elasticsearch输出插件有一系列upsert选项，它们对应于Elasticsearch中的选项：

upsert本身：https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html#plugins-outputs-elasticsearch-upsert
scripted_upsert：upsert
doc_as_upsert：upsert

票数 3

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/38323392

复制

相似问题

问Logstash配置:如何从ElasticSearch输出插件调用部分更新API？
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Logstash配置:如何从ElasticSearch输出插件调用部分更新API？EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Logstash配置:如何从ElasticSearch输出插件调用部分更新API？
EN