首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >从MYSQL将数据填充到elasticsearch的良好实践

从MYSQL将数据填充到elasticsearch的良好实践
EN

Stack Overflow用户
提问于 2019-11-15 08:49:33
回答 1查看 170关注 0票数 0

我阅读了一些文档,并找到了一些有趣的方法来实现与elasticsearch实时同步来填充数据。

(输入插件(mysql -每5 seconds))

  • logstash运行一次)(输入插件(sqs,kafka,rabbitMQ))

  • using message queus only(rabbitMQ..)

  • add )仅在api级别(在与(mysql或其他dbs)的事务中)

中运行)。

哪一种将是一种容错的方法,并能带来近乎实时的效果?

我的要求将是填充3个表,从mysql到elasticsearch (有很多到多个关系需要去定向和保存),并在完成CURD操作时与elasticsearch同步1:1。

EN

回答 1

Stack Overflow用户

发布于 2019-11-16 21:51:58

我建议您使用Kafka主题编写数据,然后使用用户应用程序或日志将您的数据写入ElasticSearch:

  1. Kafka是一种高可用性和高可伸缩性的消息队列和存储。
  2. 如果我们的日志存储崩溃(输入插件(mysql-每5秒运行一次)),您必须重新启动此服务。如果一个消费者失败,并且您有该使用者的多个实例,则其他两个将接管负载。
  3. 如果Elastic在一段时间内不可用(发生在我身上),您将丢失日期H 210G 211
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58873303

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档