腾讯云ES如何通过Reindex实现跨集群数据拷贝原创

好，大家好，那么今天啊，嗯，我们花点时间来入来讲一讲这个。腾讯云ES的这个redex啊，Ex的这个功能啊，这个reex是就是数据拷贝啊，除了在本地。索引的一种，复制文档拷贝以外，它还支持跨集群的一个操作。他只是跨集群的一个操作。那么我的专栏里边啊，专栏里边也讲到了这个的文章啊，讲到了这个啊，在这个这个链接啊，通过这个链接我们可以去查看这个一些文文章的一些实现啊些实现步骤。好。这个是有两个章节，一个上好，一个是上好，这里还有一个下好，一个下就是两篇文档。

两培文档啊，两篇文档。那么今天我的重点啊，我并不是关注这个Rex功能怎么去实现啊，我是讲的是在这一个的基础上面。好在这个基础上面去实现，去在实践当中遇到的问题去做了一个拓展。好，做了个拓展。这些前提条件。啊，前提条件我们就啊这个大致大致大致大致看这个链接就可以了，我这边就啊不不多讲啊不多讲。那我们其实其实腾讯云在去年的5月20号以后推出了新集群啊，基本上都实现这个。实现这个那个啊。因为他能够直接访问那个外面的那个，呃，网络外面的网络好。

那么。呃，这边我这个文档里面这个上级啊，这个上级文档里面有私有云到公有云对吧，然后呢，有公有云到私有云这样子的一个操作，呃，腾讯云ES间的一个操作呢，我我就啊这里就没有写到这里了啊。我就写在哪里了，我就写这个下级里面来了，好，写这个下级里面来了。好，我就单独把它拎出来，单独把它拎出来，好，单独把它拎出来。嗯。我今天我的操作的这样的一个实际环境啊，实际环境就是这样的一个实际环境就是啊，我是怎么样去论证这个跨区域，就是多区域啊多可用区。就是就是就是可能啊，目标端可能是两个区域，那可能访问端就是单区域，也有可能两个区域都是啊，就是存在这这个实际的场景啊，实际场景。

啊，正是因为实际里面我们可能会有更多的一些需求一些场景，所以我今天呢，就把这个场景呢，就梳理了一下啊，梳理一下就是既有单区到多区的访问，也有多区到单区的访问啊，也有多区多区之间的访问。好，这是同一个不同之间的一个。一个访问。好吧，就是啊，就是这是我本一次进行的一个实践的一个情况啊。一些基础知识啊，我就不多讲了啊，这我这个网站里面都有啊，这个里面都有，包括这些实践的一些API对吧，都有好都有。我这里再重点强调一下啊，重点强调一下啊这个。Re，的一些配置，好配置。

Re，需要开放我这里这里说一遍啊，需要开放远程ES集群访问地址的白名单。就是就是对端的。对吧，对对对，就是用户在控制台啊，腾讯云控制台，然后选择某个集群。然后在高级配置里面。进行该服该配置文件的配置啊，但是呢，就是说这个配置它需要重启集群才能生效啊，重启才能生效，那么主要是改这个，就是在那个控制台里面加一行这个。二。rex.remote.white list就是远程访问集群的。白名单信息啊，白名单信息，那比如说啊。我的A级群。需要通过re去拷贝B集群上的数据。啊，A去拷贝B上的数据。

那么我的B，所以我就在B上面，在B级上面去配置A的一个VIP信息。对吧，就是表明表明我这个B集群上。我允许你A过来拷贝我的数据对不对？啊，就是这个意思是添加远程集群的VIP啊，远程集群的VIP，这是远程上的啊。就是这个啊，就是这个，这个意思是什么？这个逻辑关系不要搞混了啊，是添加远程集群的VIP。添加到本地来，那么这样子我就允许对方来访问我，那对方就能够通过拷贝我的数据到那边去。是吧，好。这是第一个，注意四千一啊。第二个注意啊，我为我这里为什么说可用出，我要单独列出来呢？是因为都可用出。

他跟单口音去它不不一样知道吗？不一样啊，我们我们我们这个这个基础条件是什么？讲的是同一个VP，是下同一个子网的一个访问，知道吗？这就没有问题啊，这就只要只要只要是配置一个。单区就可以了，单区就是在对了，在远在远程在在目标集群是吧，去配置那个命令就可以了，对吧，但是我这里是多可用区，它就不同了啊看这里。注意啊。如果原集群目标集群存在多可用区的时候。好，这句话非常重要啊，比如这里我是从多核验区的集群去搞被单可验区的集群数据。那我在多个区上去执行时，出现了如下的错误啊。出现如下错误，怎么说呢？说10.2.20.299200这个VIP不在。

Rexin remote one。那么这就奇怪了，对吧，这个是在蚁王都没出现过的对吧。只是说我是通过这个。多可用区的远集群，去拷贝这个远程集群的时候。他报这个错误。But z。好。怎么怎么解决呢？解决办法就是需要在本地集群。就是你的这个啊，就是本地区执行的时候，这个本地集群也要添加啊，也就是原集群添加re版本的，就是把这个提示信息这个对着的这个VIP信息是吧。你加到本地，就是把提这个对吧，加到本地。然后把这个集群重启一下，再把这个语音集群重启一下，那么这样就可以在本地执行re命令，那么这就拷贝了。

好。那么这样的错误不单单是多可到单可的这个一个访问好，还有一个就是如果同VC下不同直网间的一个，也就是说同一个VBC下，比如说一个在广州三区，一个在广州四区，它不不同子网对不对，如果去执行它也会。报这个错。在端也会报这个错误啊，所以它的处理办法也是跟上面一样的，就是在原端再去加这个。目标端的这个VIP在原端，在本地端啊配置。好，那么这个时候我们还可还会出现在什么呢？两个多可用区之间的。就是这里，就是这里。好，我广州三区广州四区啊，这个这边啊，广州三区广州四区这里也有广州三区广州四区对不对啊，这两个都可以区之间去进行一个跨跨级群reex时候，Re的时候他也会报这个错，好这个是在以往我们都没发现过，所以说我这里特地去整整理了一下，好就是两个多可用区之间的一个reex也会报这个错。

那么也需要在。原端添加对端的那个VIP信息。好，对了，我洗。啊，这个啊，我就简单的总结了一下，好简单的总结了一下就是啊。在跨多核音区操操作的时候呢，还是有很多要注意的地方啊，这里我就是统一的啊，就是记录了一下啊，就是目标集群啊，就是要去拷贝的是个单核验区，然后呢，我的原集群呢，是个多核验区，会会怎么怎么样是吧？原集源群是个单子又是怎么样，原集源区在不同的子网里面又是怎么样，原区圈是怎么怎么样，又会怎么样怎么样对吧？好。

这里面都有啊，所以说是在目标集群配置访问列表，在本地原集群还要配置目标端的VIP。就是啊，通过多可音区本地的是去访问这个单口用的子网，好，如果是在同一个子网同一个区，那就是没有问题是吧，直接配置就可以了，对吧，如果是在。是不同的子网之间也是要需要配合的好，如果是其他的两个多核音区之间也要配置好，这个都是论证了的，好吧，那么这个就是一个理论知识啊，就是做一个啊，上一级的一个re一个刺激补充吧。好。就是我啊，今天那个特别要啊。讲的地方。好，那我们去去那个拿拿一个那个拿两个集群是吧，我们操作一下好。好操作一下，那么同样的我们在这个腾讯云控制台上，对吧，腾讯云控制台上我们也会有很多这样的一些，呃，一些实际操作，一些实际操作对吧，那我们随便就是说随便点开一个对吧，随便点开一个。

生命健康，然后呢，我们去看一看它的一个什么高级配置里面对吧，高级配置里面对吧，就是在这里。啊，就是在这里高级配置里面，在这里我们去修改啊，修改这个配置，修改配置，我们修改成证，我们把这个Rex是吧，把这个Rex，比如说把那个啊。时间这样子拷不过来对吧，考不过来好注意这里有个空格啊，后面然后点击确定。啊，它就会啊，重启这个集群啊，重启才能生效，好吧，直接就是这样子就就就就可以了，就是re.remote这样子操作好，如果是多个集群啊，你后面要修改，你直接这里再加就可以了，对吧？加就可以了，对吧。

啊。加啊加就生效。那我们我们我们找一个我修改过的吧，好吧。那改过以后。改过以后它这个是个什么效果呢？改过以后我们看看这个SSO1啊，这我看高级配置对吧，配置，然后改完之后重启完以后，大概可能要经过那么几分钟是吧，他可能就是这样子一个效果啊。这个也没有是吧，行，我看看另外一个吧，我看看改过以后的是什么样子啊，那我们就找一个这个吧，呃。对。对吧，这样子啊，这个就是改改完成功以后，这里就会有这样的一个正确的一个提示啊，啊这是当然如果说你你发现啊，你改完之后，你你你还你不对是吧，那行了，那就点这里就可以了，点果配置对吧，写改配置，然后在这里在这里看见没有在这里加比如书啊。

加加加加多少个后面后面就一直加就可以了，对吧，就这样一直加就可以了，加完之后点确定就可以了，好吧，好就这样子的，所以你一定要往后面加，如果是你累积的话，就是往后面加，如果你如果你把这里删掉。啊删掉，然后再写一个，那就是把这个已经把这个已经生效的就覆盖了，知道吗？覆盖了覆盖了啊OK。就是这样子啊这样子。行，那我们这样子吧，那我们就拿两个集群好吧，拿两个集群拿两个。都可以用的吧，好吧，都可用的啊，那两个都可以的，那我就拿这个。好吧，我就拿这个。啊。九叉二尾数是九叉二的啊这个。集群跟这个啊两个啊，六二叉的，一个九叉一个六二叉的是吧，我们通过。

哦，九叉二这个集群。The Rex。去拷贝。去拷贝六二叉的那个集群上面的数据。好吧。那我们现在怎么第一步我们要先到啊。就是。好。目标端对吧，就是这一段对不对，就是目标我们要拷贝远远程拷贝码对吧，那我们就。到这个上面来对吧，到这个上面来好。加一下高级配置。好啊，这里我已经加了是吧？啊，这里这里是加加了这个三个集群啊，三个集群的一个。啊访问啊，这个就是我这个集群啊，我这个集群允许这几个VIP信息到我上面来拷贝数据。

就这个意思啊，就是。Remote就是远程的。白名单信息是这三个VIP，就是这三个集群可以到我这里拷数据，其他都不行，那么这三个其中就有一个是10.2.17.10，那么就是这个IP是哪一个，这个IP我们去看一下好吧。好，我们看看这个P。最后一个IP时我们好，我记得是这个啊，就是我这个要访问的这个要访问这个啊，我们看看这VIP是哪个，我们可以通过在控制台上面对吧，看看这里这个就是VIP10.2.17010.9200对吧，OK，那么这个就是本地端，那么这个对于另一个集群来说就是远程集群对吧？啊，但是对于本地执行，对于这个要要执行这个re，对拷贝这个集群的时候，那这个是就是远端对不对，我等一会要说这个集群上面就是执行拷贝，拷贝对段的数据过来对吧，好吧。好，这是10.2.17010，我们这个VIP是这个。

然后我们已经把这个VIP啊。我们看一下，我们已经把这个VIP已经加到这个另外一个双核音区的这个集群里面了，对吧，我看一下啊。你看一下二级配置，再确认一下。去看有没有。OK，有了对吧，有了OK，那就是说这个集群允许允许这个IP过来，允许允许这个10.2.17.10去执行这命令，OK，那我们就打开打开这个集群的这个K8了，好吧，打开K8了，然后我们就执行一下reex好吧。到了，等一下，我们准备一下数据，好吧，我们我们先准备一下，准备一下数据好吧，OK。我们准备一条什么数据来看啊。哦，是这个是吧，六叉ROK，这个啊，这个就是我啊准备的一些数据啊。

首先我们我们再准备一下数据，比如说是。1717好吧，我们在左边的数据。然后呢，我们再查看一下。啊，就有了对吧，有了OK，那这这个就是说我我这个索引，我等会要通过那个在另外一端，我通过拷贝过去对不对，这是六二叉啊，六二叉是啊，要拷贝数据的集群对不对，六二叉。好。嗯。OK是吧，我操OK这远程进去我们准备了对不对，好准备一下数据，好那我们现在去打开这个，打开这个九叉R这个K了，对吧，我们直接通过这样一个API直接拷贝好吧，这个AP是好reex原端啊source来自来来这个remote。

是哪里啊，是这个。对端的IP对吧，也就是那个。目标端的是吧，就是那个远程集群的那个那个VIP对不对，VIP好，然后啊，这有个密码是因为我们那个集群有密码嘛，所以要通过一个us，那个password是这个字啊，拷贝数据的集群的啊账号密码对不对，拷贝哪个索引拷贝index啊，这是拷贝的是my index数据对吧，因为是那个S那边的这个myex嘛，是吧，Myex。拷到本地的这个命名随便面好这个命名，比如是买你X6好吧，M6。那么考不完以后，那我们执行一下API，执行一下好执行一下。OK，问题来了。哦，你来了。什么问题呢？你看幺零点二点一三零点。

20035这个这个说说不在。这个在远程集团白名单那边，那这就奇怪了是吧，我明明我在这个在这个明明我那个这个集群里面是吧？这个集群里面我明明都已经有配置对不对，我明明在这个在这个这个这个集群里面，我已已经配置了这个IP。已经配的这个IP，那为何他还要报这个错误呢？啊，为何他还要报这个错误？为他还要报这个书。这就是刚刚说的多核园区之间的一个啊区域检查问题。所以说我们也在本地，也就是说在这个集群上面对吧，在这个集群上面我们也配置一下啊one list。半边大好我就配置起来。啊，我们找到那个。

找到那个是哪个集群来着，我看一下我找到这个集群。啊，这个好吧，是这个。九乘二对吧，四九叉二吧，OK，九叉二对不对，好九叉。OK，检查对吧，我们点开。高级配置，高级配置。配置我们直接那个。修改一下配置对吧，好这这就直接在这加就可以了，以后用用户也是这样子，直接这里加，就怎么加呢，我们手敲吧，好吧，就是。Red。Remote点。List对吧，就是。Red promote冒号。

注意这里一定有个空格，然后双引号，看见没有双引号啊，如果你不打双引号，它就这里就会有语法错误，知道吗？好语法错误这个一定要注意啊，好冒号空格。双一号就没了，对不对，然后把那个IP复制进来。就这样子的好吧，就这样子啊。然后点确定。它这里是，它这里说要需要重启集群才能生效，建议在负载不高时操作好。所以说在生产集群里面，建议在业务低分时期去操作，好吧，这里我就是已了解点击升起。好，这里我们可以看到一个进度对吧，配置负载均衡啊，然后这里我们就可以再看到一个这样的一个滚动条。不能调。那这个可能需要点时间啊，需要点时间。

好，我们发看这个进度啊，已经变成黄色了，黄色了啊嗯，应该可能根据这个集型配置啊，可能是吧，业务数据这一块可能需要结婚证啊，我们基本上可以知道，在如果说其行变黄色以后，接下来就是变绿了是吧，接下来那这个是应该来说这个配置应该是已经生效了，好吧，那我们现在去那个K8这边再车间执行一下好。还是这个是吧，这个叫什么九叉二是吧，这个是因为这个是我刚创建了一个索引嘛，是吧，创建一个索引，我看能不能这个这个这个是搞不过来，OK好这样子。目标端的是吧，然后这样子再重新操作一下，OK，我看一下。诶可以了是吧，说发票390毫秒，然后呢，呃，整个有三个文档是吧，三个文档，然后那个超时了没有没有OK好，那我们看一下有没有我们过来好吧。

OK，好像就已经有了，是不是对吧，就已经来了对吧，说明这个水印已经过来了，对不对，OK，好吧。那其实也就是这样子的一个一这么简单啊，那么我们通过这个啊，这样子的一个操作是吧，那我们是就这样子，我们这样子POS111一下对吧？一，然后我们这这边看一下啊，所以说我们直接改成一吧。这个是高一是吧，这个是高一。对吧，然后这个就是六-一对吧，我们再看再再再再再执行一下。诶也可以，对不对，也可以对吧，一个一个文档，OKOK，看看来了没有。OK，对吧，基本上也是好。是没问，没有问题的好。

对吧，起来了。Okay。就是这样子的一个啊，就是刚刚那个错误它是非常多的啊，就是在单核音区啊，同一个子网下面啊不会有问题，但是当你有多可用区啊，不同值网之间的一个去访问的时候，他们就会出那个错啊出那个错，所以最好的解决办法就是啊，在本地端它也要去加一个对人的一个IP地址，好吧，好。啊，这个就是啊，还有很多的一些细节，我这里就不多讲了啊，需要具体问题具体去揣摩，去操作啊，这个是我的一些总结。那么。本节课就讲到这里，好，谢谢大家。