- 综合排序
- 最热优先
- 最新优先
- 来自专栏DevOps
spark 集群搭建
集群规划 node01为master节点,node02,node03为worker节点 192.168.24.102 node01 192.168.24.103 node02 集群配置 以下操作以node01为操作节点 1. 搭建Spark HA 1. 修改配置文件 以node02 作为备用主节点，则修改node02的 vi spark-env.sh SPARK_MASTER_IP = node02 集群启动 HADOOP_HOME，那么在HADOOP_HOME/sbin目录下也有start-all.sh和stop-all.sh这两个文件，当你执行这两个文件，系统不知道是操作hadoop集群还是spark集群
93310编辑于 2024-03-29 - 来自专栏程序员同行者
redis集群搭建
2、redis版本 ：最新稳定版3.0.6 3、安装配置 安装目录：/usr/local/src/redis-3.0.6/src/ 配置文件：/et/redis_630{0,1}.conf 二、搭建 root@wh-52 src]# cd redis-3.0.6 [root@wh-52redis-3.0.6]# make [root@wh-52redis-3.0.6]# make test 2、集群创建准备 3、创建集群 #选举规则 节点角色由启动顺序决定,先master之后是slave，本文中6300是master，6301是slave 初始化集群 [root@wh-53 etc]# /usr/local 192.168.1.59:6300 192.168.1.87:6300 192.168.1.55:6301 192.168.1.59:6301 192.168.1.87:6301 查看集群状态 后期继续集群理论的学习。 不要让懒惰占据你的大脑，不让要妥协拖跨你的人生。青春就是一张票，能不能赶上时代的快车，你的步伐掌握在你的脚下，good luck
1.5K40发布于 2018-07-24 - 来自专栏python3
kafka集群搭建
数量越多，集群吞吐率越高）， 若干Consumer Group，以及一个Zookeeper 集群。 看上面一张图，要想做kafka集群，有几个关键点 1. 三、正式搭建 环境介绍 操作系统 docker镜像 docker ip 部署软件以及版本 ubuntu-16.04.5-server-amd64 ubuntu:16.04 172.168.0.2 zookeeper 关于zookeeper集群的搭建，请参考链接： https://www.cnblogs.com/xiao987334176/p/10103619.html 本文使用5个kafka节点，构造kafka集群 查看集群状态 先来查看一下docker进程 ?
1.5K10发布于 2020-02-21 - 来自专栏兮动人的博客
Hadoop 集群搭建
Hadoop 集群简介 Hadoop集群包括两个集群:HDFS集群、YARN集群 两个集群逻辑上分离、通常物理上在一起 两个集群都是标准的主从架构集群 ? ? 逻辑上分离 两个集群互相之间没有依赖、互不影响 物理上在一起 某些角色进程往往部署在同一台物理服务器上 MapReduce集群呢? MapReduce是计算框架、代码层面的组件没有集群之说 ? 2. Hadoop 部暑模式 ? 3. Hadoop 集群安装 step1:集群角色规划 角色规划的准则 根据软件工作特性和服务器硬件资源情况合理分配 比如依赖内存工作的NameNode是不是部署在大内存机器上? -- yarn集群主角色RM运行机器。
2.1K20发布于 2021-06-11 - 来自专栏学习内容
Hadoop集群搭建
一、运行环境配置(所有节点) 所有集群服务，都需要配置 1、基础配置 关闭防火墙，关闭防火墙开机自启 systemctl stop firewalld systemctl disable firewalld 伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。 完全分布式模式：多台服务器组成分布式环境。生产环境使用。 如果集群是第一次启动，需要在hadoop001节点格式化NameNode。 （注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。 如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）
1.9K20编辑于 2023-08-10 - 来自专栏性能与架构
Hadoop 集群搭建
目标 在3台服务器上搭建 Hadoop2.7.3 集群，然后测试验证，要能够向 HDFS 上传文件，并成功运行 mapreduce 示例程序 搭建思路 （1）准备基础设施 准备3台服务器，分别命名为 配置完成后，把 master 上的 hadoop 目录复制到 slave1 slave2 （3）启动 hadoop 在 master 中进行 hdfs 初始化，执行启动命令，打开相应网页查看状态信息 搭建过程 可以正常访问的话，可以说明集群启动成功了，但不一定可以正常运行，还需要下面的实际验证 测试验证 （1）hdfs 操作 创建目录 $ hdfs dfs -mkdir -p /user/hadoop 注：在执行过程中，如果长时间处于 running 状态不动，虽然没有报错，但实际上是出错了，后台在不断重试，需要到 logs 目录下查看日志文件中的错误信息 环境搭建完成，内容较长，感谢阅读，希望对想要搭建
5.6K91发布于 2018-04-04 - 来自专栏从零开始的linux
搭建Hadoop集群
环境说明 redhat6.7 hadoop2.7 角色 主机名 IP master node01 192.168.6.71slave node02 192.168.6.72Slave node03 192.168.6.73 配置 vim /etc/hosts 192.168.6.71 node01
2.6K60发布于 2018-04-25 - 来自专栏晓晨的专栏
Jenkins 集群搭建
一.前言 Jenkins是当下比较流行的一款功能强大的持续集成工具，它支持搭建集群，来提高多项目的构建速度，模式为主从模式，master会将任务分配到各个从节点进行并发构建，从而提高速度，下面介绍一下如何搭建 Jenkins集群。
2.6K50发布于 2018-07-12 - 来自专栏算法之名
elasticsearch集群搭建
elasticsearch.yml,node.name与network.host需要每台机不同. cluster.name: aubin-cluster # 集群名称 # 当前节点的IP地址 http.port: 9200 # 对外提供服务的端口，9300为集群服务的端口
79620发布于 2019-08-20 - 来自专栏开源部署
Minio 集群搭建
https://docs.minio.io/docs/distributed-minio-quickstart-guide https://github.com/minio/minio-service
1.6K20编辑于 2022-07-31 - 来自专栏Java工程师成长之路
ElasticSearch集群搭建
需求 用docker搭建一个ElasticSearch一主一从的集群，加一个elasticsearch-head查看集群状态 步骤 在参考了一堆博客后，我写了个固定容器ip的docker-compose.yml
1K20发布于 2019-09-10 - 来自专栏JAVA同学会
kafka集群搭建
一、zookeeper集群搭建 略，请参考其他文档，这里不再赘述。 二、下载kafka 从kafka官网下载kafka_2.11-0.11.0.0.tgz，并解压。 tar -zxvf kafka_2.11-0.11.0.0 三、kafka配置修改 这里我们仅以两台kafka实例做集群。 zookeeper.connect ：将zookeeper集群的地址和端口写上。 num.partitions=1 ：每个topic的partition默认数量。 将两台机器的kafka启动，集群搭建完毕。 集群搭建就是这么简单。
1K20发布于 2019-02-25 - 来自专栏浅枫沐雪
搭建zookeeper集群
下载zookeeper-3.4.14.tar.gz 使用xshell的rz命令或者xftp工具将zookeeper-3.4.14.tar.gz压缩文件上传到三台主机的 /opt 目录下 解压 zookeeper-3.4.14.tar.gz tar -zxvf zookeeper-3.4.14.tar.gz 切换到zookeeper-3.4.14目录，创建data和log文件夹【三台机器都要创建】 cd zookeeper-3.4.14 mkdir data log #####################
86071发布于 2020-03-10 - 来自专栏三丰SanFeng
zookeeper集群搭建
最近公司用到了zookeeper做集群管理，这里按步骤记录一下其中的一些经验，也给后来的同学一些参考。由于这里只有一台服务器，因此搭建的其实是伪集群，多台服务器的搭建流程类似。 集群搭建环境： 发行版：CentOS-6.6 64bit 内核：2.6.32-504.el6.x86_64 CPU：intel-i7 3.6G 内存：2G 集群搭建步骤： 1. 说明进程启动失败或集群未建立成功，这时需要查看对应目录中的zookeeper.out日志去找到相应的原因并去解决它。 8. 测试连接zookeeper集群 [root@rocket local]# cd zookeeper-server1;bin/zkCli.sh -server localhost:2181 ? 可以看到这里已经连接成功了，而且能查看节点情况，说明zookeeper集群已经开始工作了。 版权声明：本文为博主原创文章，未经博主允许不得转载。
1.3K70发布于 2018-01-16 - 来自专栏Bigdata
HBase集群搭建
6、HBase的集群环境搭建 注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行 第一步：下载对应的HBase export HBASE_HOME=/export/servers/hbase-1.2.0-cdh5.14.0 export PATH=:$HBASE_HOME/bin:$PATH 第七步：HBase集群启动
1.4K00发布于 2020-12-22 - 来自专栏全栈开发笔记
RabbitMQ集群搭建
RabbitMQ集群搭建 附录： 准备工作 centos服务器一台 docker 一.创建三个RabbitMQ容器 docker run -d --hostname rabbit01 -- cat etc/hosts 查看hosts是否容器链接生效，如果有 xxx.xxx.xxx.x mylink01 rabbit01 mq01 字样那代表配置的容器连接已经生效了 然后执行以下命令将容器加入集群 rabbitmqctl stop_app rabbitmqctl join_cluster rabbit@rabbit01 rabbitmqctl start_app 接着输入以下命令查看集群状态 root 其中 all 表示在集群中所有的节点上进行镜像（默认即此）；exactly 表示在指定个数的节点上进行镜像，节点的个数由 ha-params 指定；nodes 表示在指定的节点上进行镜像，节点名称通过 集群的搭建也就结束 五.安装延迟队列 首先在https://github.com/rabbitmq/rabbitmq-delayed-message-exchange/releases下载对应版本的延迟队列插件
97820编辑于 2022-12-26 - 来自专栏后台技术杂项笔记
kafka集群搭建
基于docker-compose的kafka集群搭建 使用docker-compose搭建kafka集群，解析一些参数含义及列出搭建过程的一些坑。 KAFKA_DEFAULT_REPLICATION_FACTOR: topic的复制系数，也就是消息副本数 KAFKA_ZOOKEEPER_CONNECT: zookeeper的连接地址，这里注意的是加了/kafka后缀，是为了方便管理，把集群所有的信息都放入 KAFKA_LOG_DIRS: 日志位置 BOOTSTRAP_SERVERS： kafka集群各个服务器的地址信息 ---- listeners和advertised.listeners的区别 reference 答案是有的，在Dockerfile其已经安装了docker 2.3. kafka_manager 用来管理kafka集群的，在容器启动后可以通过localhost:9000访问可视化界面。 注意创建时由于上面docker-compose.yml中已经设置将所有的kafka集群信息放在/kafka目录下，所以这里也要加上/kafka后缀 但这里有一个坑，就是在创建集群后会遇到如下错误 Yikes
1.2K10编辑于 2022-09-26 - 来自专栏python成长之路
搭建Redis集群
为什么要有集群 上一篇随笔说了基本的主从概念以及搭建，一主可以有多从，如果同时访问的量过大(1000w)或者发生自然灾难,主服务肯定就会挂掉，数据服务就挂掉了 大公司都会有很多的服务器(华东地区、华南地区 一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。 ? 当请求到来首先由负载均衡服务器处理，把请求转发到另外的一台服务器上。 搭建集群 当前拥有两台主机172.16.179.130、172.16.179.131，这⾥的IP在使⽤时要改为实际值 参考阅读 redis集群搭建 http://www.cnblogs.com/wuxl360 /p/5920330.html [Python]搭建redis集群 http://blog.5ibc.net/p/51020.html 接下来我们开始搭建，大家可以跟着我一起搭建试试，关键步骤我都会贴出来 提示完成，集群搭建成功 数据验证 根据上图可以看出，当前搭建的主服务器为7000、7001、7003，对应的从服务器是7004、7005、7002 在172.16.179.131机器上连接7002，加参数
1.2K30发布于 2019-02-22 - 来自专栏晓晨的专栏
Jenkins 集群搭建
一.前言 Jenkins是当下比较流行的一款功能强大的持续集成工具，它支持搭建集群，来提高多项目的构建速度，模式为主从模式，master会将任务分配到各个从节点进行并发构建，从而提高速度，下面介绍一下如何搭建 Jenkins集群。
1.3K10发布于 2018-08-02 - 来自专栏歪歪梯Club
FastDFS集群搭建
fastdfs架构 创建虚拟机 本次的搭建环境为，在虚拟机下的搭建 使用的镜像为centos6.9 首先创建6台虚拟机 2个跟踪者集群，两个group，每个group两个存储者集群 规定好每台虚拟机ip 验证通过后即具备root权限 这时候使用刚刚的命令关闭防火墙就没问题了 接下来，禁止防火墙开机自启动 使用命令 $ chkconfig iptables off 至此，虚拟机环境的准备工作就完成了 接下来就是搭建 /etc/rc.d/rc.local 在文件末尾加上开启tracker的命令 查看端口 $ netstat -untlp|grep 22122 有显示就是启动成功了 至此，完成了tracker的搭建 tracker的nginx负载均衡我们搭完storage再搭建 因为涉及到storage的缓存 配置storage 以下操作对于四台storage进行 不同的group对group_name进行修改 /etc/rc.d/rc.local 在文件末尾加上开启storage的命令 查看端口 $ netstat -untlp|grep 23001 有显示就是启动成功了 至此，完成了storage的搭建
1.8K40发布于 2020-06-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号