文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布
社区首页 >专栏 >2021年大数据Flink（四）：Standalone独立集群模式

2021年大数据Flink（四）：Standalone独立集群模式

作者头像
Lansonli
发布于 2021-10-11 10:17:59
发布于 2021-10-11 10:17:59
1.2K0
举报
文章被收录于专栏：Lansonli技术博客Lansonli技术博客

Standalone独立集群模式

原理

  1. client客户端提交任务给JobManager
  2. JobManager负责申请任务运行所需要的资源并管理任务和资源，
  3. JobManager分发任务给TaskManager执行
  4. TaskManager定期向JobManager汇报状态

​​​​​​​操作

1.集群规划:

  • - 服务器: node1(Master + Slave): JobManager + TaskManager
  • - 服务器: node2(Slave): TaskManager
  • - 服务器: node3(Slave): TaskManager

2.修改flink-conf.yaml

代码语言：javascript
复制
vim /export/server/flink/conf/flink-conf.yaml
代码语言：javascript
复制
jobmanager.rpc.address: node1

taskmanager.numberOfTaskSlots: 2

web.submit.enable: true



#历史服务器

jobmanager.archive.fs.dir: hdfs://node1:8020/flink/completed-jobs/

historyserver.web.address: node1

historyserver.web.port: 8082

historyserver.archive.fs.dir: hdfs://node1:8020/flink/completed-jobs/

3.修改masters

代码语言：javascript
复制
vim /export/server/flink/conf/masters
代码语言：javascript
复制
node1:8081

4.修改slaves

代码语言：javascript
复制
vim /export/server/flink/conf/workers
代码语言：javascript
复制
node1

node2

node3

5.添加HADOOP_CONF_DIR环境变量

代码语言：javascript
复制
vim /etc/profile
代码语言：javascript
复制
export HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop

6.分发

代码语言：javascript
复制
 scp -r /export/server/flink node2:/export/server/flink
 scp -r /export/server/flink node3:/export/server/flink
 scp  /etc/profile node2:/etc/profile
 scp  /etc/profile node3:/etc/profile
代码语言：javascript
复制
 for i in {2..3}; do scp -r flink node$i:$PWD; done

7.source

代码语言：javascript
复制
source /etc/profile

​​​​​​​测试

1.启动集群，在node1上执行如下命令

代码语言：javascript
复制
 /export/server/flink/bin/start-cluster.sh



/export/server/flink/bin/jobmanager.sh ((start|start-foreground) cluster)|stop|stop-all

/export/server/flink/bin/taskmanager.sh start|start-foreground|stop|stop-all

2.启动历史服务器

代码语言：javascript
复制
/export/server/flink/bin/historyserver.sh start

3.访问Flink UI界面或使用jps查看

http://node1:8081/#/overview

http://node1:8082/#/overview

TaskManager界面：可以查看到当前Flink集群中有多少个TaskManager，每个TaskManager的slots、内存、CPU Core是多少

4.执行官方测试案例

代码语言：javascript
复制
/export/server/flink/bin/flink run  /export/server/flink/examples/batch/WordCount.jar --input hdfs://node1:8020/wordcount/input/words.txt --output hdfs://node1:8020/wordcount/output/result.txt  --parallelism 2

5.查看历史日志

http://node1:50070/explorer.html#/flink/completed-jobs

http://node1:8082/#/overview

6.停止Flink集群

代码语言：javascript
复制
/export/server/flink/bin/stop-cluster.sh
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2021/04/24 ，如有侵权请联系 cloudcommunity@tencent.com 删除
node.js
http
flink
大数据
腾讯云测试服务

本文分享自 作者个人站点/博客 前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ，欢迎热爱写作的你一起参与！

node.js
http
flink
大数据
腾讯云测试服务
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
目录
  • Standalone独立集群模式
    • 原理
    • ​​​​​​​操作
      • 1.集群规划:
      • 2.修改flink-conf.yaml
      • 3.修改masters
      • 4.修改slaves
      • 5.添加HADOOP_CONF_DIR环境变量
      • 6.分发
      • 7.source
    • ​​​​​​​测试
      • 1.启动集群，在node1上执行如下命令
      • 2.启动历史服务器
      • 3.访问Flink UI界面或使用jps查看
      • 4.执行官方测试案例
      • 5.查看历史日志
      • 6.停止Flink集群
领券

腾讯云开发者

扫码关注腾讯云开发者

扫码关注腾讯云开发者

领取腾讯云代金券

热门产品

热门推荐

更多推荐

Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

Copyright © 2013 - 2026 Tencent Cloud.

All Rights Reserved. 腾讯云 版权所有

登录 后参与评论