![b444.png](https://developer.qcloudimg.com/http-save/yehe-5642295/949a9bd6571e23b2a6e41b4165af0ced.png)
Hadoop的安装和部署是大数据生态圈体系中最麻烦的一个。Hadoop部署完成后，进一步地部署Spark和Flink就非常容易了。Hadoop的部署模式分为本地模式、伪分布模式和全分布模式。在学习完成了ZooKeeper的相关内容后，还将进一步地学习Hadoop HA的部署。这里重点讨论一下Hadoop的伪分布部署模式。视频讲解如下：

!video[【赵渝强老师】Hadoop的伪分布部署模式](https://cloud.tencent.com/developer/video/85617)

# 一、 Hadoop的目录结构
在部署Hadoop之前，需要对Hadoop的目录结构要有一定了解。先执行下面的语句将Hadoop的安装介质解压的/root/training目录。

```powershell
tar -zxvf hadoop-3.1.2.tar.gz -C ~/training/

# 下面展示了Hadoop的目录结构：
[root@bigdata111 training]# tree -d -L 3 hadoop-3.1.2/
hadoop-3.1.2/              ─ ─ ── HADOOP_HOME目录
├── bin                    ─ ─ ── 最基本的管理和使用脚本所在的目录
├── etc                    ─ ─ ── 配置文件所在目录
│   └── hadoop
│       └── shellprofile.d
├── include                ─ ─ ── 对外提供的编程库头文件目录
├── lib                    ─ ─ ── 对外提供的编程动态库和静态库
│   └── native
│       └── examples
├── libexec                ─ ─ ── 各个服务Shell配置文件所在的目录
│   ├── shellprofile.d
│   └── tools
├── sbin                   ─ ─ ── Hadoop管理脚本所在目录
│   └── FederationStateStore
│       ├── MySQL
│       └── SQLServer
└── share
    ├── doc
    │   └── hadoop
    └── hadoop            ─ ─ ── ─ 各个模块编译后的Jar包所在目录
        ├── client
        ├── common
        ├── hdfs
        ├── mapreduce
        ├── tools
        └── yarn
```
		
为了方便操作Hadoop，需要设置HADOOP_HOME的环境变量，并把bin和sbin目录加入系统的PATH路径中。下面列举了具体的步骤。
（1）编辑文件~/.bash_profile文件。

```powershell
vi /root/.bash_profile
```

（2）输入下面的环境变量信息，并保存退出。

```powershell
HADOOP_HOME=/root/training/hadoop-3.1.2
export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
```

（3）生效环境变量。

```powershell
source /root/.bash_profile
```


# 二、 【实战】部署Hadoop伪分布模式
Hadoop伪分布式模式是在单机上模拟一个分布式环境，它具备Hadoop的所有功能特性，即：具备HDFS和Yarn。由于在伪分布模式下依然只有一台主机，因此这种模式并不是真正的集群环境。这种模式更多的是在开发和测试环境中使用该模式，不建议在生产环境中使用Hadoop的伪分布模式。

（1）进入Hadoop配置文件所在的目录

```powershell
cd /root/training/hadoop-3.1.2/etc/hadoop/
```

（2）修改文件hadoop-env.sh，设置JAVA_HOME

```powershell
export JAVA_HOME=/root/training/jdk1.8.0_181
```

（3）在/root/.bash_profile文件中增加下面的环境变量，并执行source语句生效环境变量。

```powershell
export HDFS_DATANODE_USER=root
export HDFS_DATANODE_SECURE_USER=root
export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
```

（4）进入Hadoop配置文件所在目录。

```powershell
cd /root/training/hadoop-3.1.2/etc/hadoop/
```

（5）修改hdfs-site.xml文件，增加下面的内容。

```powershell


<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>




<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>
```

（6）修改core-site.xml文件，增加下面的内容。		

```powershell

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://bigdata111:9000</value>
</property>	



<property>
	<name>hadoop.tmp.dir</name>
	<value>/root/training/hadoop-3.1.2/tmp</value>
</property>	
```

（7）修改mapred-site.xml文件，增加下面的内容。

```powershell

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>	


<property>
	<name>yarn.app.mapreduce.am.env</name>
	<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>	

<property>
	<name>mapreduce.map.env</name>
	<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>	

<property>
	<name>mapreduce.reduce.env</name>
	<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>	
```
			
（8）修改yarn-site.xml文件，增加下面的内容。

```powershell

<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>bigdata111</value>
</property>


<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
```

（9）执行命令对NameNode进行格式化。

```powershell
hdfs namenode -format

# 格式化成功后，将看到如下的日志信息：
Storage directory /root/training/hadoop-3.1.2/tmp/dfs/name has been successfully formatted.
```

（10）执行命令启动Hadoop集群，如下图所示：

```powershell
start-all.sh
```
![image.png](https://developer.qcloudimg.com/http-save/yehe-5642295/8372336f8d708e90f9f44638d5812587.png)
（11）执行jps命令查看后台的进程，如下图所示。
![image.png](https://developer.qcloudimg.com/http-save/yehe-5642295/afd7ac7e364c7e04de857e69541df3b2.png)

（12）通过9870端口访问HDFS的Web Consol，如下图所示。
![image.png](https://developer.qcloudimg.com/http-save/yehe-5642295/e2ce49ae7e7c3e811078875f4fa4b6a8.png)

（13）通过8081端口访问Yarn的Web Console，如下图所示。
![image.png](https://developer.qcloudimg.com/http-save/yehe-5642295/20c6d53b2965572c7fdd2a6603067e17.png)

（14）执行命令在HDFS上创建/input目录。

```powershell
hdfs dfs -mkdir /input
```

（15）执行命令将/root/temp/data.txt文件上传到/input目录。

```powershell
hdfs dfs -put /root/temp/data.txt /input
```

（16）执行MapReduce WordCount任务。

```powershell
cd /root/training/hadoop-3.1.2/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.1.2.jar wordcount /input/data.txt /output/wc
```
			 
（17）刷新Yarn的Web Console，观察任务的执行过程，如下图所示。
![image.png](https://developer.qcloudimg.com/http-save/yehe-5642295/ea7c7737a87d15f35fcc90332051b100.png)

（18）任务执行完成后，在HDFS上观察输出的结果，如下图所示。
![image.png](https://developer.qcloudimg.com/http-save/yehe-5642295/d697c1a79c3861f9462e206931aaeb85.png)

Hadoop的安装和部署是大数据生态圈体系中最麻烦的一个。Hadoop部署完成后，进一步地部署Spark和Flink就非常容易了。Hadoop的部署模式分为本地模式、伪分布模式和全分布模式。在学习完成了ZooKeeper的相关内容后，还将进一步地学习Hadoop HA的部署。这里重点讨论一下Hadoop的伪分布部署模式。视频讲解如下：

【赵渝强老师】Hadoop的伪分布部署模式

大数据学院院长

编程语言

学习Hadoop伪分布模式部署教程，掌握HDFS、Yarn配置及环境变量设置方法。详解核心配置文件修改步骤，包括hdfs-site.xml、core-site.xml等，提供NameNode格式化及集群启动完整流程。适合大数据开发测试环境搭建参考。

大数据

MapReduce

Hadoop 

MySQL

Spark 

Linux

HDFS

2026采购季 | AI焕新·智启新局

bigdata-class

9.9元起，最快1天搭建自有直播平台


腾讯云数据库特惠，新用户首单0.5折起


sqlserver

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

【赵渝强老师】Hadoop的伪分布部署模式-腾讯云开发者社区-腾讯云

【赵渝强老师】Hadoop的伪分布部署模式

【赵渝强老师】Hadoop的伪分布部署模式

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐