首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Hadoop: Multinode集群只识别3个数据节点中的2个活动节点

Hadoop: Multinode集群只识别3个数据节点中的2个活动节点
EN

Stack Overflow用户
提问于 2014-10-12 12:51:29
回答 1查看 1.8K关注 0票数 0

我使用Ubuntu上的virtualbox安装了带有3个datanodes和1个namenode的mutlinode。我的主机系统充当NameNode (也是datanode),两个VM充当DataNodes。我的系统是:

  1. 192.168.1.5: NameNode (也是datanode)
  2. 192.168.1.10: DataNode2
  3. 192.168.1.11: DataNode3

我能够SSH从每个系统的所有系统。我的hadoop/etc/hadoop/奴隶在所有系统上都有如下条目:

代码语言:javascript
复制
192.168.1.5
192.168.1.10
192.168.1.11

所有系统上的hadoop/etc/hadoop/master都有如下条目:192.168.1.5

所有的core-site.xmlyarn-site.xmlhdfs-site.xmlmapred-site.xmlhadoop-env.sh在机器上都是一样的,除了在hdfs-site.xml中的dfs.namenode.name.dir在两种DataNodes中缺少条目之外。当我从start-yarn.shstart-dfs.sh执行NameNode时,它们都工作得很好,通过JPS,我能够在所有机器上看到所有所需的服务。

代码语言:javascript
复制
Jps on NameNode:
5840 NameNode
5996 DataNode
7065 Jps
6564 NodeManager
6189 SecondaryNameNode
6354 ResourceManager

代码语言:javascript
复制
Jps on DataNodes:
3070 DataNode
3213 NodeManager
3349 Jps

然而,当我想从namenode/dfshealth.html#tab-datanodenamenode:50070/dfshealth.html#tab-overview进行检查时,两者都只指示了2个数据阳极。

选项卡-datanode显示NameNode和DataNode2为活动数据节点。根本不显示DataNode3。

我多次检查了所有配置文件(提到的xml、sh和slves/master),以确保在这两个数据节点上没有什么不同。

另外,etc/hosts文件还包含所有系统中所有节点的条目:

代码语言:javascript
复制
127.0.0.1       localhost
#127.0.1.1      smishra-VM2
192.168.1.11    DataNode3
192.168.1.10    DataNode2
192.168.1.5     NameNode

我想提到的一件事是,我首先配置了一个VM,然后对它进行了克隆。因此,这两个VM具有相同的配置。因此,更让人困惑的是为什么显示了1个datanode,而没有显示另一个datanode。

EN

回答 1

Stack Overflow用户

发布于 2017-01-12 09:43:55

看看http://blog.cloudera.com/blog/2014/01/how-to-create-a-simple-hadoop-cluster-with-virtualbox/

我敢打赌,您的问题来自您的Virtual上的网络配置。上面的文章详细介绍了如何确保VM之间的内部网络设置正确,正向和反向名称解析工作,没有重复的MAC地址等,这是Hadoop集群正确工作的关键。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/26325302

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档