我使用Ubuntu上的virtualbox安装了带有3个datanodes和1个namenode的mutlinode。我的主机系统充当NameNode (也是datanode),两个VM充当DataNodes。我的系统是:
我能够SSH从每个系统的所有系统。我的hadoop/etc/hadoop/奴隶在所有系统上都有如下条目:
192.168.1.5
192.168.1.10
192.168.1.11所有系统上的hadoop/etc/hadoop/master都有如下条目:192.168.1.5
所有的core-site.xml,yarn-site.xml,hdfs-site.xml,mapred-site.xml,hadoop-env.sh在机器上都是一样的,除了在hdfs-site.xml中的dfs.namenode.name.dir在两种DataNodes中缺少条目之外。当我从start-yarn.sh和start-dfs.sh执行NameNode时,它们都工作得很好,通过JPS,我能够在所有机器上看到所有所需的服务。
Jps on NameNode:
5840 NameNode
5996 DataNode
7065 Jps
6564 NodeManager
6189 SecondaryNameNode
6354 ResourceManagerJps on DataNodes:
3070 DataNode
3213 NodeManager
3349 Jps然而,当我想从namenode/dfshealth.html#tab-datanode和namenode:50070/dfshealth.html#tab-overview进行检查时,两者都只指示了2个数据阳极。
选项卡-datanode显示NameNode和DataNode2为活动数据节点。根本不显示DataNode3。
我多次检查了所有配置文件(提到的xml、sh和slves/master),以确保在这两个数据节点上没有什么不同。
另外,etc/hosts文件还包含所有系统中所有节点的条目:
127.0.0.1 localhost
#127.0.1.1 smishra-VM2
192.168.1.11 DataNode3
192.168.1.10 DataNode2
192.168.1.5 NameNode我想提到的一件事是,我首先配置了一个VM,然后对它进行了克隆。因此,这两个VM具有相同的配置。因此,更让人困惑的是为什么显示了1个datanode,而没有显示另一个datanode。
发布于 2017-01-12 09:43:55
看看http://blog.cloudera.com/blog/2014/01/how-to-create-a-simple-hadoop-cluster-with-virtualbox/
我敢打赌,您的问题来自您的Virtual上的网络配置。上面的文章详细介绍了如何确保VM之间的内部网络设置正确,正向和反向名称解析工作,没有重复的MAC地址等,这是Hadoop集群正确工作的关键。
https://stackoverflow.com/questions/26325302
复制相似问题