image
于开帅

顺应自然,发挥主观能动性。

Hadoop安装配置 (分布式)

于开帅    2017-11-01 13:31

背景

     本篇博客是接着上篇博客写的,若未查看上篇博客请先查看,配置伪分布式是配置分布式的基础。

网络配置

 1、关闭master虚拟机,手动复制两台虚拟机(需保证伪分布式也配置成功,所有配置文件都配置好了),点击鼠标右键复制粘贴,

在这里另外两个虚拟机命名为slave1和slave2。下图是复制完成的状态。

2、更改主机名称:sudo vim /etc/hostname

slave1这台虚拟机中写slave1;slave2这台虚拟机中写slave2;

3、配置域名和ip的对应关系:sudo vim /etc/hosts

3台虚拟机都要如此编写。

4、配置网卡sudo vim /etc/network/interfaces

 在此只需把address更改为192.168.56.101即可。slave2中改为192.168.56.102。

5、使用Bitvise SSH 进行登录,注意ip,并另存在桌面,方便登录。

6、测试是否相互 ping 得通:ping slave1 -c 3(只ping 3次,否则要按 Ctrl+c 中断)。

7、修改完成后需要重启一下,重启后在终端中才会看到机器名的变化。

 

SSH无密码登陆节点

1、使用如下命令登陆本机:ssh master

2、进入该目录 :cd ~/.ssh

3、删除之前生成的公匙(如果有):rm ./id_rsa*

4、生成 master 节点的公匙:ssh-keygen -t rsa(一直按回车就可以)

5、将密钥加入到授权中:cp id_rsa.pub authorized_keys (让 master 节点能无密码 登录SSH 本机)

6、在 master 节点将上公匙传输到 slave1 节点:

scp ~/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/

7、接着在 slave1 节点上,将 ssh 公匙加入授权:

(1)mkdir ~/.ssh   ( 如果不存在该文件夹需先创建,若已存在则忽略)

(2)将密钥加入到授权中:cp id_rsa.pub authorized_keys 

(3)rm ~/id_rsa.pub    (用完就可以删掉了)

8、对slave2也进行步骤6、7的操作。

9、进行检验:ssh slave1

10、格式化主节点hahadoop@master:~/softwares/hadoop-2.6.0$ bin/hadoop namenode –format

11、启动分布式文件系统

hadoop@master:~/softwares/hadoop-2.6.0$ sbin/start-dfs.sh

12、启动完成以后使用jps命令查看进程。

master节点中:

slave1节点中:

slave2节点中:

13、再启动start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

可以在master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程。

在 Slave 节点可以看到 DataNode 和 NodeManager 进程。

14、在master 节点上通过命令 hdfs dfsadmin -report 查看

      DataNode 是否正常启动,如果 Live datanodes 不为 0 ,则说明集群启动成功。

15、一些小问题:

(1)查看ssh-keygen的用法:ssh-keygen -

(2)查看ssh中有什么

 

执行测试程序wordcount分布式

在master节点中建立输入输出文件(同伪分布式相同)。

在slave1,slave2中查看结果。

 

 

 

 

 

Views: 1.9K

[[total]] comments

Post your comment
  1. [[item.time]]
    [[item.user.username]] [[item.floor]]Floor
  2. Click to load more...
  3. Post your comment