Hadoop集群部署中完全分布式环境如何搭建
今天，我们来讲一下Hadoop集群部署中完全分布式环境如何搭建？干干干货学习！！！
[html]view plaincopy
一，环境
主节点一台： ubuntu desktop 16.04
zhoujun 172.16.12.1
从节点（slave）两台：ubuntu server 16.04
hadoop2 172.16.12.131
hadoop3 172.16.12.129
二， 搭建前准备
1, 为每台服务器配置 /etc/hosts
[plain]view plaincopy
sudo vim /etc/hosts
2,为每台机器 jdk 安装 ，具体的jdk类型大家可以根据自己的需求来选择，网上的方法也有很多
[plain]view plaincopy
sudo apt-get install openjdk-8-jre openjdk-8-jdk
3，为每台机器 安装 openssh-server ××
[plain]view plaincopy
sudo apt-get install openssh-server
安装好后 使用 ssh 登录下本机，这是会自动创建一个 ～/.ssh 的隐藏文件夹，其中放的是 ssh的相关密钥
[plain]view plaincopy
ssh localhost
然后在输入 exit 退出
[plain]view plaincopy
exit
4, 为每个台机器之间建立 ssh 的免密登录 ××
[plain]view plaincopy
cd ~/.ssh # 如果没有该目录，先执行一次ssh localhost rm ./id_rsa* # 删除之前生成的公匙（如果有） ssh-keygen -t rsa # 一直按回车就可以
让主节点能够免密登录在主节点
[plain]view plaincopy
cat ./id_rsa.pub >> ./authorized_keys
这里上图为zhoujun这台主机的免密登录成功， 其他两台，分别 执行 ssh hadoop2, 和 ssh hadoop3 都可以不用输入密码登录说明配置成功！
重点： 让主机能够免密登录到 hadoop2,和hadoop3
将zhoujun这台主机的公钥传到hadoop2,hadoop3的机器上
[plain]view plaincopy
scp ~/.ssh/id_rsa.pub zhoujun@hadoop2:/home/zhoujun/ # 将 zhoujun这台机器的公钥传到 hadoop2 , 注意 hadoop2主机的用户名为 zhoujun scp ~/.ssh/id_rsa.pub zhoujun@hadoop3:/home/zhoujun/
[plain]view plaincopy
# 将 zhoujun这台机器的公钥传到 hadoop3 , 注意 hadoop3主机的用户名也为 zhoujun，根据自己的情况设定
[plain]view plaincopy
# scp 是 secure copy 的简写，用于在 Linux 下进行远程拷贝文件，类似于 cp 命令，不过 cp 只能在本机中拷贝。
[plain]view plaincopy
# 执行 scp 时会要求输入 hadoop2 上 zhoujun 用户的密码，输入完成后会提示传输完毕，如下图所示：
关于scp的使用可以参考 scp 使用总结
然后在分别在 hadoop2，hdaoop3添加对应的公钥到 ssh的相关文件中
[plain]view plaincopy
mkdir ~/.ssh # 如果不存在该文件夹需先创建，若已存在则忽略 cat ~/id_rsa.pub >> ~/.ssh/authorized_keys rm ~/id_rsa.pub # 用完就可以删掉了
使用 ssh hadoop2 命令不需要输入密码就能成功登录了，会出现类似上图的界面！
注意： 后让master能够连接slave， 同时也能让slave 免密登录到master，配置类似，将slave节点的公钥传到其他的slave和master节点，
然后进行上诉步骤添加公钥到各个主机之中，即可
三， hadoop 安装
1, 下载hadoop的 安装包
hadoop 2.8.2
解压
[plain]view plaincopy
tar -zxvf hadoop-2.8.2.tar.gz
将解压后的hadoop 修改文件名 ，放入/opt文件夹下， 这里可以恶搞那句自己的设置
[plain]view plaincopy
sudo mv hadoop-2.8.2 /opt/hadoop/
进入到 /opt 文件夹下， 修改hadoop 文件夹的用户权限，这里我的用户名为 zhoujun， 请大家根据自己的用于名设置
[plain]view plaincopy
cd /opt/
[plain]view plaincopy
sudo chown -R zhoujun ./hadoop/
2, 配置hadoop的配置文件 core-site.xml, hdfs-site.xml, mapred-site.cml, yarn-site.xml
vim core-site.xml # 注意是<configuration></configuration>中的内容
内容如下：
[html]view plaincopy
<configuration><property><name>hadoop.tmp.dir</name><value>file:/opt/hadoop/tmp</value><deion>Abase for other temporary directories.</deion></property><property><name>fs.defaultFS</name><value>hdfs://zhoujun:9000</value></property></configuration>
vim hdfs-site.xml,
[html]view plaincopy
<configuration><property><name>dfs.namenode.secondary.http-address</name><value>zhoujun:50090</value></property><property><name>dfs.namenode.datanode.registration.ip-hostname-check</name><value>false</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>file:/opt/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/opt/hadoop/tmp/dfs/data</value></property></configuration>
修改mapred-site.xml
[html]view plaincopy
cp mapred-site.xml.template mapred-site.xml vim mapred-site.xml
内容如下：
[html]view plaincopy
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>zhoujun:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>zhoujun:19888</value></property></configuration>
修改 yarn-site.xml
vim yarn-site.xml
内容如下：
[html]view plaincopy
<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>zhoujun</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
配置slaves 文件
[plain]view plaincopy
vim slaves
内容如下：
[html]view plaincopy
192.168.1.105 172.16.12.129 172.16.12.131
注意： 这里记得写 ip 地址，不要写主机名
3, 修改用户的 ~/.bashrc文件，注意这段内容每个节点都需要添加
[plain]view plaincopy
vim ~/,bashrc
在文件的头部添加：
[plain]view plaincopy
#Java export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #Hadoop export HADOOP_HOME=/opt/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
[plain]view plaincopy
source ~/.bashrc # 让用户配置文件生效
4, 将配置到的hadoop文件传到对应的 hadoop2, hadoop3 节点
先压缩, 再上传
[plain]view plaincopy
cd /opt/ # 切换目录 ar -zcf ./hadoop.tar.gz ./hadoop/ # 压缩文件
[plain]view plaincopy
scp hadoop.tar.gz zhoujun@hadoop2: scp hadoop.tar.gz zhoujun@hadoop3:
5, 然后分别进入hadoop2, hadoop3 节点，解压， 放入到 /opt 文件夹下，同时加入用户权限
[plain]view plaincopy
tar -zxvf hadoop.tar.gz # 解压
[plain]view plaincopy
sudo mv hadoop /opt/hadoop # 移动
[plain]view plaincopy
sudo chown -R zhoujun /opt/hadoop # 授予权限
同理对于hadoop3 执行第5步，
6, 格式化hdfs文件系统
[plain]view plaincopy
hdfs namenode -format
在这一步请确保hdfs-site.xml中用到的文件及文件夹不存在，如有，请删除再执行上面的命令！
好了，集群安装基本上完成了
四， 测试：
进入主节点服务器：zhoujun节点 利用start-all.sh 启动
在浏览器上访问：
五， 注意问题！
一定要注意各个主机的网络，一定要是同一个路由器下的，即同一个网段下的服务器，不然可能出现只有一个datanode的情况，或者没有datanode等的问题！
其次，保证ssh 能够正常通信，这个是前提
后，大家在安装的时候一定要细心，多一个字母数字，少一个字母数字，你的结果或许就千差万别了！
更多技术咨询敬请关注：誉天教育 Q Q：3200569443
[html]view plaincopy
一，环境
主节点一台： ubuntu desktop 16.04
zhoujun 172.16.12.1
从节点（slave）两台：ubuntu server 16.04
hadoop2 172.16.12.131
hadoop3 172.16.12.129
二， 搭建前准备
1, 为每台服务器配置 /etc/hosts
[plain]view plaincopy
sudo vim /etc/hosts
2,为每台机器 jdk 安装 ，具体的jdk类型大家可以根据自己的需求来选择，网上的方法也有很多
[plain]view plaincopy
sudo apt-get install openjdk-8-jre openjdk-8-jdk
3，为每台机器 安装 openssh-server ××
[plain]view plaincopy
sudo apt-get install openssh-server
安装好后 使用 ssh 登录下本机，这是会自动创建一个 ～/.ssh 的隐藏文件夹，其中放的是 ssh的相关密钥
[plain]view plaincopy
ssh localhost
然后在输入 exit 退出
[plain]view plaincopy
exit
4, 为每个台机器之间建立 ssh 的免密登录 ××
[plain]view plaincopy
cd ~/.ssh # 如果没有该目录，先执行一次ssh localhost rm ./id_rsa* # 删除之前生成的公匙（如果有） ssh-keygen -t rsa # 一直按回车就可以
让主节点能够免密登录在主节点
[plain]view plaincopy
cat ./id_rsa.pub >> ./authorized_keys
这里上图为zhoujun这台主机的免密登录成功， 其他两台，分别 执行 ssh hadoop2, 和 ssh hadoop3 都可以不用输入密码登录说明配置成功！
重点： 让主机能够免密登录到 hadoop2,和hadoop3
将zhoujun这台主机的公钥传到hadoop2,hadoop3的机器上
[plain]view plaincopy
scp ~/.ssh/id_rsa.pub zhoujun@hadoop2:/home/zhoujun/ # 将 zhoujun这台机器的公钥传到 hadoop2 , 注意 hadoop2主机的用户名为 zhoujun scp ~/.ssh/id_rsa.pub zhoujun@hadoop3:/home/zhoujun/
[plain]view plaincopy
# 将 zhoujun这台机器的公钥传到 hadoop3 , 注意 hadoop3主机的用户名也为 zhoujun，根据自己的情况设定
[plain]view plaincopy
# scp 是 secure copy 的简写，用于在 Linux 下进行远程拷贝文件，类似于 cp 命令，不过 cp 只能在本机中拷贝。
[plain]view plaincopy
# 执行 scp 时会要求输入 hadoop2 上 zhoujun 用户的密码，输入完成后会提示传输完毕，如下图所示：
关于scp的使用可以参考 scp 使用总结
然后在分别在 hadoop2，hdaoop3添加对应的公钥到 ssh的相关文件中
[plain]view plaincopy
mkdir ~/.ssh # 如果不存在该文件夹需先创建，若已存在则忽略 cat ~/id_rsa.pub >> ~/.ssh/authorized_keys rm ~/id_rsa.pub # 用完就可以删掉了
使用 ssh hadoop2 命令不需要输入密码就能成功登录了，会出现类似上图的界面！
注意： 后让master能够连接slave， 同时也能让slave 免密登录到master，配置类似，将slave节点的公钥传到其他的slave和master节点，
然后进行上诉步骤添加公钥到各个主机之中，即可
三， hadoop 安装
1, 下载hadoop的 安装包
hadoop 2.8.2
解压
[plain]view plaincopy
tar -zxvf hadoop-2.8.2.tar.gz
将解压后的hadoop 修改文件名 ，放入/opt文件夹下， 这里可以恶搞那句自己的设置
[plain]view plaincopy
sudo mv hadoop-2.8.2 /opt/hadoop/
进入到 /opt 文件夹下， 修改hadoop 文件夹的用户权限，这里我的用户名为 zhoujun， 请大家根据自己的用于名设置
[plain]view plaincopy
cd /opt/
[plain]view plaincopy
sudo chown -R zhoujun ./hadoop/
2, 配置hadoop的配置文件 core-site.xml, hdfs-site.xml, mapred-site.cml, yarn-site.xml
vim core-site.xml # 注意是<configuration></configuration>中的内容
内容如下：
[html]view plaincopy
<configuration><property><name>hadoop.tmp.dir</name><value>file:/opt/hadoop/tmp</value><deion>Abase for other temporary directories.</deion></property><property><name>fs.defaultFS</name><value>hdfs://zhoujun:9000</value></property></configuration>
vim hdfs-site.xml,
[html]view plaincopy
<configuration><property><name>dfs.namenode.secondary.http-address</name><value>zhoujun:50090</value></property><property><name>dfs.namenode.datanode.registration.ip-hostname-check</name><value>false</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>file:/opt/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/opt/hadoop/tmp/dfs/data</value></property></configuration>
修改mapred-site.xml
[html]view plaincopy
cp mapred-site.xml.template mapred-site.xml vim mapred-site.xml
内容如下：
[html]view plaincopy
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>zhoujun:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>zhoujun:19888</value></property></configuration>
修改 yarn-site.xml
vim yarn-site.xml
内容如下：
[html]view plaincopy
<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>zhoujun</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
配置slaves 文件
[plain]view plaincopy
vim slaves
内容如下：
[html]view plaincopy
192.168.1.105 172.16.12.129 172.16.12.131
注意： 这里记得写 ip 地址，不要写主机名
3, 修改用户的 ~/.bashrc文件，注意这段内容每个节点都需要添加
[plain]view plaincopy
vim ~/,bashrc
在文件的头部添加：
[plain]view plaincopy
#Java export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #Hadoop export HADOOP_HOME=/opt/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
[plain]view plaincopy
source ~/.bashrc # 让用户配置文件生效
4, 将配置到的hadoop文件传到对应的 hadoop2, hadoop3 节点
先压缩, 再上传
[plain]view plaincopy
cd /opt/ # 切换目录 ar -zcf ./hadoop.tar.gz ./hadoop/ # 压缩文件
[plain]view plaincopy
scp hadoop.tar.gz zhoujun@hadoop2: scp hadoop.tar.gz zhoujun@hadoop3:
5, 然后分别进入hadoop2, hadoop3 节点，解压， 放入到 /opt 文件夹下，同时加入用户权限
[plain]view plaincopy
tar -zxvf hadoop.tar.gz # 解压
[plain]view plaincopy
sudo mv hadoop /opt/hadoop # 移动
[plain]view plaincopy
sudo chown -R zhoujun /opt/hadoop # 授予权限
同理对于hadoop3 执行第5步，
6, 格式化hdfs文件系统
[plain]view plaincopy
hdfs namenode -format
在这一步请确保hdfs-site.xml中用到的文件及文件夹不存在，如有，请删除再执行上面的命令！
好了，集群安装基本上完成了
四， 测试：
进入主节点服务器：zhoujun节点 利用start-all.sh 启动
在浏览器上访问：
五， 注意问题！
一定要注意各个主机的网络，一定要是同一个路由器下的，即同一个网段下的服务器，不然可能出现只有一个datanode的情况，或者没有datanode等的问题！
其次，保证ssh 能够正常通信，这个是前提
后，大家在安装的时候一定要细心，多一个字母数字，少一个字母数字，你的结果或许就千差万别了！
更多技术咨询敬请关注：誉天教育 Q Q：3200569443
