CentOS 7.2 下配置Hadoop3.0 教程

  说明:

  本文的部署方式是传统的解压包方式和Linux标准方式。配置的基本环境是Win10下的VMware Workstation12.1pro,Linux版本为CentOS 7.2,Hadoop版本为Hadoop3.0.0。部署完成后是一个cMaster主节点节点和两个从节点(cSlave0和cSlave1),均运行在VMware虚拟机中。本文仅保证在该环境下配置能够正常使用,其他环境请自行酌情修改。

  配置步骤:

  1. 准备资源和环境。

  下载Centos 7.2 的iso安装镜像,jdk1.8 for Linux压缩包,hadoop3.0.0压缩包。下载链接分别如下:

  https://www.centos.org/download/

  http://www.Oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

  http://hadoop.apache.org/releases.html

  下载完成后如图所示

物联网

  2. 安装虚拟机。

  在Vmware workstation中用典型 typical 方式安装Centos7 ,每个虚拟机的资源为单核、1G内存、20GB磁盘。网络类型为NAT。

物联网

  在安装的时候机器名称设置为cMaster(注意此处的名称只是在Vmware中的一个标识而已,真正新安装的centos7 系统里的机器名都为localhost.localdomain)

物联网
物联网

  用户名使用joe 密码也为joe(可自行更改)

  重复以上步骤,分别安装cSlave0和cSlave1两个从节点的虚拟机。

  (只是在机器名处分别填写cSlave0 和cSlave1,其他步骤都相同)

  注意:centos7默认是进行最小化安装,安装完成后是不带有图形化界面。如果需要图形化界面在软件安装选项里要勾选上gnome。

物联网
物联网

  3. 修改配置文件。

  当三台虚拟机均安装完成后,需要进行的是修改机器名、添加域名映射、关闭防火墙,并安装jdk。

  (1) 修改机器名。

  打开终端,切换到root用户下修改机器名称。

  $ sudo su

  $ vim /etc/sysconfig/network

  在其中添加“HOSTNAME=cMaster”,然后重启当前虚拟机,再查看机器名就是cMaster了。

  ( 如果重启之后机器名不是cMaster,可以使用命令hostnamectl set-hostnamecMaster 修改机器名 )

物联网
物联网

  (2) 添加域名映射

  使用ifconfig命令分别查看三台虚拟机的IP地址。然后将三个ip地址都添加到各自的/etc/hosts文件中。

物联网
物联网

  3台机器均修改完成后,使用pingslave0/cmaster/cslave1命令测试各机器之间是否能够正常通三台机信。如果出现下图所示信息说明通信正常。

物联网

  (3) 关闭当前机器的防火墙。

  在root权限下执行以下两条指令,关闭防火墙并阻止其开机启动。

  systemctl stop firewalld.service#停止firewall

  systemctl disable firewalld.service#禁止firewall开机启动

  (4) 安装JDK。

  将之前下载好的jdk复制到虚拟机中的/home/joe/目录下,

  使用命令rpm –ivh /home/joe/jdk-8u101-linux-x64.rpm解压安装

  安装完成后使用javac命令测试jdk是否安装成功,如果出现了如下图提示,说明安装jdk成功。