/etc/profile)命令使之生效, 要设置hadoop相关软件

安装Hadoop前置,当前是要曲突徙薪好基础运营环境,那里我们准备了三台虚机,详见上篇博文

Hadoop集群搭建筑和安装装进度(三)(图像和文字详解—尽情点击!!!)

壹 、       准备上传工具

一、JDK的安装

 要设置hadoop相关软件 ,供给将相应的安装包上传出那些虚机服务器(vm
centos)上

设置地点都在相同地方(/usr/tools/jdk1.8.0_73)

 安装上传下载工具包rz及sz,查看下当前电话上是或不是有安装包

jdk的装置在仿制三台机械的时候能够提前设置,通过scp使安装文件和环境配置(/etc/profile)都拷贝过去,并使三台机

 输入yum provides */rz

器都通过(source
/etc/profile)命令使之生效

 澳门金冠网站主页 1

下载JDK(这次安装使用的本子是jdk1.8.0_73)

安装rz

解压JDK : tar -zxvf
/usr/tools/jdk-7u72-linux-x64.gz

 澳门金冠网站主页 2

配置环境变量, 编辑profile文件:

设置好后,在Xshell端输入rz,在弹出窗口中甄选上传文件:hadoop安装包hadoop-2.7.3.tar.gz

vi /etc/profile

理所当然前提是提前本地下载好相应版本安装包,这里版本是2.7.3

 

二、          安装hadoop

在profile文件末尾添加以下代码:

壹 、为了统一,我们将hadoop作为程序软件设置在opt目录 下

export
JAVA_HOME=/usr/tools/jdk/jdk1.8.0_73

给hadoop用户 opt目录操作权限 chmod –奥迪Q5 777 /opt

export JRE_HOME=$JAVA_HOME/jre

澳门金冠网站主页 3

export PATH=$JAVA_HOME/bin:$PATH

安装hadoop

export
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

澳门金冠网站主页 4

澳门金冠网站主页 5

在安装目录下,新建dfs与tmp目录

 

澳门金冠网站主页 6

保留后,使刚刚编辑的文本生效:

 二 、检查与布局java环境变量与路径,若已配好,这步可略

source
/etc/profile

澳门金冠网站主页 7

测试是还是不是安装成功:java –version

澳门金冠网站主页 8

澳门金冠网站主页 9

铺排完结后,让其及时生效

 

澳门金冠网站主页 10

二、安装Hadoop

注:上面是运用系统自带的java版本,考虑到所需包的完整性,能够卸载掉后自个儿重新下载安装

1、解压hadoop-2.6.4.tar.gz安装包

③ 、配置hadoop环境变量 /etc/profile

在sunshine主机上设置hadoop

澳门金冠网站主页 11

设置地点自定,例如设置在/usr/hadoop目录上面

④ 、修改Hadoop中java 环境变量

下载hadoop包,放在/usr/hadoop目录下,解压hadoop

$HADOOP_HOME/etc/hadoop/hadoop-env.sh

tar -zxvf
/usr/hadoop/hadoop-2.6.4.tar.gz

#export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131.x86_64

在usr下面生成hadoop-2.6.4目录

$HADOOP_HOME/etc/hadoop/yarn-env.sh

 

#export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131.x86_64

 

5、指定从服务器

更改$HADOOP_HOME/etc/hadoop/slaves

增加两个从服务器的主机名,这里是kencentos02,03

贰 、配置环境变量:

澳门金冠网站主页 12

vi /etc/profile

6、配置core-site.xml

$HADOOP_HOME/etc/hadoop/core-site.xml

在最后添加:

澳门金冠网站主页 13

export HADOOP_HOME=/usr/
hadoop-2.6.4

7、 配置hdfs-site.xml

export PATH=$PATH:$HADOOP_HOME/bin

$HADOOP_HOME/etc/hadoop/hdfs-site.xml

export
PATH=$PATH:$HADOOP_HOME/sbin(加上这些是为着使在底下运转hadoop时不自然必须在hadoop目录下执行命令)

澳门金冠网站主页 14

澳门金冠网站主页 15

8、配置 mapred-site.xml

封存后使新编写制定的profile生效:

澳门金冠网站主页 16

source
/etc/profile

9、配置 yarn-site.xml

 3、配置Hadoop文件

澳门金冠网站主页 17

亟需配备的公文的职分为/hadoop-2.6.4/etc/hadoop,需求修改的有以下多少个公文:

⑩ 、复制hadoop及连锁布置文件到从服务器上

hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves

 [hadoop@kencentos01 hadoop]$ scp -r /opt/hadoop
hadoop@kencentos02:/opt

其间hadoop-env.sh和yarn-env.sh里面都要添加jdk的环境变量:

 [hadoop@kencentos01 hadoop]$ scp -r /opt/hadoop
hadoop@kencentos03:/opt

梯次文件的修改如下所示:

1壹 、分别更改centos02,03上的环境变量

hadoop-env.sh中配备:(假设文件内容太多,能够在进入文件后一般方式下利用”/”加上想要查询的始末即可)

# The java implementation to use.

export
JAVA_HOME=/usr/tools/jdk/jdk1.8.0_73

(深紫红为新加上的始末,其余的代码是文件中原本的)

# The jsvc implementation to use. Jsvc is
required to run secure datanodes

# that bind to privileged ports to
provide authentication of data transfer

# protocol.  Jsvc is not required if SASL
is configured for authentication of

# data transfer protocol using
non-privileged ports.

#export JSVC_HOME=${JSVC_HOME}

澳门金冠网站主页 18

 

澳门金冠网站主页 19

yarn-env.sh中配置:**(若是文件内容太多,能够在进入文件后一般形式下选用”/”加上想要查询的始末即可)**

# User for YARN daemons

export
HADOOP_YARN_USER=${HADOOP_YARN_USER:-yarn}

# resolve links – $0 may be a
softlink

export
YARN_CONF_DIR=”${YARN_CONF_DIR:-$HADOOP_YARN_HOME/conf}”

# some Java parameters

export
JAVA_HOME=/opt/java/jdk1.7.0_72

(棕黑为新加上的内容,其余的代码是文件中本来的)

澳门金冠网站主页 20

 

12.启动hadoop

core-site.xml中配置:**(尽管文件内容太多,能够在进入文件后一般方式下使用”/”加上想要查询的内容即可)**

<configuration>

  <property>

    <name>fs.defaultFS</name>

    <value>hdfs://master:9000</value>

  </property>

  <property>

    <name>io.file.buffer.size</name>

    <value>131072</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>file:/usr/temp</value>

  </property>

  <property>

    <name>hadoop.proxyuser.root.hosts</name>

    <value>*澳门金冠网站主页,</value>

  </property>

  <property>

    <name>hadoop.proxyuser.root.groups</name>

    <value>*</value>

  </property>

</configuration>

澳门金冠网站主页 21

 

格式化namenode

hdfs-site.xml中配置:

</configuration> 

  <property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>master:9001</value>

  </property>

  <property>

    <name>dfs.namenode.name.dir</name>

    <value>file:/usr/dfs/name</value>

  </property>

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>file:/usr/dfs/data</value>

  </property>

  <property>

    <name>dfs.replication</name>

    <value>2</value>

  </property>

  <property>

    <name>dfs.webhdfs.enabled</name>

    <value>true</value>

  </property>

  <property>

    <name>dfs.permissions</name>

    <value>false</value>

  </property>

  <property>

    <name>dfs.web.ugi</name>

    <value>supergroup</value>

  </property>

</configuration>

澳门金冠网站主页 22

 

hdfs namenode –format

mapred-site.xml中配置:

起头守护进度

(先将mapred-site.xml.template使用命令拷贝出三个命名为mapred-site.xml的文件,

方法一: /hadoop/hadoop-2.7.3/sbin/start-all.sh

使用cp  **mapred-site.xml.template mapred-site.xml)**

<configuration>

  <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.address</name>

    <value>master:10020</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>master:19888</value>

  </property>

</configuration>

澳门金冠网站主页 23

 

澳门金冠网站主页 24

yarn-site.xml中配置

澳门金冠网站主页 25

方法二:

slaves中配置:

sunshine

sunshineMin

sunshineMax

澳门金冠网站主页 26

四 、拷贝hadoop安装文件到子节点

主节点上实施:

scp -r /usr/hadoop-2.6.4
root@sunshineMin:/usr

scp -r /usr/hadoop-2.6.4
root@sunshineMax:/usr

伍 、拷贝profile到子节点

主节点上执行:

scp
/etc/profile root@sunshineMin:/etc/

scp
/etc/profile root@sunshineMax:/etc/

在七个子节点上分别使新的profile生效:

source
/etc/profile

⑥ 、格式化主节点的NameNode

主节点上进入hadoop安装目录下

下一场实施:

./bin/hadoop namenode –format

唤醒:successfully formatted表示格式化成功

7、启动hadoop

主节点上在hadoop目录下实施:

./sbin/start-all.sh

主节点上jps进度有:

NameNode

SecondaryNameNode

ResourceManager

 澳门金冠网站主页 27

各类子节点上的jps进度有:

DataNode

NodeManager

澳门金冠网站主页 28

假定如此表示hadoop集群配置成功!

假设对你有帮扶,请予以协理!!!

启动NameNode和DataNode

$ start-dfs.sh

运行ResourceManager 和 NodeManager 守护进度

$ start-yarn.sh

终止命令

/hadoop/hadoop-2.7.3/sbin/stop-all.sh

$stop-dfs.sh

$stop-yarn.sh

 

起步节点还足以用下边发号施令

hadoop-daemon.sh start namenode

Hadoop-daemon.sh start datanode

 

执行jps命令

jps 能够查阅 hadoop 上 当前运营的java 进度

(不是hadoop的怎样命令,是java的吩咐,所以直接执行就行了)

澳门金冠网站主页 29

1三 、查看节点是或不是健康

 访问50070端口
,作者这边是http://192.168.52.128:50070

澳门金冠网站主页 30

若不能够健康显示,则恐怕是节点未平常运营

自家赶上的是因为namenode3次format时造成VESportageSION中的clusterID 争持难题

焚薮而田办法:将dfs对应的data,tmp目录下文件都剔除,重新format下

再开发银行服务

 

相关文章