相见的难点以及相应的消除办法是对于私有即刻的条件,统一编码

1,启动HBase错误: -bash: /opt/hbase/hbase-1.2.6/bin: is a directory

原因:未输入正确的下令,大概Hadoop未能正确运维
化解办法:
率先检查命名格式是不是正确,然后检查Hadoop是不是中标运维。

4,java连接hive报错:hive:jdbc connection refused

由来:大概hive未运营或然配备未能正确配置
消除办法:
1.查看服务是或不是运营
输入:

netstat -anp |grep 10000

2.翻看hive / conf/hive-site.xml配置是或不是科学,是或不是添加了那个布署

<property> 
       <name>hive.server2.thrift.port</name> 
      <value>10000</value> 
    </property>
<property>
       <name>hive.server2.thrift.bind.host</name>
       <value>master</value>
 </property>

注: master是自己安插主机的称号,能够替换来主机的IP。

3.确认配置没不经常之后,输入hive –service hiveserver2
之后,在应用java连接测试。

Hadoop伪分布式相关的标题

7, hive 使用spark引擎报错:Failedto execute spark task, with exception’org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create sparkclient.)

缘由:在应用Hive on 斯Parker 执行查询命令的时候,出现那么些漏洞非常多。
消除办法:
1.检查hive和spark的本子是或不是科学,借使不相匹配,则配备相匹配的版本。
2.编辑hive/conf 目录下的hive-site.xml 文件,添加

<property>
           <name>spark.master</name>        
           <value>spark://hserver1:7077</value>      
    </property>

4,Hadoop警告:Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

缘由:Apache提供的hadoop本地库是31个人的,而在陆拾陆位的服务器上就会不经常,由此须求协调编译60个人的版本。
消除办法:
1.编写翻译63个人版本的lib包,能够行使这几个网站提供的编译好的http://dl.bintray.com/sequenceiq/sequenceiq-bin/

  1. 将那几个解压包解压到 hadoop/lib和hadoop/lib/native 目录下。
  2. 安装环境变量,在/etc/profile中添加

    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native  
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"  
    
  3. 输入 hadoop checknative –a 检查

参考:
http://blog.csdn.net/jack85986370/article/details/51902871

1,FATAL conf.Configuration: error parsing conf hdfs-site.xml

原因: 字符编码难点。
消除办法: 统一编码,将文件打开,另存为统一编码,如UTF-8 即可。

5,hadoop成功布置之后,namenode没有中标运营。

缘由:恐怕是hadoop的集群的配备不科学
赶尽杀绝方案: 检查hadoop/ etc/hadoop 的主要性配备文件是还是不是正确配置。

2,Java API 连接HBase 报错

org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after
attempts=36, exceptions:
Tue Jul 19 16:36:05 CST 2016, null, java.net.SocketTimeoutException:
callTimeout=60000, callDuration=79721: row ‘testtable,,’ on table
‘hbase:meta’ at region=hbase:meta,,1.1588230740,
hostname=ubuntu,16020,1468916750524, seqNum=0

缘由:大概是接纳了主机名举办连接,而未载windows系统的hosts文件进行布局。
消除办法:
1.承认本地和集群服务中间的通讯没不常常。
2.修改 C:\Windows\System32\drivers\etc\hosts
的公文,添加集群的主机名和IP做映射。
例如:
192.169.0.23 master
192.169.0.24 slave1
192.169.0.25 slave2

7, hive 使用spark引擎报错:Failedto execute spark task, with exception’org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create sparkclient.)

缘由:在行使Hive on 斯Parker 执行查询命令的时候,出现这些荒唐。
消除办法:
1.检查hive和spark的本子是还是不是科学,假诺不相匹配,则布置相匹配的版本。
2.编辑hive/conf 目录下的hive-site.xml 文件,添加

<property>
           <name>spark.master</name>        
           <value>spark://hserver1:7077</value>      
    </property>

1,运转hadoop时候报错:localhost: ssh: Could not resolve hostname localhost: Temporary failure in name resolution”

原因: hadoop的环境没有布署好,大概尚未使配置生效。
化解办法: 假若没有安排Hadoop的环境变量,就填加配置。

例如:

export JAVA_HOME=/opt/java/jdk
export HADOOP_HOME=/opt/hadoop/hadoop2.8 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

下一场使配置文件生效
输入:

 source /etc/profile

9,hive使用mr实行关联合检查询报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

原因:内部存储器太小了。
化解办法:将mr内存设置大学一年级些

set mapred.reduce.tasks = 2000;
set mapreduce.reduce.memory.mb=16384;
set mapreduce.reduce.java.opts=-Xmx16384m;

8,开端化hive元数据报错:Error: Duplicate key name ‘PCS_STATS_IDX’ (state=42000,code=1061)

案由:那恐怕是metastore_db文件夹已经存在;
化解办法: 删除该文件
澳门金冠网站主页 1

斯Parker相关的一无所能

1,启动HBase错误: -bash: /opt/hbase/hbase-1.2.6/bin: is a directory

案由:未输入正确的指令,大概Hadoop未能正确运营
化解办法:
首先检查命名格式是或不是科学,然后检查Hadoop是不是中标运转。

9,hive 起头化元数据库报错:

org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema
version.
Underlying cause: java.sql.SQLException : Access denied for user
'root'@'master‘ (using password: YES)
SQL Error code: 1045
澳门金冠网站主页 2

案由:
以为数据库连接用户名密码或权限难题,然则检查hive/hive-site.xml配置,和mysql设置的用户名和密码以及权限,都没难题。
化解办法: 将hive/hive-site.xml连接数据库的小名改成ip地址就能够了。
澳门金冠网站主页 3

4,Hadoop警告:Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

缘由:Apache提供的hadoop本地库是33位的,而在六16位的服务器上就会有题目,由此供给自身编写翻译陆拾贰位的本子。
消除办法:
1.编写翻译64人版本的lib包,能够使用那个网站提供的编写翻译好的http://dl.bintray.com/sequenceiq/sequenceiq-bin/

  1. 将以此解压包解压到 hadoop/lib和hadoop/lib/native 目录下。
  2. 安装环境变量,在/etc/profile中添加

    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native  
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"  
    
  3. 输入 hadoop checknative –a 检查

参考:
http://blog.csdn.net/jack85986370/article/details/51902871

3,java连接hive报错:HIVE2 Error: Failed to open new session: java.lang.RuntimeException:org.apache.hadoop.ipc.RemoteExc

原因:没有安装远程连接权限。
解决方案:在hadoop/conf/core-site.xml 中添加如下一些,重启服务即可:

<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
 </property>
 <property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>

9,hive 开首化元数据库报错:

org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema
version.
Underlying cause: java.sql.SQLException : Access denied for user
'root'@'master‘ (using password: YES)
SQL Error code: 1045
澳门金冠网站主页 4

缘由:
以为数据库连接用户名密码或权限难点,但是检查hive/hive-site.xml配置,和mysql设置的用户名和密码以及权限,都没难点。
化解办法: 将hive/hive-site.xml连接数据库的外号改成ip地址就能够了。
澳门金冠网站主页 5

1,zookeeper集群运维今后输入status 报:Error contacting service. It is probably not running.

缘由:恐怕是zoopkeeper集群未能得逞布置以及有关的环境未陈设好。
解决办法:

  1. 集群成功安顿并且运转成功后,检查集群中的防火墙是不是关闭;
    2.检查myid和zoo.cfg文件配置格式是还是不是正确,注意空格!!!
    3.输入jps查看zookeeper是或不是中标运维。
    4.zookeeper集群全方位都运维成功未来,再输入zkServer.sh status 查看。

Zoo.cfg完整的配备

dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/dataLog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

myid的布署为 ① 、贰 、3

Hive相关的错误

澳门金冠网站主页,Zookeeper相关的失实

3,java连接hive报错:HIVE2 Error: Failed to open new session: java.lang.RuntimeException:org.apache.hadoop.ipc.RemoteExc

缘由:没有设置远程连接权限。
化解方案:在hadoop/conf/core-site.xml 中添加如下一些,重启服务即可:

<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
 </property>
 <property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>

8,伊始化hive元数据报错:Error: Duplicate key name ‘PCS_STATS_IDX’ (state=42000,code=1061)

由来:那或许是metastore_db文件夹已经存在;
化解办法: 删除该公文
澳门金冠网站主页 6

Zookeeper相关的荒谬

3,spark sql运维报错:org.apache.spark.sql.hive.thriftserver.斯ParkerSQLCLIDriver

澳门金冠网站主页 7

在spark/bin 目录下 修改spark-sql ,添加孔雀绿的书体的始末。

export _SPARK_CMD_USAGE="Usage: ./bin/spark-sql [options] [cli option]"
exec "${SPARK_HOME}"  /bin/spark-submit -jars /opt/spark/spark1.6-hadoop2.4-hive/lib/spark-assembly-1.6.3-hadoop2.4.0.jar --class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver "$@"

澳门金冠网站主页 8

5,hadoop成功安排之后,namenode没有得逞运维。

案由:大概是hadoop的集群的布置不科学
化解方案: 检查hadoop/ etc/hadoop 的显要安顿文件是还是不是正确配置。

HBase 相关的失实

6,Hive On Spark报错:Exception in thread “main” java.lang.NoClassDefFoundError: scala/collection/Iterable

澳门金冠网站主页 9
原因:缺少spark编译的jar包
消除办法:
本身是行使的spark-hadoop-without-hive
的spark,假若应用的不是那种,能够活动编写翻译spark-without-hive。
1.将spark/lib 目录下的spark-assembly-1.6.3-hadoop2.4.0.jar
拷贝到hive/lib目录下。
2.在hive/conf 中的hive-env.sh 设置该jar的路径。
注:spark-assembly-1.6.3-hadoop2.4.0.jar
架包在spark-1.6.3-bin-hadoop2.4-without-hive 解压包中.

下载地址:http://mirror.bit.edu.cn/apache/spark

Hadoop相关的荒唐

3,bash:…: is a directory

案由:只怕是/etc/profile 配置未能成事安排
消除办法:
确认配置文件并未难点之后,发现环境变量后边多了空格,将环境变量前边的空格去掉之后就好了。

4,java连接hive报错:hive:jdbc connection refused

由来:恐怕hive未运转可能配置未能正确配置
消除办法:
1.翻看服务是或不是运营
输入:

netstat -anp |grep 10000

2.查看hive / conf/hive-site.xml配置是或不是正确,是或不是添加了那个安插

<property> 
       <name>hive.server2.thrift.port</name> 
      <value>10000</value> 
    </property>
<property>
       <name>hive.server2.thrift.bind.host</name>
       <value>master</value>
 </property>

注: master是自身安插主机的名号,可以替换到主机的IP。

3.确认配置没极度现在,输入hive –service hiveserver2
之后,在选择java连接测试。

Hadoop相关的谬误

3,bash:…: is a directory

原因:大概是/etc/profile 配置未能成事布署
消除办法:
确认配置文件并未难题以后,发现环境变量前面多了空格,将环境变量前面包车型大巴空格去掉之后就好了。

斯Parker相关的荒唐

Hive相关的谬误

1,使用spark sql的时候报错:javax.jdo.JDOFatalInternalException: Error creating transactional connection factory

缘由:或许是不曾添加jdbc的驱动
化解办法: 斯Parker 中一经没有配置连接驱动,在spark/conf
目录下编写制定spark-env.sh 添加驱动配置
例如:

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/spark/spark2.2/jars/mysql-connector-java-5.1.41.jar

照旧在spark目录下直接加载驱动

比如说输入:

spark-sql --driver-class-path /opt/spark/spark2.2/jars/mysql-connector-java-5.1.41.jar

3,org.apache.hadoop.hdfs.server.namenode.NameNode。

由来:没有点名路线
消除办法:修改hadoop-env.sh文件。安装的hadoop路径是“/usr/local/hadoop/hadoop-2.8.2”,
在此路径下实施 vim etc/hadoop/hadoop-env.sh 在文书最前边添加 export
HADOOP_PREFIX=/usr/local/hadoop/hadoop-2.8.2 ,并保存。

1,hive2: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

案由: 不能够连接元数据库,也许没有起始化元数据
消除办法:起首化元数据
输入: schematool -dbType mysql -initSchema
然后在输入: hive

2, spark-sql 登录日志过多

原因: spark的日志级别设置为了INFO。
化解办法:
将日志级别改成WARAV4N就行了。
进去到spark目录/conf文件夹下,此时有3个log4j.properties.template文件,大家实践如下命令将其拷贝一份为log4j.properties,并对log4j.properties文件进行修改。

cp log4j.properties.template log4j.properties
vim log4j.properties

log4j.rootCategory=INFO, console

改成

log4j.rootCategory=WARN, console

3,spark sql运维报错:org.apache.spark.sql.hive.thriftserver.斯ParkerSQLCLIDriver

澳门金冠网站主页 10

在spark/bin 目录下 修改spark-sql ,添加浅绛红的字体的始末。

export _SPARK_CMD_USAGE="Usage: ./bin/spark-sql [options] [cli option]"
exec "${SPARK_HOME}"  /bin/spark-submit -jars /opt/spark/spark1.6-hadoop2.4-hive/lib/spark-assembly-1.6.3-hadoop2.4.0.jar --class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver "$@"

澳门金冠网站主页 11

2,Java API 连接HBase 报错

org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after
attempts=36, exceptions:
Tue Jul 19 16:36:05 CST 2016, null, java.net.SocketTimeoutException:
callTimeout=60000, callDuration=79721: row ‘testtable,,’ on table
‘hbase:meta’ at region=hbase:meta,,1.1588230740,
hostname=ubuntu,16020,1468916750524, seqNum=0

原因:可能是运用了主机名实行一而再,而未载windows系统的hosts文件实行配备。
消除办法:
1.认可本地和集群服务期间的通讯没十分。
2.修改 C:\Windows\System32\drivers\etc\hosts
的文书,添加集群的主机名和IP做映射。
例如:
192.169.0.23 master
192.169.0.24 slave1
192.169.0.25 slave2

9,hive使用mr举行关联合检查询报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

原因:内部存款和储蓄器太小了。
化解办法:将mr内部存款和储蓄器设置大一些

set mapred.reduce.tasks = 2000;
set mapreduce.reduce.memory.mb=16384;
set mapreduce.reduce.java.opts=-Xmx16384m;

1,使用spark sql的时候报错:javax.jdo.JDOFatalInternalException: Error creating transactional connection factory

案由:恐怕是从未有过添加jdbc的驱动
化解办法: Spark 中一旦没有布置连接驱动,在spark/conf
目录下编写制定spark-env.sh 添加驱动配置
例如:

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/spark/spark2.2/jars/mysql-connector-java-5.1.41.jar

依旧在spark目录下直接加载驱动

比如说输入:

spark-sql --driver-class-path /opt/spark/spark2.2/jars/mysql-connector-java-5.1.41.jar

2,进入hive警告:Class path contains multiple SLF4J bindings

由来:日志文件争论。
消除办法: 移除当中的多个架包就足以了。
譬如说:移除hive或hadooop相关的3个slf4j.jar就可以;

2,进入hive警告:Class path contains multiple SLF4J bindings

案由:日志文件冲突。
化解办法: 移除在那之中的四个架包就能够了。
譬如:移除hive或hadooop相关的3个slf4j.jar就足以;

1,zookeeper集群运维未来输入status 报:Error contacting service. It is probably not running.

由来:恐怕是zoopkeeper集群未能成功安顿以及有关的环境未布置好。
解决办法:

  1. 集群成功安插并且运维成功后,检查集群中的防火墙是还是不是关闭;
    2.检查myid和zoo.cfg文件配置格式是还是不是科学,注意空格!!!
    3.输入jps查看zookeeper是还是不是成功运营。
    4.zookeeper集群全套都运行成功之后,再输入zkServer.sh status 查看。

Zoo.cfg完整的配备

dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/dataLog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

myid的陈设为 一 、② 、3

2,mkdir: `/user/hive/warehouse’: No such file or directory

由来: 使用hadoop新建目录的时候报错,命名格式不不奇怪
化解办法: 输入正确的指令格式
例如:

$HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse

2, spark-sql 登录日志过多

由来: spark的日志级别设置为了INFO。
消除办法:
将日志级别改成WAKugaN就行了。
跻身到spark目录/conf文件夹下,此时有四个log4j.properties.template文件,我们实践如下命令将其拷贝一份为log4j.properties,并对log4j.properties文件举行修改。

cp log4j.properties.template log4j.properties
vim log4j.properties

log4j.rootCategory=INFO, console

改成

log4j.rootCategory=WARN, console

5,使用hive警告:WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist

案由: Hive的那么些布局在1.0今后就裁撤了。
解决办法:
在hive / conf/hive-site.xml 去掉这些布局就行了

 <property>
         <name>hive.metastore.local</name>
          <value>true</value>
     </property>     

Hadoop伪分布式相关的题材

1,FATAL conf.Configuration: error parsing conf hdfs-site.xml

原因: 字符编码难点。
消除办法: 统一编码,将文件打开,另存为统一编码,如UTF-8 即可。

2,Use of this script to execute hdfs command is deprecated。

缘由:hadoop版本难点,命令过时。
消除办法: 将hadoop命令改成hdfs。

前言

在搭建大数量Hadoop相关的环境时候,遇到很多了诸多谬误。作者是个尊敬做笔记的人,那几个错误基本都记载,并且将消除办法也写上了。由此写成博客,希望可以协理那么些搭建大数目环境的人消除难点。

说明:
碰到的难题以及相应的消除办法是对此私有登时的条件,具体相提并论。固然遇上同样的标题,本博客的方法不能够缓解您的题材,请先检查环境安顿难点。

HBase 相关的一无是处

1,运转hadoop时候报错:localhost: ssh: Could not resolve hostname localhost: Temporary failure in name resolution”

案由: hadoop的环境并未安排好,只怕没有使配置生效。
化解办法: 假使没有布署Hadoop的环境变量,就填加配置。

例如:

export JAVA_HOME=/opt/java/jdk
export HADOOP_HOME=/opt/hadoop/hadoop2.8 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

下一场使配置文件生效
输入:

 source /etc/profile

3,org.apache.hadoop.hdfs.server.namenode.NameNode。

缘由:没有点名路线
化解办法:修改hadoop-env.sh文件。安装的hadoop路径是“/usr/local/hadoop/hadoop-2.8.2”,
在此路径下实行 vim etc/hadoop/hadoop-env.sh 在文件最前面添加 export
HADOOP_PREFIX=/usr/local/hadoop/hadoop-2.8.2 ,并保存。

2,Use of this script to execute hdfs command is deprecated。

缘由:hadoop版本难点,命令过时。
消除办法: 将hadoop命令改成hdfs。

2,mkdir: `/user/hive/warehouse’: No such file or directory

案由: 使用hadoop新建目录的时候报错,命名格式有标题
消除办法: 输入正确的吩咐格式
例如:

$HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse

6,Hive On Spark报错:Exception in thread “main” java.lang.NoClassDefFoundError: scala/collection/Iterable

澳门金冠网站主页 12
原因:缺少spark编译的jar包
消除办法:
本身是利用的spark-hadoop-without-hive
的spark,如若运用的不是那种,能够活动编写翻译spark-without-hive。
1.将spark/lib 目录下的spark-assembly-1.6.3-hadoop2.4.0.jar
拷贝到hive/lib目录下。
2.在hive/conf 中的hive-env.sh 设置该jar的路径。
注:spark-assembly-1.6.3-hadoop2.4.0.jar
架包在spark-1.6.3-bin-hadoop2.4-without-hive 解压包中.

下载地址:http://mirror.bit.edu.cn/apache/spark

前言

在搭建大数据Hadoop相关的环境时候,碰着很多了无数谬误。作者是个保护做笔记的人,这么些不当基本都记载,并且将消除办法也写上了。由此写成博客,希望能够扶助这个搭建大数据环境的人消除难点。

说明:
遭受的难题以及相应的化解办法是对于私有立即的条件,具体人己一视。若是遇上同样的题材,本博客的不二法门无法消除你的难题,请先反省环境布署难点。

1,hive2: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

案由: 无法连接元数据库,恐怕没有开头化元数据
消除办法:开端化元数据
输入: schematool -dbType mysql -initSchema
然后在输入: hive

5,使用hive警告:WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist

案由: Hive的这几个布局在1.0现在就撤除了。
化解办法:
在hive / conf/hive-site.xml 去掉这一个布局就行了

 <property>
         <name>hive.metastore.local</name>
          <value>true</value>
     </property>     

相关文章