当前位置: 首页 >> 游戏 >
在Spark模式的时候数据发生错误该怎么办?主要解决办法是什么?
来源:亚洲网     时间:2022-12-16 08:53:24

在使用Hive on Spark模式操作hive里面的数据时发生错误?

ERROR XSDB6: Another instance of Derby may have already booted the database /home/bdata/data/metastore_db.

在使用Hive on Spark模式操作hive里面的数据时,报以上错误,原因是因为HIVE采用了derby这个内嵌数据库作为数据库,它不支持多用户同时访问,解决办法就是把derby数据库换成mysql数据库即可

变更方式

java.lang.IllegalArgumentException: java.net.UnknownHostException: dfscluster

解决办法:

找不到hdfs集群名字dfscluster,这个文件在HADOOP的etc/hadoop下面,有个文件hdfs-site.xml,复制到Spark的conf下,重启即可

如:执行脚本,分发到所有的Spark集群机器中,

[bdata@bdata4 hadoop]foriin34,35,36,37,38;doscphdfs−site.xml192.168.10.foriin34,35,36,37,38;doscphdfs−site.xml192.168.10. i:/u01/spark-1.5.1/conf/ ; done

推荐新闻 +
猜您喜欢 +