当前位置: 首页 >> 游戏 >
目录占用许多磁盘空间该怎么办?Spark依赖库中的问题该如何解决?
来源:亚洲网     时间:2022-12-16 08:46:56

Worker节点中的work目录占用许多磁盘空间

目录地址:/home/utoken/software/spark-1.3.0-bin-hadoop2.4/work

这些是Driver上传到worker的文件,需要定时做手工清理,否则会占用许多磁盘空间

spark-shell提交Spark Application如何解决依赖库

spark-shell的话,利用--driver-class-path选项来指定所依赖的jar文件,注意的是--driver-class-path后如果需要跟着多个jar文件的话,jar文件之间使用冒号(:)来分割。

推荐新闻 +
猜您喜欢 +