spark：neither spark.yarn.jars not spark.yarn.archive is set-白红宇

spark：neither spark.yarn.jars not spark.yarn.archive is set

阅读量：5072 次

发布时间：2019-06-12

本文共 580 字，大约阅读时间需要 1 分钟。

1.Spark启动警告：neither spark.yarn.jars not spark.yarn.archive is set，falling back to uploading libraries under SPARK_HOME

原因：

如果没设置spark.yarn.jars，每次提交到yarn，都会把$SPARK_HOME/jars打包成zip文件上传到HDFS对应的用户目录。而spark.yarn.jars可以指定HDFS某路径下包为公共依赖包，从而提高spark应用提交效率，节省空间

解决：

1.在HDFS创建目录 /spark/jars

2.将$SPARK_HOME/jars下所有包上传到hdfs目录 /spark/jars

3.在spark-defaults.conf 中增加配置

spark.yarn.jars hdfs://hostname/spark/jars/*

---------------------

作者：shengpli

来源：CSDN

原文：https://blog.csdn.net/qq_23146763/article/details/70843913

转载于:https://www.cnblogs.com/timlong/p/9811170.html

你可能感兴趣的文章