spark警告日志

Question

20/08/20 06:53:26 WARN spark.SparkConf:
SPARK_CLASSPATH was detected (set to ‘/home/hadoop/app/spark-1.6.0-cdh5.15.1/lib/*’).
This is deprecated in Spark 1.0+.

Please instead use:

• ./spark-submit with --driver-class-path to augment the driver classpath
• spark.executor.extraClassPath to augment the executor classpath

20/08/20 06:53:26 WARN spark.SparkConf: Setting ‘spark.executor.extraClassPath’ to ‘/home/hadoop/app/spark-1.6.0-cdh5.15.1/lib/’ as a work-around.
20/08/20 06:53:26 WARN spark.SparkConf: Setting ‘spark.driver.extraClassPath’ to '/home/hadoop/app/spark-1.6.0-cdh5.15.1/lib/’ as a work-around.
20/08/20 06:53:26 WARN spark.SparkConf:
SPARK_WORKER_INSTANCES was detected (set to ‘1’).
This is deprecated in Spark 1.0+.

老师我启动spark出现了这些警告日志，spark能正常使用，那这些怎么解决呢，我看你的都没有。

Answer 1

Michael_PK 2020-08-19 23:59:15

这个没啥关系的，你咋用的还是1.6的版本呢

• 提问者 慕九州3016327 #1

  这个我直接从你课上给的cdh所有包那网站里面下载的，进行配置配置，是不是高版本没有这种警告呢，有办法去掉吗这些警告。

• Michael_PK 回复 提问者 慕九州3016327 #2

  那你没仔细听，我不会说让你们从cdh页面下载spark的。这只是警告而已，不是错误，不影响使用。你要是想去掉的话就不用这个版本

• 提问者 慕九州3016327 回复 Michael_PK #3

  好的?老师