Caused by: java.net.UnknownHostException: hadoop000

Question

from pyspark import SparkConf, SparkContext
import os

# os.environ['JAVA_HOME'] = 'C:\Program Files\Java\jdk-16.0.1'
# 创建SparkConf:设置的是Spark相关的参数信息
conf = SparkConf().setMaster("local[2]").setAppName("spark0301")

# 创建 SparkContext
sc = SparkContext(conf=conf)

# 业务逻辑
data = [1 ,2 ,3, 4, 5]
distData = sc.parallelize(data)
print(distData.collect())

老师，实在是搞不明白这里为什么出问题了

Answer 1

Michael_PK 2021-06-02 09:17:45

你的idea所在机器的hosts中没有配置hadoop000的映射。

建议花点时间学下linux基础的，因为大数据是需要linux相关技能的

• 提问者 慕运维0587372 #1

  老师，我这个是在我的windows电脑上运行的，也需要在windows电脑上配置一下环境是吧

• Michael_PK 回复 提问者 慕运维0587372 #2

  是的，你的开发机器上需要进行配置的，不然是不识别那个hostname的

• 提问者 慕运维0587372 #3

  非常感谢！