解析清洗后的parquet文件，城市信息乱码，其他字段没问题

Question

Answer 1

提问者 Unden 2018-08-11 17:57:31

问题已解决！

首先参考了https://coding.imooc.com/learn/questiondetail/69693.html

然后在服务器上执行

spark-submit \

--class com.spark.ETLStepTwoLocal \

--master local[*] \

--jars /opt/hive-1.1.0-cdh5.7.0/lib/mysql-connector-java-5.1.27-bin.jar,/opt/lib/ipdatabase-1.0.jar,/opt/lib/poi-3.14.jar,/opt/lib/poi-ooxml-schemas-3.14.jar,/opt/lib/poi-ooxml-3.14.jar,/opt/lib/xmlbeans-2.6.0.jar \

--conf spark.sql.warehouse.dir=hdfs://hadoop:9000/user/hive/warehouse \

/opt/lib/spark-sql-1.0.jar \

file:///root/data/access.log \

file:///root/data/step2_parquet \

file:///root/data/step2_json

其中关联的jar包中，xmlbeans-2.6.0.jar是单独下载的

下载地址：http://mvnrepository.com/artifact/org.apache.xmlbeans/xmlbeans/2.6.0

Answer 2

Michael_PK 2018-08-11 12:00:41

parquet文件不能直接查看的吧？

• 提问者 Unden #1

  为了验证是不是输出就乱码了，我输出了两个文件，一个parquet，一个json，看的是json文件，里面的城市乱码了，然后查看了json文件的编码集，是utf8，是不是spark sql写出的编码不是utf8？

• Michael_PK 回复 提问者 Unden #2

  应该默认是u8的，机器是否有字符集设置，查下

Answer 3

Michael_PK 2018-08-11 11:48:33

编辑器的原因不？你直接到Linux上执行下看看结果

• 提问者 Unden #1

  数据清洗阶段，Windows环境下直接调用show方法，中文显示正常，但是代码打包放到linux虚拟机下执行，输出的json文件城市就乱码了