数据清洗问题

Question

2016-11-10 00:01:02 - 813 183.162.52.7

2016-11-10 00:01:02 - 0 10.100.0.1

2016-11-10 00:01:02 http://www.imooc.com/code/1852 2345 117.35.88.11

如何在存储数据的时候把前2个不存储，就是把url等于-和traffic=0的过滤掉

Answer 1

慕粉0909169327 2018-09-02 21:42:18

我写了一个，不是特别优雅，但是经测试能用，供你参考 val rdd1 = access.map... rdd1.filter(line=>{ val words = line.split("\t") !(words(1) == "-" || words(2) == "0") }).coalesce(1,false).saveAsTextFile("file:///D:/scalatest/formatoutput")

Answer 2

提问者 少帅521 2018-07-26 21:00:18

我想知道如何在代码编写使用filter（），如何操作，老师

• Michael_PK #1

  函数式编程使用链式编程风格就行了，map后就跟着filter，你想过滤啥就过滤啥，建议补习下scala的高阶函数

• 慕粉0909169327 #2

  我写了一个，不是特别优雅，但是经测试能用，供你参考
  val rdd1 = access.map...
  rdd1.filter(line=>{
        val words = line.split("\t")
        !(words(1) == "-" || words(2) == "0")
      }).coalesce(1,false).saveAsTextFile("file:///D:/scalatest/formatoutput")