问题集锦

spark-map和flatMap的区别

一.map

map:对集合中每个元素进行操作。

flatMap:对集合中每个元素进行操作然后再扁平化。 

所谓扁平化的概念如何理解,我们看下如下操作:

首先打开spark-shell,然后输入:

val arr=sc.parallelize(Array(("A",1),("B",2),("C",3)))
arr.map(x=>(x._1+x._2)).collect()
arr.flatMap(x=>(x._1+x._2)).collect()

所以flatMap扁平话意思大概就是先用了一次map之后对全部数据再一次map。

spark-map和flatMap的区别已关闭评论