rdd与dataframe最大区别
RDD与DataFrame的最大区别在于数据结构和执行效率：
1. 数据结构：RDD是分布式的Java对象的集合，而DataFrame是分布式的Row对象的集合。DataFrame提供了详细的结构信息，即schema，使得Spark SQL可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么。这使得DataFrame在处理结构化数据时更加简单易用。
2. 执行效率：DataFrame相较于RDD在执行效率上有所提升。RDD API是函数式的，强调不变性，在大部分场景下倾向于创建新对象而不是修改老对象。这使得Spark应用程序在运行期倾向于创建大量临时对象，对GC造成压力。而DataFrame在框架内部已经在各种可能的情况下尽量重用对象，这样做虽然在内部会打破了不变性，但在将数据返回给用户时，还会重新转为不可变数据。利用DataFrame API进行开发，可以免费地享受到这些优化效果。
