试述spark的主要特点
Spark的主要特点包括:
1. 速度快:Spark使用DAG调度器、查询优化器和物理执行引擎,能够在批处理和流数据获得很高的性能。根据官方的统计,它的运算速度是Hadoop的100x倍。
2. 使用简单:Spark支持多种编程语言,包括Java, Scala, Python, R和SQL,并且提供了超过80个高阶操作,使得创建并行应用变得容易。
3. 通用性强:Spark集成了多个模块,包括Spark SQL, Spark Streaming, MLlib和GraphX,可以很容易地在同一个应用中结合这些模块使用,以满足实际需求。
4. 到处运行:Spark可以运行在多种框架之上,包括Hadoop, Mesos, Kubernetes, standalone,或者云服务器上,并且可以访问多种数据源,如HDFS, Alluxio, Apache Cassandra, HBase, Hive等。