spark内核揭秘-03-spark核心组件

spark核心组件如下所示：

 

 

在SparkContext初始化的时候，会初始化一系列内容：

查看内存使用情况：

 

创建和启动scheduler：

 

 

集群核心组件中的Block tracker是用于block和partition对应关系的管理。

集群核心组件中的shuffle tracker是用于记录shuffle操作的过程细节。

从集群中也可以看出，Executor在执行任务的时候是采用多线程的方式执行的并能够在HDFS或者HBase等系统上读取数据。

而在实际的Driver Program运行的时候每个partition都会由一个task负责运行的

 

 

 

 

也就是说有多partition就会有多少task在运行，而这些task都是并发的运行在Executor中的。