这次 我们以指定executor-memory参数的方式来启动spark-shell:
启动成功了
在命令行中我们指定了spark-shell运行暂用的每个机器上的executor的内存为1g大小,启动成功后参看web页面:
从hdfs上读取文件:
在命令行中返回的MappedRDD,使用toDebugString,可以查看其lineage的关系:
可以看出MappedRDD是从HadoopRDD转换而来的
再看下textFile的源代码:
hadoopFile这个方法返回的是一个HadoopRDD,源码如下所示:
而map方法产生的是一个MappedRDD:
下面进行一个简单的wordcount操作:
执行结果:
再次使用toDebugString,查看下依赖关系:
HadoopRDD -> MappedRDD -> FlatMappedRDD -> MappedRDD -> ShuffledRDD
相关推荐
Spark实战高手之路-第5章Spark API编程动手实战(2)
Spark实战高手之路-第5章Spark API编程动手实战(1)
Spark实战高手之路-第5章Spark API编程动手实战(3).
【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(1) 【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(2) 【Spark亚太研究院系列丛书】Spark实战高手之路-...
【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(1) 【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(2) 【Spark亚太研究院系列丛书】Spark实战高手之路-...
【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(1) 【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(2) 【Spark亚太研究院系列丛书】Spark实战高手之路-...
Spark实战高手之路-第6章Spark SQL编程动手实战(1)
【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(1) 【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(2) 【Spark亚太研究院系列丛书】Spark实战高手之路-...
Spark 入门实战系列,适合初学者,文档包括十部分内容,质量很好,为了感谢文档作者,也为了帮助更多的人入门,传播作者的心血,特此友情转贴: 1.Spark及其生态圈简介.pdf 2.Spark编译与部署(上)--基础环境搭建....
通过一个完整的具有代表性的Spark项目来贯穿Spark的方方面面,包括项目的架构设计,用的的技术剖析、开发实现、运维等等。
Spark安装包:spark-3.1.3-bin-without-hadoop.tgz
3.Spark编程模型(上)--概念及SparkShell实战.pdf 3.Spark编程模型(下)--IDEA搭建及实战.pdf 4.Spark运行架构.pdf 5.Hive(上)--Hive介绍及部署.pdf 5.Hive(下)--Hive实战.pdf 6.SparkSQL(上)--SparkSQL简介...
在Ubuntu里安装spark,spark-2.1.0-bin-without-hadoop该版本直接下载到本地后解压即可使用。 Apache Spark 是一种用于大数据工作负载的分布式开源处理系统。它使用内存中缓存和优化的查询执行方式,可针对任何规模...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
Apache Spark版本3.1.3。Linux安装包。spark-3.1.3-bin-hadoop3.2.tgz
文件名: spark-3.4.1-bin-hadoop3.tgz 这是 Apache Spark 3.4.1 版本的二进制文件,专为与 Hadoop 3 配合使用而设计。Spark 是一种快速、通用的集群计算系统,用于大规模数据处理。这个文件包含了所有必要的组件,...
spark-3.1.2.tgz版本 & spark-3.1.2-bin-hadoop2.7.tgz版本
本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载,本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载
pyspark本地的环境配置包,spark-2.3.4-bin-hadoop2.7.tgz:spark-2.3.4-bin-hadoop2.7.tgz
spark-3.2.0-bin-hadoop3.2.tgz