Spark Core Source Code Analyse 发表于 2017-10-27 字数统计 51 字 | 阅读时长 1 分钟 本文根据HDP Spark 1.6.3 源码进行分析,从命令行的spark-submit一直到作业执行完之后的结果处理,Spark源码带注释说明,历时将近一年。 阅读全文 »
Spark源码分析调试环境搭建 发表于 2017-10-26 字数统计 598 字 | 阅读时长 2 分钟 目前常用的Spark版本有三种Cloudera、HDP和Apache,源码的获取方式可以在各自官网下载。本文选择Apache版本。 搭建环境所需要的工具如下: CentOS 7 maven 3.5.0 Java 1.8.0 Scala 2.12.2 IntelliJ IDEA2017.1.2 本 ... 阅读全文 »