spark源码编译过程-IDEA在Windows上搭建最新的Spark2.4.3源码调试开发环境

也想出现在这里？点击联系我~

立即下单

进入商城

进不了网站？换个网络试试！

相信很多朋友都想通过阅读一些框架的源码来提高自己的编码能力，但是在搭建环境的时候往往第一步就碰壁了。

本文将介绍如何在Windows下编译最新版本的Spark2.4.3并导出到IDEA编译器。 最后在IDEA中运行Spark自带的所有Example代码。

1、Spark源码环境搭建所需规划

搭建Spark源码环境需要先准备一些东西。 这里也有一些我踩过的坑，我也一起介绍一下。

首先需要先下载maven，并将maven的源地址改为阿里源。 相信很多朋友已经配置好了maven。 这里简单提一下，maven的源地址在美国。 如果你不改成阿里源，那么在下载依赖的时候，那个速度会让你怀疑人生。

然后下载scala2.11.8/scala2.11.12，因为目前spark不支持2.12+，所以需要scala2.11+spark源码编译过程spark源码编译过程，至于2.11.8或者2.11.12应该没有什么影响，但是我自己的机器是2.11 。 8 是。

下载spark源码，但是不能直接从github下载到spark仓库。 目前仓库是3.+的beta版本，你应该去releases中找到它。

不过我已经帮你找到那个链接了，复制到浏览器地址就会有一个下载页面。

下载后解压，就算准备工作完成了。

2.编译Spark源码

不能直接导出工程，因为有些文件需要编译后才能生成，不过编译环境并不难。 之前maven不是已经配置好了吗？将下载的spark2.4.3解压，进入其目录，打开cmd，运行以下命令

mvn -T 4 -DskipTests 清理包

这里需要注意的是spark2.4.3目录下的pom.xml文件中有两个地方需要修改。 第一个是pom.xml上的属性，默认是3.5.4，需要改成自己的maven版本，比如我的笔记本是3.5.2。

电脑上的maven版本可以通过命令mvn --version查看。

比如我的笔记本是3.5.2，所以上面对应的pom.xml改为3.5.2。

如果不改的话，编译的时候会报错。

第二个要更改的是修改 pom.xml 文件中的属性。 默认值为 2.11.12。 需要将其更改为笔记本中的scala版本。 这个是下载的时候选择的，就不多介绍了。

如果与你笔记本上的scala版本不一致，会出现如下错误：

错误：scalac：未找到 Scala 编译器 JAR

另外，spark源文件中有多个pom.xml，只需更改根目录下的pom.xml文件即可。 修改完成后就可以开始编译了。

顺便说一下，编译的时候会比较慢，而且编译的时候会占用笔记本的资源比较多。 建议在午睡前编译:)

3. 出口

编译完成后，现在可以导出到IDEA，直接

open => ${spark2.4.3}_path/pom.xml => 作为项目打开

导入后不用担心，需要先更改IDEA的maven配置，

文件=>设置=>直接搜索maven=>更改Maven主目录

也就是修改如图所示的地方，

因为IDEA有自己的maven，所以需要改一下才能安装到笔记本上。 否则，因为你是在自己的笔记本上用maven编译的，如果这时候使用IDEA的maven来处理，有些依赖会报如下错误：

库 Maven：已损坏类路径：

事实上，我只是找不到它。

OK，导入成功后，不用担心，还有最后一处需要更改。

菜单 -> 运行 -> 编辑配置 -> 点击左上角的 + -> 应用程序

在 VM options: 中，添加 **-Dspark.master=local**。 这个的作用是让spark直接在本机启动。

到这里配置就结束了，接下来你可以运行一个例子来看看。

转到示例 -> src -> scala -> LogQuery -> 右键单击​​运行

您可以成功地看到第一个示例 Spark 程序正在运行。

4. 总结

总结起来就是先编译，然后导出，最后运行。

这个过程说起来容易，但是虽然存在一些陷阱，但很容易让人半途而废。 我已经踩过一些陷阱了。 希望对大家有帮助:)

如果过程中有什么问题无法解决，欢迎您在本文下留言，有时间我会帮助您的~

多于！