Spark Windows调试环境搭建教程

Spark Windows 调试环境搭建教程

本教程介绍的是Windows环境下的Spark调试环境的搭建步骤。

一、组件介绍

首先列举搭建此环境需要的各个组件：

?JDK，安装JDK 6或者JDK 7（必备条件）

?IDEA，有两个版本：Ultimate Edition & Community Edition，后者是free 的，而且完全能满足学习者所有的需求

?Scala，Spark是用Scala语言写成的，在本地编译执行需要这个包

?SBT，scala工程构建的工具

?Git，IDEA自动下载SBT插件时可能会用到的工具

val x = random * 2 - 1

val y = random * 2 - 1

if (x*x + y*y < 1) 1 else 0

}.reduce(_ + _)

println("Pi is roughly " + 4.0 * count / n)

spark.stop()

}

}

代码中.setMaster("local")语句非常关键，网上教程中有在run configuration里配置program argument的，我实测没有用。代码里加set local 即可以解决问题，避免set master url问题，在本机调试代码。

要是你的工程执行完成后，console里能出现Pi is roughly。。。证明调试环境配置成功，Enjoy Spark with IDEA!