理解Spark运行模式（一）(Yarn Client)「建议收藏」

大家好，我是考100分的小小码，祝大家学习进步，加薪顺利呀。今天说一说理解Spark运行模式（一）(Yarn Client)「建议收藏」,希望您对编程的造诣更进一步.

Spark运行模式有Local,STANDALONE,YARN,MESOS,KUBERNETES这5种，其中最为常见的是YARN运行模式，它又可分为Client模式和Cluster模式。这里以Spark自带的SparkPi来说明这些运行模式。

本文作为第一篇，先结合SparkPi程序来说明Yarn Client方式的流程。

以下是Spark中examples下的SparkPi程序。

 1 // scalastyle:off println
 2 package org.apache.spark.examples
 3 
 4 import scala.math.random
 5 
 6 import org.apache.spark.sql.SparkSession
 7 
 8 /** Computes an approximation to pi */
 9 object SparkPi {
10   def main(args: Array[String]) {
11     val spark = SparkSession
12       .builder
13       .appName("Spark Pi")
14       .getOrCreate()
15     val slices = if (args.length > 0) args(0).toInt else 2
16     val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow
17     val count = spark.sparkContext.parallelize(1 until n, slices).map { i =>
18       val x = random * 2 - 1
19       val y = random * 2 - 1
20       if (x*x + y*y <= 1) 1 else 0
21     }.reduce(_ + _)
22     println(s"Pi is roughly ${4.0 * count / (n - 1)}")
23     spark.stop()
24   }
25 }
26 // scalastyle:on println

代码100分

这个是Spark用于计算圆周率PI的scala程序，思想很简单，就是利用以坐标轴原点为中心画一个边长为2的正方形，原点距离正方形的上下左右边距离均为1，然后再以原点为中心画一个半径为1的圆，此时正方形的面积是4，圆的面积是PI，上面程序所做的就是在正方形里随机取若干个点（比如上面程序默认的20万），计算有多少个点落在圆形里面，那么可以认为这个等式是成立的，即：“圆面积” / “正方形面积” = “落在圆内的点数” / “正方形内的点数”，也就是，PI / 4 = count / (n-1)，所以PI = 4 * count / (n-1)。

Spark程序可以分为Driver部分和Executor部分，Driver可以认为是程序的master部分，具体而言1~16行和22~25行都是Driver部分，其余的17~21行是Executor部分，即执行具体逻辑计算的部分，上面程序slices默认是2，也就是说，默认会有2个Task来执行计算。

下面来以yarn client方式来执行这个程序，注意执行程序前先要启动hdfs和yarn，最好同时启动spark的history server，这样即使在程序运行完以后也可以从Web UI中查看到程序运行情况。

输入以下命令：

[root@BruceCentOS4 spark]# $SPARK_HOME/bin/spark-submit –class org.apache.spark.examples.SparkPi –master yarn –deploy-mode client $SPARK_HOME/examples/jars/spark-examples_2.11-2.3.0.jar

以下是程序运行输出信息部分截图，

开始部分：