Spark程序怎么实现

这篇文章主要介绍“Spark程序怎么实现”，在日常操作中，相信很多人在Spark程序怎么实现问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Spark程序怎么实现”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

10余年的海东网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。成都全网营销的优势是能够根据用户设备显示端的尺寸不同，自动调整海东建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。创新互联建站从事“海东网站设计”,“海东网站推广”以来，每个客户项目都认真落实执行。

import org.apache.spark.sql.SparkSession
import java.net.URLDecoder
import org.apache.hadoop.hdfs.DistributedFileSystem
import org.apache.hadoop
object SparkMapreduce {
  
  def main(args: Array[String]) {
   val session = SparkSession.builder().master("local[2]").getOrCreate();

    val sc = session.sparkContext;
    val path = SparkMapreduce.getClass.getResource("readme.md");

    val pathStr = path.getFile;
    println(pathStr);
    val textFile = sc.textFile("file://" + pathStr)
    val count = textFile.count()
    println(count);
    val linesWithSpark = textFile.filter(line => {
      //println(line);
      line.contains("UnderConstruction")
    })
    //把 collect去除后不会打印，说明了 transform和action的区别
    linesWithSpark.collect().map { println(_) }
    val url = SparkMapreduce.getClass.getResource("分类预测.csv");
    //中文会被编码，此处反编码
    val predictionPath = URLDecoder.decode(url.getPath, "utf-8");
    val predictionDF = "file://" + predictionPath;
    val predictionRDD = sc.textFile(predictionDF, 3)
    //我们将文本内容打印出来。
    predictionRDD.collect().map { println(_) }
  }
}

到此，关于“Spark程序怎么实现”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！