spark在hdfs新建文件并写入内容-创新互联

val hdfs: FileSystem = org.apache.hadoop.fs.FileSystem.get(new org.apache.hadoop.conf.Configuration())
//spark中使用 val hdfs: FileSystem =  FileSystem.get(spark.sparkContext.hadoopConfiguration)
val out = hdfs.create(new Path(s"hdfs://${filePath}/${ph.name}/人脸多档对应的抓拍集合.html"),true) // 第二个参数true 表示覆盖同名文件

// 适合少量数据
df_face_html.collect().foreach{
            ph =>if (ph.urls.nonEmpty) {
                out.write(ph.urls.get.getBytes) //中文不乱码 文本顶部无异常字符 
            }
        }

out.flush()
out.close()

case class personHtml(name:String,urls:Option[String])

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧

成都创新互联成立以来不断整合自身及行业资源、不断突破观念以使企业策略得到完善和成熟，建立了一套“以技术为基点，以客户需求中心、市场为导向”的快速反应体系。对公司的主营项目，如中高端企业网站企划 / 设计、行业 / 企业门户设计推广、行业门户平台运营、成都app开发、移动网站建设、微信网站制作、软件开发、眉山服务器托管等实行标准化操作，让客户可以直观的预知到从成都创新互联可以获得的服务效果。
新闻标题：spark在hdfs新建文件并写入内容-创新互联
分享地址：http://wjwzjz.com/article/dpgcgd.html