扣丁学堂Linux培训简述Spark-shell批量命令执行脚本的方法

2019-05-23 15:27:31 3286浏览

本篇文章扣丁学堂Linux培训小编给读者们分享一下Spark-shell批量命令执行脚本的方法，对Linux开发感兴趣或是想要学习Linux开发的小伙伴就随小编来了解一下吧。

批量执行spark-shell命令，并指定提交参数

#!/bin/bash

source /etc/profile

exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out") 
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF

以上就是扣丁学堂Linux在线学习小编给大家分享的Spark-shell批量命令执行脚本的方法，希望对小伙伴们有所帮助，想要了解更多内容的小伙伴可以登录扣丁学堂官网咨询。

想要学好Linux开发小编给大家推荐口碑良好的扣丁学堂，扣丁学堂有专业老师制定的Linux学习路线图辅助学员学习，此外还有与时俱进的Linux课程体系和Linux视频教程供大家学习，想要学好Linux开发技术的小伙伴快快行动吧。扣丁学堂Linux技术交流群：422345477。

【扫码进入HTML5VIP免费公开课】

【关注微信公众号获取更多学习资料】【扫码进入HTML5前端开发VIP免费公开课】

查看更多关于“Linux培训资讯”的相关文章>>

标签: Linux培训 Linux视频教程红帽Linux视频 Linux学习视频 Linux入门视频

上一篇千锋扣丁学堂Linux培训之虚拟文件系统详解下一篇千锋扣丁学堂Linux培训之使用SSL配置Nginx反向代理指南

扣丁学堂Linux培训简述Spark-shell批量命令执行脚本的方法

热门专区

课程推荐