搜索 - 腾讯云开发者社区-腾讯云

文章/答案/技术大牛

发布

来自专栏博文视点Broadview
Spark的那些外部框架
执行这条命令，spark-jobserver的Docker镜像将被下载，它会在Docker上启动spark-jobserver作为守护进程。 $ git clone \ https://github.com/spark-jobserver/Spark-jobserver.git $ cd spark-jobserver $ sbt job-server-tests （2）选择运行在spark-jobserver上的主类。提交job时不需要每次都编写Spark应用或者编译它，即使你想与其他人共享。 spark-jobserver会对如下对象持久化： job状态 job配置 JAR 因此，一旦你设置了这些信息，就不需要再次重新上传。重要的是，可以通过spark-jobserver与同事共享你的应用的代码。
1.7K10发布于 2020-06-11
来自专栏祝威廉
让Spark成为你的瑞士军刀
今天基本算是完成了一个类似spark-jobserver 的功能，当然功能还是比较简单的，不过提供了Web界面。很感慨Spark 用好了，真的是大数据的瑞士军刀 ?
45920发布于 2018-08-27
来自专栏鸿的学习笔记
Spark生态系统的顶级项目
这是Github的描述：spark-jobserver提供了一个RESTful接口，用于提交和管理ApacheSpark作业，jar和作业内容。
1.7K20发布于 2018-08-06
来自专栏Spark学习技巧
超越Spark，大数据集群计算的生产实践
spark-jobserver：提交job的流程需要改进，因为对于非工程师来说，这项工作有点难。你需要理解如何用命令行或者其他UNIX命令去提交Spark job。 spark-jobserver提供了一个RESTful API来管理提交到Spark集群的job。因此，这意味着可以在企业内部环境中将Spark作为一个服务启动。
2.4K60发布于 2018-01-31

Spark的那些外部框架

让Spark成为你的瑞士军刀

Spark生态系统的顶级项目

超越Spark，大数据集群计算的生产实践

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐