首页 > 《知识-力量》 > 2019年11期 > 浅析Spark作业调度算法

浅析Spark作业调度算法

在线阅读下载PDF 导出详情

摘要摘要随着云计算与大数据技术的迅速发展,Spark作为一种基于内存计算的大型数据处理框架已被广泛应用。Spark作业调度有两种模式FIFO模式和FAIR模式，本文介绍了这两种模式下的作业调度算法，阐述了调度策略的执行步骤。

DOI pd5l608r47/2511595

作者曹廷付宇

机构地区（武汉软件工程职业学院，湖北武汉430205）

出处《知识-力量》 2019年11期

关键词作业调度 Spark 大数据处理 FAIR算法

分类 [文化科学][]

出版日期 2019年11月21日（中国期刊网平台首次上网日期，不代表论文的发表时间）

相关文献

1曹廷付宇. 浅析Spark作业基本执行原理.文化科学,2019-11.
2王中华;贾铁军. 用CFPSO算法求解车间作业调度问题.电机,2009-02.
3杨继涛 ,朱浩然 ,张健壮. 使用Spark框架和K均值算法分析篮球数据.教育学,2021-11.
4朱福珍;朱凌. 蚁群算法在作业调度中应用研究.职业技术教育学,2012-01.
5罗鸿磊 ,张健壮 ,朱浩然. 浅谈基于Hadoop/Spark的青少年健康数据挖掘算法.教育学,2021-11.
6陆薪宇,申涛涛. 浅谈Spark框架与不同机器学习算法的使用.教育学,2022-04.
7陈群贤. 遗传算法在车间作业调度中的应用.电机,2005-05.
8孙宇明. 作业车间调度问题的改进混合遗传算法.基础数学,2007-01.
9潘颖;解晓宇;薛冬娟;谢忠东. 全自适应遗传算法求解柔性作业车间调度问题.教育学,2014-03.
10朱怡 . 云环境下容器化Spark资源调度优化机制探索.通信与信息系统,2023-06.

来源期刊

知识-力量

知识-力量

相关推荐

同分类资源更多

相关关键词

作业调度 Spark 大数据处理 FAIR算法

返回顶部