基于Spark 平台的SVM 并行算法设计的可行性分析

在线阅读 下载PDF 导出详情
摘要 摘要:现今的商业、科研工作产生的数据是海量的,受制于庞大的数据量和计算量。如何从这些数据中获取有意义的信息成为一个亟待解决的问题。对于大规模数据集,原始的数据挖掘算法处理能力有限。支持向量机(Support Vector Machine,SVM)很少过度拟合。并且,对于线性不可分数据集或特征向量维数很高的数据集,支持向量机算法的分类正确率相对比较高,适合于文本数据集。但是对于数据规模比较大的情况,支持向量机算法的计算复杂度高、运行时间比较长。 SVM 算法的单机执行速度往往不能达到用户的要求,利用 Spark 并行计算环境实 现 SVM 算法,并行分析和处理数据,能够显著提高 SVM 算法的执行效率,达到令人满意的效果。
出处 《时代教育》 2021年18期
出版日期 2021年11月25日(中国期刊网平台首次上网日期,不代表论文的发表时间)
  • 相关文献