中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
鲲鹏小智

在使用spark-submit的方式提交算法任务时报错的解决方法

问题现象描述

在使用spark-submit的方式提交随机森林、决策树、GBDT算法任务时,配置“spark.driver.userClassPathFirst=true”或“spark.executor.userClassPathFirst=true”,会导致算法异常终止,并报ClassCastException异常或loader constraint violation错误。

关键过程、根本原因分析

这两个参数为实验参数,会改变Spark任务JAR包加载顺序,导致类冲突。

结论、解决方案及效果

在spark-submit提交任务时,去掉“spark.driver.userClassPathFirst=true”或“spark.executor.userClassPathFirst=true”配置。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词