推荐和模式挖掘
PrefixSpan算法调优
简单介绍PrefixSpan算法各个参数对模型的性能影响
参数 |
说明 |
建议 |
---|---|---|
numPartitions |
Spark分区数量,分区越多意味着任务数太多,每次调度耗时会增加,分区太少,会导致一些节点没有分配到任务,并且会使每个分区处理的数据量增大,从而使每个agent节点内存提高。 |
在0.5~1.5倍的总核数(executor_cores与num_executor乘积)进行网格搜索,建议使用1倍总核数。 |
localTimeout |
本地求解的超时时间,优化算法新增参数,通过spark.boostkit.ml.ps.localTimeout参数设置,单位是秒。 |
如果发现本地求解阶段运行耗时明显长于其他阶段,则调低此参数,建议取300。 |
filterCandidates |
是否过滤prefix候选集,优化算法新增参数,通过spark.boostkit.ml.ps.filterCandidates参数设置,开启之后会减少通信,增加计算量。 |
Boolean,缺省值为false。 |
projDBStep |
投影数据量的衰减率,优化算法新增参数,通过spark.boostkit.ml.ps.projDBStep参数设置,通常保持缺省值即可;参数值越大,本地求解的计算量越小。 |
Double,缺省值为10。 |
ALS算法调优
简单介绍ALS算法各个参数对模型的性能影响
参数 |
说明 |
建议 |
---|---|---|
numPartitions |
Spark分区数量,分区越多意味着任务数太多,每次调度耗时会增加,分区太少,会导致一些节点没有分配到任务,并且会使每个分区处理的数据量增大,从而使每个agent节点内存提高。 |
在0.5~1.5倍的总核数(executor_cores与num_executor乘积)进行网格搜索,建议使用1倍总核数。 |
blockMaxRow |
计算格莱姆矩阵行分块大小,与L1 cache的大小有关,影响本地矩阵计算性能,优化算法新增参数,可以通过spark.boostkit.ALS.blockMaxRow参数设置。 |
正整数,缺省值为16,不建议修改。 |
unpersistCycle |
srcFactorRDD反持久化周期,当迭代轮数每达到该值,会对累积的srcFactorRDD进行反持久化,释放内存;参数值越小,会越频繁地释放内存。优化算法新增参数,可以通过spark.boostkit.ALS.unpersistCycle参数设置。 |
正整数,缺省值为300,不建议修改。 |