文档HOT
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
提交
在线提单
论坛求助
鲲鹏小智

编译代码

获取机器学习算法加速库适配代码Spark-ml-algo-lib

编译机器学习算法加速库适配代码

机器学习算法加速库适配代码基于开源软件Spark 3.3.1开发，用于编译机器学习算法加速库。下载大数据机器学习算法加速库的适配Spark3.3.1的开源仓代码到指定目录下，如“/opt/”，并解压（以下操作都以适配Spark 3.3.1的包为例）。 
1
2
 
cd /opt/
unzip Spark-ml-algo-lib-v3.0.0-spark3.3.1.zip

机器学习算法加速库适配代码是由Spark 3.3.1、Breeze 1.0、netlib-2.2.1、xgboost 1.1.0、CRF-Spark、spark-knn、LightGBM的部分原生代码文件打入Patch后进行构建而来，构建方法详见构建机器学习算法加速库适配代码。

编译开源适配代码

  1. 进入“/opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/”目录，并编译算法需要使用到的JAR包。
    1
2
    		 
    cd /opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/
mvn clean package

    执行此步骤前请先确认服务可连通外网，如果没有外网权限，执行命令会报错。

  2. 在“/opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/ml-core/target/”目录下可以获取boostkit-ml-core_2.12-3.0.0-spark3.3.1.jar。
    1
    		 
    cd /opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/ml-core/target/

  3. 在“/opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/ml-accelerator/target/”目录下可以获取boostkit-ml-acc_2.12-3.0.0-spark3.3.1.jar。
    1
    		 
    cd /opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/ml-accelerator/target/

  4. 在“/opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/ml-kernel-client/target/”目录下可以获取boostkit-ml-kernel-client_2.12-3.0.0-spark3.3.1.jar。
    1
    		 
    cd /opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/ml-kernel-client/target/