编译代码

获取机器学习算法加速库适配代码Spark-ml-algo-lib

编译机器学习算法加速库适配代码

1
2

cd /opt/
unzip Spark-ml-algo-lib-v3.0.0-spark3.3.1.zip

机器学习算法加速库适配代码是由Spark 3.3.1、Breeze 1.0、netlib-2.2.1、xgboost 1.1.0、CRF-Spark、spark-knn、LightGBM的部分原生代码文件打入Patch后进行构建而来，构建方法详见构建机器学习算法加速库适配代码。

编译开源适配代码

1. 进入“/opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/”目录，并编译算法需要使用到的JAR包。

   1 2	cd /opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/ mvn clean package

   

   执行此步骤前请先确认服务可连通外网，如果没有外网权限，执行命令会报错。

   

2. 在“/opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/ml-core/target/”目录下可以获取boostkit-ml-core_2.12-3.0.0-spark3.3.1.jar。

   1	cd /opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/ml-core/target/

   

3. 在“/opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/ml-accelerator/target/”目录下可以获取boostkit-ml-acc_2.12-3.0.0-spark3.3.1.jar。

   1	cd /opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/ml-accelerator/target/

   

4. 在“/opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/ml-kernel-client/target/”目录下可以获取boostkit-ml-kernel-client_2.12-3.0.0-spark3.3.1.jar。

   1	cd /opt/Spark-ml-algo-lib-v3.0.0-spark3.3.1/ml-kernel-client/target/