编译代码
- 获取图分析算法加速库适配代码Spark-graph-algo-lib。
图分析算法加速库适配代码基于开源软件Spark 3.3.1开发,用于编译图分析算法加速库。
下载大数据图分析算法加速库适配Spark 3.3.1的开源代码仓到指定目录下,如“/opt/”,并解压(以下操作都以适配Spark 3.3.1的包为例)。1 2
cd /opt/ unzip Spark-graph-algo-lib-v3.0.0-spark3.3.1.zip
图分析算法加速库适配代码是由Spark 3.3.1的部分原生代码文件打入Patch后进行构建而来,构建方法请参见获取图分析算法加速库开发依赖JAR包。
- 编译开源适配代码。
1 2
cd /opt/Spark-graph-algo-lib-v3.0.0-spark3.3.1/ mvn clean package
执行此步骤前请先确认服务可连通外网,如果没有外网权限,执行命令会报错。
- 在“/opt/Spark-graph-algo-lib-v3.0.0-spark3.3.1/graph-kernel/target”目录下可以获取boostkit-graph-kernel-client_2.12-3.0.0-spark3.3.1.jar。
1
cd /opt/Spark-graph-algo-lib-v3.0.0-spark3.3.1/graph-kernel/target
- 在“/opt/Spark-graph-algo-lib-v3.0.0-spark3.3.1/graph-core/target”目录下可以获取boostkit-graph-core_2.12-3.0.0-spark3.3.1.jar。
1
cd /opt/Spark-graph-algo-lib-v3.0.0-spark3.3.1/graph-core/target
- 在“/opt/Spark-graph-algo-lib-v3.0.0-spark3.3.1/graph-accelerator/target”目录下可以获取boostkit-graph-acc_2.12-3.0.0-spark3.3.1.jar。
1
cd /opt/Spark-graph-algo-lib-v3.0.0-spark3.3.1/graph-accelerator/target
父主题: 编译Spark算法适配包