任务执行
在客户端下载并解压开发程序中样例代码中对应的数据集到“/tmp/data/epsilon”目录,并执行任务,具体步骤如下:
- 进入“/tmp/data”目录。
cd /tmp/data
- 下载数据集。
wget https://atlarge.ewi.tudelft.nl/graphalytics/zip/graph500-23.zip
- 解压数据集到当前目录。
unzip graph500-23.zip
- 上传数据集到HDFS上。
hadoop fs -put /tmp/data/graph500-23.e /tmp/graph_data
- 将开发程序中生成的kal_examples_2.11-0.1.jar和run_tc.sh放入安装过程中客户端“/home/test/sophon/”目录,并在目录下执行./run_tc.sh。如果遇到写文件的权限问题,建议使用HDFS用户执行命令。run_tc.sh内容如下:
spark-submit \ --class com.bigdata.examples.TCRunner \ --driver-class-path "./lib/*" \ --jars "./lib/sophon-graph-kernel-2.11-1.2.0-aarch_64.jar" \ --conf "spark.executor.extraClassPath=sophon-graph-kernel-2.11-1.2.0-aarch_64.jar" \ --master yarn \ --deploy-mode client \ --driver-cores 36 \ --driver-memory 50g \ --executor-cores 4 --num-executors 72 --executor-memory 12g \ ./kal_examples_2.11-0.1.jar
- 执行任务。
sh run_tc.sh
Triangle Counting is finished , and costTime = 82.14 's
- 查看结果。
hdfs dfs -ls graph_data/graph500-23-result
父主题: 样例工程