中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

任务执行

在客户端下载并解压开发程序中样例代码中对应的数据集到“/tmp/data/epsilon”目录,并执行任务,具体步骤如下:

  1. 进入“/tmp/data”目录。
    cd /tmp/data
  2. 下载数据集。
    wget https://atlarge.ewi.tudelft.nl/graphalytics/zip/graph500-23.zip
  3. 解压数据集到当前目录。
    unzip graph500-23.zip
  4. 上传数据集到HDFS上。
    hadoop fs -put /tmp/data/graph500-23.e  /tmp/graph_data
  5. 开发程序中生成的kal_examples_2.11-0.1.jar和run_tc.sh放入安装过程中客户端“/home/test/sophon/”目录,并在目录下执行./run_tc.sh。如果遇到写文件的权限问题,建议使用HDFS用户执行命令。run_tc.sh内容如下:
    spark-submit \
    --class com.bigdata.examples.TCRunner \
    --driver-class-path "./lib/*" \
    --jars "./lib/sophon-graph-kernel-2.11-1.2.0-aarch_64.jar" \
    --conf "spark.executor.extraClassPath=sophon-graph-kernel-2.11-1.2.0-aarch_64.jar" \
    --master yarn \
    --deploy-mode client \
    --driver-cores 36 \
    --driver-memory 50g \
    --executor-cores 4 --num-executors 72 --executor-memory 12g \
    ./kal_examples_2.11-0.1.jar
  6. 执行任务。
    sh run_tc.sh
    Triangle Counting is finished , and costTime = 82.14 's
  7. 查看结果。
    hdfs dfs -ls graph_data/graph500-23-result