Python与C程序异常结束

定位思路

Python与C/C++混编的进程未按设计要求进行执行，出现异常结束的情况。

1. 编写可以复现问题的测试脚本。
2. 打印作业失败的日志。
3. 根据日志定位源码位置，并根据源码分析报错原因。
4. 修改相关代码，重新编译进行验证。
5. 若问题解决，则确认修改，合入原代码。

案例：新线程无法启动导致主进程异常结束

问题现象：

在某集群环境中，客户反馈使用华为Donau Scheduler调度器提交大批量Python分析作业时，其中40%+作业会失败。

定位过程：

1. 编写测试脚本，复现客户问题。

   编写测试脚本mol_map_label_dsub_vs1_chain_pa_hzl.sh并执行。

   1 2	cd exp/cryonet2/ exp/label_data/mol_map_label_dsub_vs1_chain_pa_hzl.sh ~/data/chains8_testhzl/1.list >ID_1000.list

   运行成功600个作业，成功率60%，运行结果通过如下命令写入到djob-s-all-1000.log文件中。

   1	djob -st "2021/12/11 10:44:52" -et "2021/12/11 10:55:00" -s all -n default > djob-s-all-1000.log

   查看运行结果：

   1	cat djob-s-all-1000.log | grep SUCCEEDED | wc -l

   查看提交任务ID：

   1	cat ID_1000.list | grep submit | wc –l

   

2. 执行脚本，查看失败日志。

   

3. 定位到OpenBLAS无法创建新线程问题，通过如下命令查看，最终用了10816个进程/线程。

   1	ps -ef -T |grep sync360 | grep mid | wc -l

   查阅文档并结合代码分析，发现OpenBLAS是高度优化的线性代数库，可以通过多线程的方式来加速计算，默认启动的线程数和当前运行的物理核数一致。

   当前计算节点是2 cpu* 52core=104，单条任务会开启104的线程任务。

   而此时提交任务dsub使用了-R cpu=1只申请了1个计算核，导致会有104的任务分配到同一个计算节点。因此OpenBlAS会创建104*104=10816个线程，超过Linux线程的资源限制。

   

   默认设置为：

   ulimit -a
   core file size          (blocks, -c) 0
   data seg size           (kbytes, -d) unlimited
   scheduling priority             (-e) 0
   file size               (blocks, -f) unlimited
   pending signals                 (-i) 511844
   max locked memory       (kbytes, -l) 64
   max memory size         (kbytes, -m) unlimited
   open files                      (-n) 1024
   pipe size            (512 bytes, -p) 8
   POSIX message queues     (bytes, -q) 819200
   real-time priority              (-r) 0
   stack size              (kbytes, -s) 8192
   cpu time               (seconds, -t) unlimited
   max user processes              (-u) 4096
   virtual memory          (kbytes, -v) unlimited
   file locks                      (-x) unlimited

   Linux普通用户默认配置，默认最多线程数为4096。

4. 运行时添加OMP_NUM_THREADS=1命令限制每次作业的blas线程数和申请的CPU核数匹配，修改后40000+批量作业无失败情况。

    OMP_NUM_THREADS=1 python tools.py -f label_mol_map_atom1437 -p 2c7c_B -o data/chains7/2c7c_B.npz --res 4 --voxel_size 1.0