设置运行日志保存到本地

机器算法运行时的日志默认回显到客户端界面，不储存在文件中，可以通过引入自定义的log4j.properties将日志保存到本地。

创建自定义的log4j.properties配置如下：

       
            # 设置全局默认的日志等级和输出链路
log4j.rootLogger = INFO,ROLLFILE

# 定义输出链路
log4j.addivity.org.apache=true
log4j.appender.ROLLFILE=org.apache.log4j.RollingFileAppender  
log4j.appender.ROLLFILE.Threshold=INFO
# 日志输出路径，可自定义，如：/home/test/boostkit/  
log4j.appender.ROLLFILE.File=/home/test/boostkit/spark_algorithm.log  
log4j.appender.ROLLFILE.Append=true
# 设置日志回滚每个日志的大小，
log4j.appender.ROLLFILE.MaxFileSize=200MB 
# 设置日志回滚最大备份文件个数，最大为11个
log4j.appender.ROLLFILE.MaxBackupIndex=11
log4j.appender.ROLLFILE.layout=org.apache.log4j.PatternLayout

log4j.properties配置中的log4j.appender.ROLLFILE.MaxFileSize和log4j.appender.ROLLFILE.MaxBackupIndex两个参数可以根据日志量的大小和安全审计要求自行调节。

将自定义log4j.properties放在与提交任务的shell脚本相同目录下，如“/home/test/boostkit/”。

修改提交任务的shell脚本，在spark-submit添加如下配置。

       
            --driver-java-options "-Dlog4j.configuration=file:./log4j.properties" \

父主题： 日志管理