前言

我从事于一家游戏公司，公司有一台日志服务器，用于临时存储各游戏日志进行以便数据清洗操作。日积月累日志文件耗费大量存储空间，导致磁盘空间不足。以下是我清理过期日志的过程

需求分析

1.有做备份的日志才能清理。那些日志备份做了备份，记录在另外一个备份脚本内。最好是从备份脚本直接读取需要清理的游戏，以免备份日志与清理的日志不一致导致比不必要的问题

2.需求是清理6天前的日志。日志文件是增量写入，可以用文件修改时间筛选6天前的日志。有多个目录的日志需要删除，需要查找指定目录下的过期日志，并用循环进行清理操作

3.开启定时任务执行清理操作，节约人力成本

具体操作

1.读取文件中的变量

同步脚本 rsync_logs.sh ,内容如下需要提取变量log_dirs的值

#!rsync_logs.sh
src="/data/xxx"
log_dirs="aktw mmga nmgf smzx sdfr sgta get asder ersr erar" 
logfile="/home/xxx/scripts/rsync.log"

a.读取文件可以用 cat b.过滤数据可以用 grep c.切割出文本内容用 awk

使用cat读取文件，使用grep过滤包含log_dirs的行，使用awk根据 " 切割后取出第二个值。命令如下

cat rsync_logs.sh|grep 'log_dirs='|awk -F '\"' '{print $2}'

结果：

aktw mmga nmgf smzx sdfr sgta get asder ersr erar

2.清理6天前的日志

要清理 /data/logs/aktw/6天前的日志文件

a.遍历目录下的所有文件 b.检查日志文件修改时间 c.删除过期文件

	for file in `find /data/logs/aktw/ -type f -name "*"`	
	do
		local expired_time=$[6*24*60*60]        #此处定义文件的过期时间6天
		local currentDate=`date +%s`	        #获取系统时间，所以时间格式为秒
		local modifyDate=$(stat -c %Y $file)	#获取文件修改时间
		local existTime=$[$currentDate-$modifyDate]		#对比时间，算出日志存在时间
		if [ $existTime -gt $expired_time ];
		then
			rm -rf $file	#删除文件
		fi
	done

实际环境要求 a.删除多个目录 b.在清理文件后，一并清理空目录 b.输出日志信息，以便确认/后续观察清理日志操作是否正常。

完善后的脚步如下：

#!clean_logs.sh
cd `dirname $0`		#跳转至当前目录
log_dirs="$(cat rsync_logs.sh|grep 'log_dirs='|awk -F '\"' '{print $2}')"	#读取同步脚本中的游戏配置
data_path="/data/logs/"			#文件根目录
expired_time=$[6*24*60*60]		#此处定义文件的过期时间 6天
function deletefiles {
	#跳过空目录
	if [ ! -d $1 ];
	then
		return
	fi
	#删除过期文件
	for file in `find $1 -type f -name "*"`		#获取目录下的文件，$1 第一个参数
	do
		local currentDate=`date +%s`	 		#获取系统时间，所以时间格式为秒
		local modifyDate=$(stat -c %Y $file)	#获取文件修改时间
		local existTime=$[$currentDate-$modifyDate]		#对比时间，算出日志存在时间
		if [ $existTime -gt $expired_time ];
		then
			echo "delete file true ,path:"$file",existTime="$existTime
			rm -rf $file	#删除文件
		else
			echo "delete file false,path:"$file",existTime="$existTime
		fi
	done
	#删除空目录
	for file in `find $1 -type d -name "*"`		#获取目录下的目录，$1 第一个参数
	do
		local dircount=`ls -lR $file|grep "^-"|wc -l`	#获取目录下文件个数 0 则是空目录
		if [ $dircount -eq 0 ] && [ -d $file ];
		then
			echo "delete dir  true ,path:"$file",dircount="$dircount
			rm -rf $file	#删除目录
		else
			echo "delete dir  false,path:"$file",dircount="$dircount
		fi
	done
}
#for循环删除多个目录。注意 空格 是linux的转译符之一，因此log_dirs 为集合，非字符串
for dir in $log_dirs
do
    deletefiles $data_path$dir/
done

3.将脚本加入定时任务

使用 crontab -e 编辑定时任务。设置每日02:00:00执行清理脚本，全部日志输出到 /data/scripts/logs/clean_logs.log

0 2 * * * sh /data/scripts/clean_logs.sh >> /data/scripts/logs/clean_logs.log 2>&1;

crontab时间格式： {minute} {hour} {day-of-month} {month} {day-of-week} {full-path-to-shell-script} o minute: 区间为 0 – 59 o hour: 区间为0 – 23 o day-of-month: 区间为0 – 31 o month: 区间为1 – 12. 1 是1月. 12是12月. o Day-of-week: 区间为0 – 7. 周日可以是0或7.

4.确认脚本运行状态

a.先手动执行脚本，完成清理 b.第二天使用 cat /data/scripts/logs/clean_logs.log 查看日志是否有异常

四、相关资料

linux 文件查找 https://www.cnblogs.com/huninglei/p/5824205.html Linux下统计目录个数、文件个数 https://blog.csdn.net/llq_200/article/details/80506447 crontab 详细用法定时任务 https://www.cnblogs.com/aminxu/p/5993769.html

本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名,转载请标明出处
最后编辑时间为: 2019/11/20 12:27

shell定时清理过期文件/日志

前言