免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 21847 | 回复: 4
打印 上一主题 下一主题

求助!利用python统计nginx异常日志 [复制链接]

论坛徽章:
1
数据库技术版块每日发帖之星
日期:2016-01-16 06:20:00
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2019-11-21 10:30 |只看该作者 |倒序浏览
本帖最后由 hcj890816 于 2019-11-21 10:46 编辑

nginx里配置了多个虚拟主机,如日志目录为/data/nginx/logs/,下面有aaa.log,bbb.log,ccc.log,格式如下
现在需要每天统计日志里状态码大于400的日志,并给出对应访问的URL,统计出这个url每天访问大于400的次数,领导要求必须用python脚本完成,各位路过的大佬,本人python小白,帮帮小弟



论坛徽章:
0
2 [报告]
发表于 2019-11-22 16:55 |只看该作者
你出点钱,论坛里大把人排队帮你写

论坛徽章:
10
15-16赛季CBA联赛之同曦
日期:2016-06-11 19:22:4115-16赛季CBA联赛之深圳
日期:2020-05-31 16:13:5615-16赛季CBA联赛之同曦
日期:2020-01-28 12:42:47每日论坛发贴之星
日期:2016-08-09 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00每日论坛发贴之星
日期:2016-07-12 06:20:00程序设计版块每日发帖之星
日期:2016-07-12 06:20:00程序设计版块每日发帖之星
日期:2016-07-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-04 06:20:0015-16赛季CBA联赛之佛山
日期:2021-02-26 09:33:41
3 [报告]
发表于 2020-01-28 13:00 |只看该作者
root@lp:~/jw/python/data# cat get_log.py
import pandas as pd
import os

filename = 'a.log'

a = pd.read_csv(filename,sep=' ',header=None)
b = a[a.loc[:,6] >400].loc[:,[5,6,0]]

b.to_csv('4xx.log',header=['url','code','ip'],index=None)
os.system('cat 4xx.log')


2020-01-28 12-59-07 的屏幕截图.png (179.6 KB, 下载次数: 94)

2020-01-28 12-59-07 的屏幕截图.png

论坛徽章:
10
15-16赛季CBA联赛之同曦
日期:2016-06-11 19:22:4115-16赛季CBA联赛之深圳
日期:2020-05-31 16:13:5615-16赛季CBA联赛之同曦
日期:2020-01-28 12:42:47每日论坛发贴之星
日期:2016-08-09 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00每日论坛发贴之星
日期:2016-07-12 06:20:00程序设计版块每日发帖之星
日期:2016-07-12 06:20:00程序设计版块每日发帖之星
日期:2016-07-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-04 06:20:0015-16赛季CBA联赛之佛山
日期:2021-02-26 09:33:41
4 [报告]
发表于 2020-01-28 13:01 |只看该作者
root@lp:~/jw/python/data# cat get_log.py
import pandas as pd
import os

filename = 'a.log'

a = pd.read_csv(filename,sep=' ',header=None)
b = a[a.loc[:,6] >400].loc[:,[5,6,0]]

b.to_csv('4xx.log',header=['url','code','ip'],index=None)
os.system('cat 4xx.log')


2020-01-28 12-59-07 的屏幕截图.png (179.6 KB, 下载次数: 95)

2020-01-28 12-59-07 的屏幕截图.png

论坛徽章:
0
5 [报告]
发表于 2020-03-10 21:23 |只看该作者
这个还是用shell更简单
  1. awk '$9/4>=100{print $7}' *.log | sort | uniq -c
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP