四、Windows日志实例分析 在Windows日志中记录了很多操作事件,为了方便用户对它们的管理,每种类型的事件都赋予了一个惟一的编号,这就是事件ID。 1. 五、WEB日志文件分析 以下列日志记录为例,进行分析: #Software: Microsoft Internet Information Services 6.0 #Version: 1.0 sxjyzx/2.gif - 80 - 192.168.99.236 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) 200 0 0 分析 表示程序有错; sc-substatus 服务端传送到客户端的字节大小; cs–win32-statu客户端传送到服务端的字节大小; 1**:请求收到,继续处理 2**:操作成功收到,分析 有时是为了防止发生系统过载 503——服务器过载或暂停维修 504——关口过载,服务器使用另一个关口或服务来响应用户,等待时间设定值较长 505——服务器不支持或拒绝支请求头中指定的HTTP版本 FTP日志分析
1、提交当天访问次数最多的IP,即黑客IP 已知中间件是Linux上的Apache,常见日志路径一般是: /var/log/apache/ /var/log/apache2/ /var/log/httpd / 这里定位到日志路径是/var/log/apache2。 通过命令ls -lah根据文件大小,判断日志文件是access.log.1,因为access.log的大小是0。
GC 日志分析 首先,如果需要查看 GC 日志,需要在 jvm 参数中加入如下参数 -XX:+PrintGCTimeStamps -XX:+PrintGCDetails -Xloggc:d:/GClogs /tomcat6-gc.log GC 日志 2016-11-23T11:01:27.738+0800: 0.150: [GC [PSYoungGen: 331K->288K(5952K)] 331K- PSPermGen: 3060K->3060K(21248K)], 0.0052429 secs] [Times: user=0.01 sys=0.00, real=0.01 secs] Young GC 日志 image Full GC 日志分析 ? image JVM 参数设置 jvm 参数对应堆内存设置 ? image 比例设置 ? 32M) -XX:MaxGCPauseMillis=500 :设置最大暂停时间(毫秒) -XX:+DisableExplicitGC:禁止显示GC的调用(即禁止开发者的 System.gc();) GC日志
在nginx.conf中定义的日志格式如下: http { ... http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; ... } 日志文件如下 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36" "-" nginx没有命令直接将日志按天分割 access-api-$(date -d "yesterday" +"%Y%m%d").log cron: 0 0 * * * /mydata/nginx/nginx.log.sh 从nginx服务器将日志数据传输到日志服务器 ("log_table", engine, if_exists="append", index=False) except Exception as e: print(e) 日志结构化写入数据库后
C、如何筛选 如果想要查看账户登录事件,在右边点击筛选当前日志,在事件ID填入4624和4625,4624 登录成功 4625 登录失败 D、事件ID及常见场景 对于Windows事件日志分析,不同的 net user USER PASSWORD /add net localgroup administrators USER /add 0x02 日志分析工具 A、Log Parser Log Parser(是微软公司出品的日志分析工具,它功能强大,使用简单,可以分析基于文本的日志文件、XML 文件、CSV(逗号分隔符)文件,以及操作系统的事件日志、注册表、文件系统、Active Directory 常见登录类型日志分析 https://blog.csdn.net/zhulinu/article/details/52747984 Windows 7和Windows Server 2008 R2 安全事件的说明 /www.jb51.net/hack/384430.html https://wenku.baidu.com/view/e86ad976e009581b6bd9ebcf.html Powershell日志分析
0x03 事件日志分析 对于Windows事件日志分析,不同的EVENT ID代表了不同的意义,摘录一些常见的安全事件的说明: 事件ID 说明 4624 登录成功 4625 登录失败 4634 注销成功 0x04 日志分析工具 Log Parser Log Parser(是微软公司出品的日志分析工具,它功能强大,使用简单,可以分析基于文本的日志文件、XML 文件、CSV(逗号分隔符)文件,以及操作系统的事件日志 它可以像使用 SQL 语句一样查询分析这些数据,甚至可以把分析结果以各种图表的形式展现出来。 基本查询结构 Logparser.exe –i:EVT –o:DATAGRID "SELECT * FROM c:\xx.evtx" 使用Log Parser分析日志 1、查询登录成功的事件 登录成功的所有事件 Event Log Explorer Event Log Explorer是一款非常好用的Windows日志分析工具。
日志采用默认的格式产生,一直也没太关注, 这次正好藉着博客改版,尝试分析下近期的日志,以对网站状态有个全局的了解。 网上有许多日志分析采用的是简单粗暴的bash脚本(awk)来进行处理, 好处是分析速度快,但坏处是拓展性不强,如果未来想要做图表或者在网页前端展示就比较麻烦了。 扯得有点远了,还是继续分析日志吧。 错误日志分析 错误日志也叫应用程序日志,主要用于方便开发者或者运维在出问题的时候排查原因。 分析 错误日志相对于访问日志要少(废话),但从中也能找到对我们有价值的信息。
AWStats日志分析系统介绍 1.AWStats日志分析系统 (1)Peri语言开发的一款开源日志分析系统 (2)可用来分析Apache、Samba、 Vsftpd、 IIS等服务 器的访问日志 (3 )信息结合crond等计划任务服务,可对日志内容定期进行分析 部署AWStats日志分析系统 1.安装AWStats软件包 2.为要统计的站点建立配置文件 3.修改站点统计配置文件 4.执行日志分析,并设置 crontab计划任务 访问AWStats分析系统 1.查看统计页面 2.设置网页自动跳转,方便访问 具体操作: 1.安装DNS和HTTP服务软件包 [root@localhost ~]# yum install # systemctl start httpd 4.Windows 10配置 (1)在win10主机上更改下DNS地址 (2)在浏览器上访问域名,保证能够进行对Apache访问 5.此时可以查看下日志文件
常见的日志分析问题及解决方案2.1 日志文件格式不统一问题:日志文件格式不统一,导致难以进行统一分析。解决方案:使用日志解析工具将日志文件转换为统一格式。 :日志文件内容复杂,难以直接分析。 解决方案:使用日志分析工具提取关键信息。 解决方案:使用日志聚合和分析工具进行大规模分析。 4.2 优化分析建议:根据系统的变化和新的日志需求,及时优化日志分析工具和配置。
一、Windows日志文件的保护 日志文件对我们如此重要,因此不能忽视对它的保护,防止发生某些“不法之徒”将日志文件清洗一空的情况。 1. 修改日志文件存放目录 Windows日志文件默认路径是“%systemroot%system32config”,我们可以通过修改注册表来改变它的存储目录,来增强对日志的保护。 、安全日志、系统日志。 设置文件访问权限 修改了日志文件的存放目录后,日志还是可以被清空的,下面通过修改日志文件访问权限,防止这种事情发生,前提是Windows系统要采用NTFS文件系统格式。 二、Windows日志实例分析 在Windows日志中记录了很多操作事件,为了方便用户对它们的管理,每种类型的事件都赋予了一个惟一的编号,这就是事件ID。 1.
慢查询日志一般用于性能分析时开启,收集慢SQL然后通过explain进行全面分析,一般来说,生产是不会开启的,收集慢查询语句是十分耗性能的,但是我们在测试环境是可以模拟分析的,优化SQL语句,接下来就通过实战 ,讲解如何开启慢日志查询以及如何分析。 long_query_time=3但是修改为不会立即生效,两种办法:关闭数据库回话重新连接使用 show global VARIABLES like 'long_query_time%' 查看三、模拟慢sql并分析由于本次数据库安装通过 以及耗时多久图片 只要是超过long_query_time的sql都会被记录图片5)查看当前数据有多少条慢sql show GLOBAL STATUS like '%slow_queries%'图片 6)慢日志分析工具 指定日志文件,查看记录集中最多的sqlmysqldumpslow -s r -t 10 /var/lib/mysql/dca928abb464-slow.log图片三、总结本文通过实战demo,一步一步配置分析如何利用慢日志去定位查询耗时的
具体链接请参考windows日志转发_leeezp的博客-CSDN博客_windows日志转发 安装 ewk (es+winlogbeat+kibana) 转发主机日志_leeezp的博客-CSDN博客 这篇文章记录windows事件和日志的对应关系。 (Windows 10) – Windows security | Microsoft Docs 登录失败如果在windows事件查看器 — Windows日志 — 安全 查看不到日志,可能是因为没有开启 在 “审核策略” — “审核登录事件” 开启 “成功” 和 “失败”的日志: 设置完再次mstsc登录失败,在安全日志可以查看到登录失败 事件ID 4625 的告警: 如果没有配置本地安全策略开启登录审计 登录失败不清楚为什么会有1149 认证成功的日志。 这个日志可以用于远程登录失败的审计,无法审计登录成功。登录成功还是需要事先开启本地安全策略审核登录事件。
前言 长话短说,事情的起因是这样的,由于工作原因需要分析网站日志,服务器是windows,iis日志,在网上找了找,github找了找,居然没找到,看来只有自己动手丰衣足食。 目前分三个模块,一个日志归类模块命名为url.py,攻击分析模块attac.py, ip地理位置查询模块ipfind.py,还有一个主函数。 needlist = [] # 需要统计的 errorlist = [] # 格式错误的列表 ipdict,urldict = {},{} rizhi = str(input('请输入要分析的日志文件名 而未知威胁则不同了,就好比一个0day,攻击waf没用了,日志分析看不出来了,那么只能依靠应急响应以及服务器的报警了。 具体分析:我都是用脚本跑一遍,然后按ip来看会比较方便些,而这里缺少机器识别,我单独写了一个简易的机器识别的东西,其实要实现很简单,把全部日志按时间,url,ip扔进一个列表里统计一下相同时间相同ip的就可以了
0x00 事件 帮助朋友搭建了博客,运行过了一段时间,准备发个网站分析报告给他。 有效的数据只有 Nginx 的访问日志,于是使用决定 GoAccess 工具对这个日志进行分析, 0x01 安装 吾使用的是 CentOS,使用 yum 源进行安装即可。 $ yum -y install goaccess 其他平台可参考官方下载:https://goaccess.io/download 0x02 使用 1、确定日志格式 从 Nginx 的配置中可以查看日志文件的格式 --log-format 指定日志格式字符串。 --date-format 日志格式日期。它们都以百分号(%)开头。 --time-format 日志格式时间。它们都以百分比(%)开头。 3、查看分析文件 最后在浏览器中打开 test.html 文件,就能看到访问日志的具体分析: image.png image.png :
FullEventLogView比eventvwr的优势就不赘言了 http://www.nirsoft.net/utils/full_event_log_view.html 说下使用技巧 外部机器.evtx的分析用它非常方便 ,.evtx一般在C:\Windows\System32\winevt\Logs目录,要分析哪台机器的,把日志拿过来,在FullEventLogView里如下图指定数据源,数据源里的文件后缀用*.evtx 指定条件分析很方便: 条件维度如下图比较多,时间、事件级别、事件ID、来源、描述等 可以指定条件正向过滤,也可以指定条件反向过滤 扩展: 端口耗尽、tcpip相关的事件ID 4227,4231,4266 8197,8198,12288,12289 这样过滤(一般来说用事件ID过滤效率高,过滤得快,如果用description里的字符串过滤,效率会差一些,过滤得慢) 或者 powershell命令过滤日志举例 : tcpip来源的日志4227,4231,4266(如过滤到,则需要放大tcp动态端口范围、缩短timewait回收时间) Get-EventLog -LogName System -Source Tcpip
系统运维,少不了分析系统日志,微软有个工具Log Parser可以帮助你分析日志。 它功能强大,使用简单,可以分析基于文本的日志文件、XML 文件、CSV(逗号分隔符)文件,以及操作系统的事件日志、注册表、文件系统、Active Directory。 下面我们用.NET封装下LogParser的Com接口,从LogParser的操作流程来看,无非就是不同格式文件的日志文件的输入,通过类SQL的分析输出我们需要的结果,核心算法就是类似于 每一种类型的日志的分析主要是格式的不同,通过一个配置类去记录每种类型的不同配置,根据配置去生成相应的输入、输出格式类。下面我们就来做个简单的Demo来演示下IIS日志分析。 for IIS Analysis 用LogParser对IIS 日志进行分析 Log Parser: 功能強大且威名遠播的記錄分析器
GC日志分类 MinorGC MinorGC(或young GC或YGC)日志: FullGC GC日志结构剖析 透过日志看垃圾收集器 ● Serial收集器:新生代显示 "[DefNew GC前后情况 通过图示,我们可以发现GC日志格式的规律一般都是:GC前内存占用->GC后内存占用(该区域内存总大小) [PSYoungGen: 5986K->696K (8704K) ] 5986K- 透过日志看GC时间 GC日志中有三个时间:user,sys和real user:进程执行用户态代码(核心之外)所使用的时间。 GC日志分析工具 GCEasy GCEasy是一款在线的GC日志分析器,可以通过GC日志分析进行内存泄露检测、GC暂停原因分析、JVM配置建议优化等功能,大多数功能是免费的。 Universal JVM GC analyzer - Java Garbage collection log analysis made easy GCViewer GCViewer是一款离线的GC日志分析器
先随便截取一个nginx标准日志: 62.173.145.171 - - [12/Jan/2020:17:23:54 +0800] "GET /vvx/000000000000.cfg HTTP/1.1 404 169 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0" 默认的nginx标准日志格式如下 $body_bytes_sent 发送给客户端的文件大小 “$http_referer” 记录从哪个页面访问过来的 “$http_user_agent” 记录客户端相关信息 我们可以修改nginx的日志输出格式
1、背景介绍 2、思路演进 2.1、第一步读取日志 2.2、第二步解析日志 2.3、第三步分析日志 2.4、第四步生成报告 2.5、第五步日志采集 2.6、结果展示 2.7、可扩展方向 大佬请自觉路过 最终实现的功能 分析得到日志中访问ip的top20,访问地址的top20,访问客户端ua的排名,并且生成excel报表 2、思路演进 2.1、第一步读取日志 对nginx进行日志分析,首先拿到需要分析的 、匹配错误(没有匹配到的)的行数、匹配正确的行数 2.3、第三步分析日志 利用pandas模块进行日志的分析 analyse()函数: 将解析过滤得到的lst列表作为参数传入,列表中的数据格式形如[ 日志分析完了,回过头来需要的是采集到日志文件,并且定时的去进行分析,可以利用time模块得到时间并且判断,实现定时的分析,例如,每月3号的凌晨1点进行日志分析 import time if __name 2.7、可扩展方向 本文进行日志的分析算是入门之作,可以进一步扩展的方向比如:分析报表的定时消息邮件等推送,分析报表的图形化展示等等
简述 什么是goaccess GoAccess 是一款开源的且具有交互视图界面的实时 Web 日志分析工具,通过你的 Web 浏览器或者 *nix 系统下的终端程序(terminal)即可访问。 来路域名 404 错误 操作系统 浏览器和搜索引擎 主机、DNS和ip地址 HTTP 响应代码 引荐网站 键盘布局 自定义显示 支持超大日志(分析速度很快) 安装 [root@lnmp software 常用参数 参数 含义 -f 日志文件名 -b 开启流量统计,如果希望加快分析速度不建议使用该参数 -s 开启HTTP响应代码统计 -a 开启用户代理统计 -e 开启指定IP地址统计,默认禁用 -p -指定 参考资料 官方文档 GITHUB 使用GoAccess构建实时日志分析系统 GoAccess中文界面显示配置