아파치 엑세스 로그 분석

참고 링크 : http://httpd.apache.org/docs/2.0/ko/logs.html

아파치 로그엑세스 구조

전형적인로그형식

LogFormat "%h %l %u %t \"%r\" %>s %b" common
CustomLog logs/access_log common

결합된로그형식(리퍼러와 사용자에이전트가 추가됨)

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\"" combined
CustomLog log/access_log combined

아이피 : 210.ZZ.YY.XX
identd : -
REMOTE_USER : -
처리를 마친 시간 : [09/Jun/2010:13:20:04 +0900]
요청내역 : "GET / HTTP/js/jquery.min.js 1.1"
STATUE CODE : 200
SIZE : 6023
REFERER : "http://WWW.XXXX.com/main/TTT.htm?idx=0"
USERAGENT : "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2)"

awk로 분해하였을때

[uway@dev access]$ echo 210.ZZ.YY.XX - - [09/Jun/2010:13:20:04 +0900] "GET /js/jquery.min.js HTTP/1.1" 200 6023 "http://WWW.XXXX.com/main/TTT.htm?idx=0" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2)" |awk '{print $1,",",$2,",",$3,",",$4,",",$5,",",$6,",",$7,",",$8,",",$9,",",$10,",",$11,",",$12}'

$1 : 아이피 : 210.ZZ.YY.XX
$2 : identd : -
$3 : REMOTE_USER : -
$4 : 처리를 마친 시간1 : [09/Jun/2010:13:20:04
$5 : 처리를 마친 시간2 : +0900]
$6 : 요청내역1 : GET
$7 : 요청내역2 : /js/jquery.min.js
$8 : 요청내역3 : HTTP/1.1
$9 : STATUS CODE : 200
$10 : SIZE : 6023
$11 : REFERER : http://WWW.XXXX.com/main/TTT.htm?idx=0
$12 : USERAGENT : Mozilla/4.0

$12이후로는 user-agent 부분

주요 검색 필드

아이피
요청내역2
REFERER

주요 검색 명령어

html,htm,php 에 가장 많이 접속한 IP

egrep "(html|htm|php).* HTTP" 로그파일명 |awk '{ print $1 }'|sort|uniq -c|sort -rn |head

가장 많이 호출된 html,htm,php 페이지

egrep "(html|htm|php).* HTTP" 로그파일명 |awk '{ print $7 }'|sort|uniq -c|sort -rn |head

IP별 : 가장 많이 호출된 html,htm,php 페이지

egrep "(html|htm|php).* HTTP" 로그파일명 |awk '{ print $1,$7 }'|sort|uniq -c|sort -rn |head

egrep -iv "\.js|\.css|\.png|\.jpg|\.gif" 로그파일명

JS,CSS,이미지 제외

에러파일용

많은 에러내용 순

cat 로그파일명 |awk -F '] ' '{ print $5 }'|sort|uniq -c|sort -rn |head

No	제목	작성자	등록	조회
공지	[기본형] HTML (with 부트스트랩5.3 , jquery 3.7, vue.js)	공대여자	02/06 13:44	2417
공지	유용한 리눅스(LINUX) 명령어	공대여자	03/03 14:47	11970
공지	[공지] 기술 게시판	mins01	06/24 15:10	12198

일	월	화	수	목	금	토
4.28	4.29	4.30	5.1	5.2	5.3	5.4
5.5	5.6	5.7	5.8	5.9	5.10	5.11
5.12	5.13	5.14	5.15	5.16	5.17	5.18
5.19	5.20	5.21	5.22	5.23	5.24	5.25
5.26	5.27	5.28	5.29	5.30	5.31	6.1