3.2 웹 로그 데이터 수집 방식

최근 웹 로그 분석의 중요성이 날로 높아지고 있고, 분석 관점도 기존의 시스템 관리자의 관점이나 웹 서비스 차원의 효과 분석의 관점을 벗어나 적극적인 마케팅과 세일즈를 수행하고 그 효과를 분석하기 위해 활용되고 있다.
웹 로그 분석의 이슈는 웹 서버가 떨어뜨린 방대한 로그 데이터를 이용하여 방문자의 웹사이트 이용패턴과 지식을 찾는 것을 목적으로 한다. 그러나 많은 고객이 자주 방문하는 대용량의 사이트일 경우 방대한 양의 데이터를 처리하면서 고객의 서비스에는 전혀 영향을 주지 않아야 하므로 다양한 수집방식 및 분석 기술들이 요구되고 있다.

이러한 기술들은 로그 추출 방식에 따라 다양한 방법들이 존재하며, 이러한 방법에 따라 해결해야 할 문제나 추구할 기술들이 다르다. 현재 일반적으로 로그 추출에 활용되고 있는 방법은 (1) 일반 웹 서버 방식 (2) 패킷 스니핑 방식 (3) 플러그 인 방식 (4) 스크립트 태그 방식 등 4가지 방법이 있다.


1) 일반 웹 서버 로그 데이터 수집방식 (Raw Data )

웹 서버에서 발생되는 로그는 어느 특정 폴더에 파일로 쌓이게 된다. 웹 로그 분석을 위해서는 이 파일을 주기적으로 가져가 데이터 전처리를 거친 후 로그 분석 서버 DB에 적재하게 된다. 이 경우 데이터를 추출, 정제, 변환하는 ETT 시스템이 필수적으로 필요하다. 따라서 실시간으로 웹 로그를 DB에 쌓는 것이 어렵고, 웹 서버가 여러 대일 경우 각 서버를 동기화 시키는 문제를 해결하여야 정확한 분석이 가능하다.


2) 스니핑 방식 (Sniffing)

스니퍼(sniffer)는 원래 Network Associate사의 등록상표였으나 현재는 일반적인 용어로 사용되고 있다. "sniff"라는 단어의 의미(냄새를 맡다, 코를 킁킁거리다)에서도 알 수 있듯이 스니퍼는 "컴퓨터 네트워크상에 흘러 다니는 트래픽을 엿듣는 도청 장치"라고 말할 수 있다.
스니핑은 웹 서버 단에서 데이터를 추출하는 것이 아니라 웹 서버에 도착하기 전 네트워크 상에서 패킷을 복사하는 방식으로 패킷을 복사하기 위한 별도의 장비가 요청된다. 이 장비가 비교적 고가이기 때문에 웹 로그 분석을 위해 과도한 시스템 비용을 지출해야 하는 경우가 생길 수도 있다. 이 방식은 웹 서버를 거치지 않으므로 웹 서버에 부하를 주지 않는 장점이 있으나 암호화된 패킷을 처리할 수 없는 치명적인 단점이 있다. 이런 단점을 보완하기 위해 웹 서버에서 떨어진 로그 파일을 이용하기도 하나 이는 시스템을 복잡하게 만들고 데이터를 통합하는 과정에서 더 큰 문제가 발생하기도 한다.


3) 플러그인 방식 (Plug-in)

플러그 인 기술은 웹 서버와 WAS(Web Application Service) 서버간에 통신을 위한 Connector를 설치하거나 웹 서버의 권한(Authority)를 승인 받기 위한 방법 등에 많이 이용되고 있는 방법이다. 플러그 인 로그 분석 방식은 이 방법을 웹 로그 생성의 원리에 응용하여 웹 서버에 필터링의 형태로 작은 모듈을 삽입하여 웹 서버에서 요청하는 정보를 로그 데이터로 생성하는 방법이다.
플러그 인 방식은 웹 서버에 로그 데이터를 생성하는 작은 모듈을 삽입하고 이 데이터를 실시간으로 받아서 분석하는 분석 서버로 구성된다. 기존의 로그는 사용하지 않으며 실시간으로 데이터를 적재할 수 있다. 또한 로그 분석 시스템의, 로그 데이터의 형식을 자유롭게 만들 수 있다.
이 방식의 가장 큰 장점은 기존의 로그 형식을 사용하지 않고 목적에 맞게 새로운 로그 형식을 만들 수 있다는 것이다. 이는 웹 로그를 온라인 마케팅이나 eCRM 영역에서 활용할 수 있는 최적의 형태인 마케팅 로그로 가공하여 추출할 수 있다.


4) 스크립트 태그 이용방식 (Script Tagging)

스크립트 태그 방식은 각 페이지에 방문자 정보를 얻을 수 있는 태그를 삽입하는 방법이다. 이 방법의 장점으로는 비교적 정확한 로그를 생성할 수 있고 다양한 분석과 서비스를 할 수 있으며 웹 서버의 부담을 다소 줄일 수 있는 반면 단점으로는 모든 페이지를 대상으로 분석하기 위해서는 모든 페이지에 스크립트를 넣어야 하므로 페이지가 자주 변경되는 상황에서는 현실적으로 불가능한 방법이다. 따라서 이 방법은 소규모의 개인 홈페이지에에 주로 사용되어지고, 다른 방식과 병행하여 특정한 목적을 분석하기 위해 사용되고 있다.

[출처 : 웹 로그 추출방식의 비교 , 씨씨미디어 자동화 연구실]