[Splunk] Splunk 의 기능과 쓰이는 용어 알아보기!! - 기본편

Splunk 의 기본 및 핵심

본 포스팅에선 내용을 조금만 알아도 어디가서 Splunk 에 대해 조금은 말을 할 수 있다

가장 많이 쓰이고 핵심적인 요소들 위주로 알아보자

 

Splunk 는 큰 개념으로 검색, 저장, 배포, 수집 4가지 역할을 수행한다

그리고 특징 중 하나,, 이 모든 역할을 설정법 하나로 나눌 수 있으며, 설치 파일은 동일하다

 

• Search header : 최종 단말 역할, 검색된 결과를 화면에서 통합하여 사용자에게 제공
  
  • 여러 indexer에 검색을 명령하고 결과를 사용자에게 리턴함
  • Splunk Daemon 에 접근하여 검색을 수행함
  • 분산 검색 시 하나 이상의 검색 헤더가 필요로 함
  • CPU, Memory Resource 를 다른 인스턴스에 비해 상대적으로 많이 사용한다
• Indexer : 검색을 실제로 수행하는 곳, 인덱스를 생성하여 데이터 인덱싱 및 관리 수행
  • RDBMS와 같은 저장소 역할을 한다
  • 원본 데이터를 Splunk가 검색 가능한 이벤트로 변환하여 저장하고 기록한다
  • Parsing 을 통해 이벤트를 정규화된 필드로 분류하는 작업이 이루어진다
  • Field 라는 명칭으로 이벤트를 자동/수동으로 정규식을 통해 Key=Value 형태로 나눈다

(데이터가 저장되는 원리)

(데이터가 저장되는 구조)

• Deployment : 로컬 및 분산 인스턴스 관리 역할
• Frowarder : 데이터를 수집하는 역할
  • Heavy Forwarder 를 통해 원시 데이터를 전송(정형/비정형 모두 수집)
  • Load Balancinf Forwarder 를 통해 index에 분산 저장
    • 인터벌 타임을 설정하여 일정하게 주기적으로 수집 조절 가능
    • 네트워크 개념으로 로드밸런서와 유사한 개념으로 생각하면 됨
  • Universal Forwarder 를 통해 필요한 데이터만 Client에서 직접 수집
    • CPU 부하, 메모리 사용률, 디스크 사용률 적음
    • 기본 데이터 전송률 약 256kbps
    • 데이터 필터 및 정제 불가
    • Heavy Forwarder 인스턴스로 전환 불가

 

Splunk 데이터 부분 핵심 용어

Metadata

> 인덱싱 과정에서 각 이벤트에 대해 host,source,sourcetype 을 포함한 기본이되는 필드를 추출함

> 이부분인 자동적으로 Splunk가 인지하고 생성하는 것임

Index

> 데이터가 인덱싱 된 인덱스(DB)의 이름 (이것은 필드에 속함)

> 모든 이벤트가 기본적으로 main 인덱스에 인덱싱이 됨

> index="main" 과 같이 검색 가능 혹은 index="ma*" 처럼 와일드카드 사용 가능

 

host

> 네트워크 장치의 호스트 이름 또는 IP주소가 표시된 필드

> host="cisco" 과 같이 검색 가능 혹은 host="192.*" 처럼 와일드카드 사용 가능

 

source

> 이벤트가 시작된 파일 또는 스트림, 기타 입력의 이름이 표시된 필드

> 로컬에서 수집된 파일의 경로, 대상의 원천지를 나타낼 때 쓰임

> source="C:\windows" 과 같이 검색 가능 혹은 source="C:\windows*" 처럼 와일드카드 사용 가능

 

sourcetype

> 이벤트가 시작된 데이터 입력 형식이 지정된 필드

> 검색시 Index와 Sourcetype 필드로 통상적으로 많이 씀 

> sourcetype="mariadb" 과 같이 검색 가능 혹은 sourcetype="maria*" 처럼 와일드카드 사용 가능

 

_time

> Unix Time의 이벤트의 타임스탬프를 표시한 필드

> Splunk 웹에 이벤트 시간 표시줄을 기준으로 생성됨

 

linecount

> 이벤트가 인덱싱 되기 전에 이벤트의 라인 수가 표시되는 필드

> 특정 수의 줄과 일치하는 이벤트를 검색하기 위해 사용하거나 데이터 처리 명령에서 인수로 사용됨

 

 

이것만 알아도 반은 먹고 들어갑니다.
참고!