[Splunk] Splunk 데이터 수집 해보기!! - 본격적으로 알아보기

Splunk Index 생성

수집 부분은 데이터 분야에서 가장 중요한 역할을 합니다.

필요한 데이터를 정제하거나 가공하여 필요한 부분만 얻을 수 있는 기능을 갖고 있죠.

또한 불필요한 데이터를 버림으로 인해 자원적인 부분을 아낄 수 있고 검색하는 입장에서도 빠른 인덱싱 처리가 가능하기 때문에 splunk의 핵심 부분이자 제일 중요한 부분입니다. 

 

• 웹 UI 상에서 Index 생성하기

> 인덱스는 데이터가 인덱싱 된 인덱스(DB)의 이름이 표시된 필드로 디렉토리 및 파일의 컬렉션 입니다.

> 설정 - 인덱스 - 새로만들기 를 통해 간단히 생성할 수 있습니다.

• CLI 커맨드 창에서 Index 생성하기

> $Splunk_Home$/etc/system/local/indexes.conf 파일에서 설정값 추가

> 상세 속성값 참고 http://docs.splunk.com/Documentation/Splunk/6.3.2/Admin/Indexesconf

indexes.conf - Splunk Documentation

[appmgmt] ---------설정할 인덱스명

coldPath = $SPLUNK_DB/ appmgmt /colddb

homePath = $SPLUNK_DB/ appmgmt /db 

thawedPath = $SPLUNK_DB/ appmgmt /thaweddb

 

주요 속성	설명
maxHotBuckets	hot 버킷의 최대 수 (기본 3개)
maxDataSize	버킷의 최대 크기 (기본 750MB)
maxWarmDBCount	warm 버킷의 최대 수. (기본 300개)
maxTotalDataSizeMB	인덱스의 최대 크기. (기본 500000MB)
frozenTimePeriodInSecs	cold에서 frozen으로 롤링되는 기간 (기본 188697600초 : 6년)

• Index 생성시 구조

 

데이터 업로드

• 웹 UI 상에서 데이터 업로드하기

> 로컬에서 직접 데이터를 업로드할 경우 압축파일, 텍스트파일 등 드래그 가능

> 데이터를 업로드하면서 수집할 위치를 지정할 수 있습니다.

> 이 때 Index와 sourcetype을 지정할 수 있어서 수집하는 데이터를 분류할 수 있다.

> 수집 설정이 완료되면 검색을 통해 수집을 확인합니다.

데이터 수집 방법 및 종류

데이터는 크게 3가지 방식으로 수집할 수 있습니다.

• 파일 및 디렉토리
• TCP / UDP
• SNMP

각 방법에 대해 간단히 알아겠습니다.

파일 및 디렉토리 방법

> 웹 UI 에서 “설정>데이터>데이터 추가” 버튼을 클릭하면 데이터 입력 화면으로 이동합니다

TCP / UDP 방법

SNMP 데이터 수집 방법

> SNMP 데이터를 수집하기 위해선 SNMP 앱을 설치하여야 합니다.

> https://apps.splunk.com/ 사이트에서 APP을 다운받을 수 있습니다.

 

• SNMP 앱 설치하기

• SNMP 데이터 입력하기

 

궁금한 부분은 댓글 남겨주세요~~