본문 바로가기

BigData

(14)
[Splunk] Splunk 설치 및 환경설정!! - Splunk A to Z 설치 정복 5 10. Splunk 배포 searcher 서버에 배포 Search Cluster 배포서버에서 멤버들에게 App과 conf파일들을 배포할 수 있다. 배포서버의 $SPLUNK_HOME/etc/shcluster/apps 밑에 배포할 App을 저장한다. 설정 파일은 배포할 App의 local 또는 default 디렉토리 밑에 저장하여 App형태로 배포한다. 배포서버의 $SPLUNK_HOME/bin에서 splunk apply shcluster-bundle --answer-yes –target https://배포할 멤버IP:관리Port –auth admin:비번 을 실행하면 App이 배포된다. Searcher Cluster 배포 서버에서 App을 배포할 경우 멤버서버 개수 만큼 위의 명령어를 실행해 주어야 한다.,..
[Splunk] Splunk 설치 및 환경설정!! - Splunk A to Z 설치 정복 4 9. Universal Frowarder 설치하기 설치 전 체크사항 설치 계정 생성 (splunk 계정) Window : adminstrator 그룹에 포함되어 있어야 함 Linux : splunk 계정은 특별한 설정이 필요 없음. splunk enable boot-start 명렁어를 실행하기 위해서는 root 계정이 필요함. 포트오픈 기본적으로8089, 9997 포트 오픈이 필요함. 스플렁크 인스턴스 개수 및 input설정에 따라 포트 설정 내용 변경 백신 예외처리 Windows 경우 필수권고사항 목적 : Virus 검사 시 리소스 점유 가능성 제거 예외대상 : C:\SplunkUniversalForwarder와 그 하부 디렉토리들 예외대상 프로세스 splunk-admon.exe splunk-Monit..
[Splunk] Splunk 설치 및 환경설정!! - Splunk A to Z 설치 정복 3 Index Clustering 설정하기 Cluster Master 서버 설정 클러스터 마스터 서버가 중지 되도 운영에 문제가 없음 클러스터 마스터와 인덱서가 동시에 중지 되었을 경우 운영에 문제가 발생 함. 보통 복제팩터 : 3 , 검색팩터 : 2 로 설정한다. Master 서버는 고사양의 H/W가 필요없음으로 Searcher 서버에 같이 위치시키기도 함. Splunk web 에서 설정하기 설정 -> 분산환경 -> indexer clustering 메뉴 선택 Enable indexer clustering 버튼 클릭 마스터 노드를 선택하고 다음 버튼 클릭 복제팩터, 검색팩터, 보안키를 지정 후 마스터노드 활성화 버튼 클릭 Clustering 설정 후에는 splunk를 재시작 해야 한다. splunk CLI..
[Splunk] Splunk 설치 및 환경설정!! - Splunk A to Z 설치 정복 2 1. 기본적인 Splunk 설치 ftp 로 Splunk.tar 파일을 /opt 경로에 옮깁니다. tar xvzf splunk-xxxx.tar 파일을 압축 해제 합니다. splunk 최초 실행 : /opt/splunk/bin/splunk start --accept-license 부팅시 자동 실행 : /opt/splunk/bin/splunk enable boot-start 본 command 실행은 root 계정에서 실행해야 하고 스플렁크 실행 계정이 root가 아닐 경우에는 다음과 같이 –user 옵션을 적어야 합니다. : /opt/splunk/bin/splunk enable boot-start –user splunk 2. 서비스 등록 /opt/splunk/bin/splunk enable boot-start..
[Splunk] 설치 전 OS 환경설정!! - Splunk A to Z 설치 정복 1 Splunk 설치 전 OS 환경설정 (Linux) Ulimit 설정 Splunk를 Unix/Linux 환경에 운용할 때, 잊지 말고 꼭 확인해야 할 것이 바로 ulimit값 입니다. Unix/Linux 시스템은 원래 다중 사용자를 염두에 두고 만들어진 시스템이기 때문에, 시스템 전체가 사용할 리소스 뿐만 아니라, 각 사용자에게 허용할 시스템 리소스에 제약을 걸 수 있습니다. Unix/Linux를 설치하였을 때 기본으로 허용되는 시스템 리소스 한계가 너무 낮기 때문에 꼭 바꿔주어야 합니다. File size ulimit -f splunk 의 bucket을 압축해제 했을 때 매우 클 수 있기 때문에 unlimited 또는 충분히 커야 합니다. Open files ulimit -n 최소 8192 이상 설정되어..
[Splunk] Data Pivot 알아보기!! - 데이터 세트의 핵심 피벗 Pivot 이란? > Pivot 의 필요성 Splunk의 쿼리(SPL)와 지식 없이도 고객이 원하는 정보만을 표현 하는 맞춤형 서비스가 가능하다. 간단한 Drop and Down 만으로 데이터를 신속하게 설계하며, 시각화 함으로써 데이터를 다양한 측면으로 활용 가능하다. > Pivot 사용법 데이터 모델을 통해 데이터 조직과 이벤트로의 구체적이며 세부적인 접근을 할 수 있다. Spluk에 기본적으로 설치되어 있는 Pivot 앱 실행으로 관리자가 설정해 놓은 범위안에서 손쉽게 고객이 원하는 데이터의 추출이 가능하다. > Pivot Filter 정의 선택한 데이터 모델 중 내부 데이터에 대한 필터 조건을 선정함. 필터 조건으로 시간 외 기타 데이터 필드의 상태를 추가한다. > Pivor Split Rows,..
[Splunk] Splunk Data Model, Accelerate 만들기!! - 데이터 모델 개념과 가속화 Data Model 이란? 데이터 모델은 현업 데이터의 분석을 도와주는 기능으로 Splunk에 내장되어 있습니다. 데이터의 Semantic 지식 구조를 정의하고 상/하위 구조의 포함하는 데이터 모형 설정이 저장되어 있다가 검색 시 Dynamic 하게 반영 특화된 검색과 분석을 가능하게 하고 Pivot 기능의 바탕 데이터 모델의 요소? > 데이터 모델 Object 유형 Root Object : 최상위 Object 이며 여러 Child Object 를 생성/관리 합니다. Event Object : 데이터를 분류하여 제약 조건에 의해 추가한 것을 말한다. Search Object : 데이터 모델 안에 Object를 통계 명령을 사용하여 검색할 기능을 갖고 있는 Object. Transaction Object ..
[Splunk] Splunk App, Dashboard 만들기!! - 앱과 대시보드를 통한 시각화 구현 방법 Splunk App 이란? 스플렁크에서 쓰이는 App 이란 정형/비정형의 데이터를 체계화를 위해 하나의 애플리케이션으로 만들 수 있는데, 이것을 UI 를 연계하여 만들 수 있습니다. 또한 만들어진 UI를 스플렁크 내에 별도로 구성을 할 수 있는데 이렇게 구성되는 단위를 App 이라 합니다. 또한 스플렁크에 추가할 수 있는 자원들을 바탕으로 기능을 확장할 수 있는 모듈을 Add-on 이라 하며 Add-on 은 Splunk 상의 설정이나 parsing 규칙, 이벤트 설정 등을 하고 검색 때 필요한 search 명령어를 새롭게 만들 수 있는 기능들을 갖고 있습니다. Splunk App 을 구성하는 주요 구성 > $SPLUNK_HOME/etc/apps/your_app_name/default - 해당 앱의 설정 ..