[Splunk] 빅데이터 분석 플랫폼 알아보기!! -수집,모니터링,분석

Splunk 란?

Splunk 는 빅데이터 분석에 관련된 소프트웨어 플랫폼으로서 데이터 수집, 가공, 정제가 가능하며

시각화와 모니터링을 구현할 수 있는 지능형 플랫폼 입니다.

 

사실 빅데이터 툴은 오픈소스 기반으로도 만들어진 제품들이 많죠????

그리고 Splunk는 가격적인 면에서도 고가에 속하기 때문에, 기업에서도 쓰고 싶다하여 바로 쓰기는 고민되는 제품입니다.

 

4차 산업혁명 중 빅데이터에 부문이 떠오르면서 주목 받구 있고,

20년도 하반기 실적 발표 이후 200 달러선에서 하향하긴 했지만 다시 반등하는 추세입니다^^

Splunk 는 샌프란시스코에 본사가 위치하고 있고, 전세계적으로 사용하는 플랫폼입니다.

하 지 만, 전세계 점유율 중 아시아의 점유율은 4% 이하에 미치고 그 중 우리나라는 2% 이하로 점유하고 있습니다.

(기억이 맞다면 일본이 그나마 높은 점유율을 갖고 있습니다)

 

퍼포먼스 측면 - Enterprisr급 가용성과 규모 

 

• Enterprise를 확장하여 매일 수백TB의 데이터를 수집하고 인덱싱 할 수 있다
• Clustering 또는 Multi Site Clustering이 가능하여 지속적인 가용성을 제공한다
• 단일 서버 또는 사이트가 중단 되더라도 머신 데이터로 부터 중요한 Insight를 얻을 수 있다
• 보고서 작성 및 분석 기능을 통해 빠른 Insight 도출이 가능하다
• Agent 관리를 위한 Deploy-Master 가 있어 관리적인 측면에 효율적이다
• Search Head 도 Clustering이 가능하여 검색 및 배포에 밸런스를 맞출 수 있다

기본 제공 부분

• 보안 (CC인증 획득)
• 안전한 데이터 처리
• 역할 기반 액세스 제어
• 웹 사용자 인터페이스
• CLI를 통한 인터페이스
• Splunk Enterprise REST API를 통한 시스템 작업

Splunk Web Framework

• JavaScript
• HTML5
• JQUERY
• XML, XLST
• CSS3
• Django
• etc

SDK

• Java
• JavaScript
• C#
• Python
• PHP
• Ruby

Splunk 장점

 

• 정형/비정형 데이터 구분이 없다
• 스키마에 의존하지 않아 검색 및 인덱싱이 빠르다
• 데이터의 속성이 검색과 함께 정의된다
• 쿼리나 검색은 상황에 따라 동적으로 구성한다 

Splunk 기본 구성도

• 원격지(Client) 에서 데이터를 수집
• Splunk Forwarder 라는 인스턴스를 통해 실시간 수집 가능
• 로컬 데이터 소스(어플리케이션, 센서, 엔도포인트 장치 등)을 모니터링 가능
• 중앙 관리 방식으로 추가 비용 없이 빠르게 배포 가능

Splunk 의 전반적인 개요 느낌을 알아보았습니다
혹시라도 더 알고싶거나 궁금한 부분은??? 댓글로 남겨주세요