스플렁크를 이용한 머신러닝 분석 설명 > 머신러닝/AI 자료실

안녕하세요. 스플렁크를 이용한 머신러닝 분석 설명 파일입니다.

- 스플렁크는 머신러닝을 구현하기 위해 머신러닝 툴킷이라는 앱을 제공
- 앱에 적용된 알고리즘은 140여개
- 그중에 자주 쓰는 30여개 알고리즘은 Usecase제공
- 아직까지 Tensorflow는 제공하지 않음.(Scikit-Learn 모듈제공)

이전에 올린 머신러닝 라이프싸이클과 관련해서 관련 모듈을 설명드리면

** 데이터 분석 라이프싸이클 관점(수집, 전처리, 알고리즘 모델링, 검증, 적용, 배포. . .  반복)

[스플렁크]

수집 - 스플렁크 Indexer
전처리 - SPL(스플렁크 쿼리 랭귀지, Search Processing Language), 기타 차트, 통계함수
알고리즘 모델링 - fit (SPL 명령어 - 스플렁크 머신러닝 툴킷 Scikit-Learn)
검증 - summary (SPL 명령어)
적용 - apply (SPL 명령어)
배포 - 스플렁크 스케줄러(saved search)

--> 거의 모든 작업이 SPL이라는 인터페이스 하나로 통일되어 있음

[일반 Python]

수집 - 일반 python 코딩
전처리 - Python(Numby-행렬계산 라이브러리, pandas-기초통계 라이브러리)
알고리즘 모델링 - Tensorflow , Scikit-Learn , PyTorch 등
검증 - Tensorflow , Scikit-Learn , PyTorch 등
적용 - 일반 python 코딩
배포 - 일반 python 코딩

Tensorflow나 Scikit-Learn 또는 PyTorch등의 복잡한 알고리즘 코딩을
효과적이고 간결화하기 위해서 Keras라는 Python 인터페이스 모듈이 중간에 들어가기도 함.
예 : 수집 python - 데이터 전처리 numpy,pandas - 쉬운 인터페이스 Keras - 머신러닝 알고리즘 Tensorflow,Scikit-Learn,PyTorch

스플렁크가 사용하고 있는 Scikit-Learn과 최근에 많이 사용되고 있는 Tensorflow를 비교하면
- Scikit-Learn은 기존에 사용자가 많고 사용이 쉽고 다양한 알고리즘(회귀분석, SVM, 베이지안 알고리즘... )을 제공함.
- Tensorflow는 최근에 인공신경망 분석 알고리즘등이 잘 제공되고 있고 보다 고도의 분석이 가능함(GPU지원)

등산을 할 때 자주 산을 오르는 것 보다 등산장비에 더 신경을 쓰는 경우가 있다
너도 나도 AI/머신러닝/텐서플로우 끊임없는 최신이슈에 관심을 가지고 있지만 어디에 어떻게 적용할지 잘 모르고 있는게 현실이며
실질적으로 필요한 것은 고객의 데이터를 잘 분석할 수 있는 환경과 정보를 제공하는 것이 머신러닝이 아닐까 생각합니다.

그런 관점에서 첨부파일은 많은 도움이 될 것으로 생각됩니다.