Elastic
[개념] Elastic NLP
NLP의 개념 (1) NLP가 하는 일 Low level parsing Tokenization : 문장 분리 stemming : 어근 추출 Word and phrase level NER : 고유 명사 인식 POS tagging : 형태소 분석 noun phrase chunking : 명사구 단위 분리 dependency parsing : 의존 구조 분석 coreference resolution : 참조 관계 분석 Sentence level sentiment analysis : 감정 분석 machine transiation : 기계 번역 Multi sentence and paragraph level entailment predinction : 모순 관계 예측 question answering : 질의 응답..
[실습] Elasticsearch에서 Machine Learning 사용하기
실습 개요 Elasticsearch가 제공하는 machine learning 기능을 사용해본다. 목록 Anomaly Detection Population Detection Outlier Detection supervised learning & prediction 1. 시계열 데이터에서 Single Metric으로 이상징후 탐지하기 & forecating하기 (1) Machine Learning > Anomaly Detection > Create job 에 접근한다. job은 머신러닝 모델을 의미한다. (2) 데이터셋 선택 > Single metric 선택 > Use full data 클릭한다. 이번 실습에서는 single metric을 선택한다. (3) field를 선택한다. y축을 선택하는 것이다. 본..
[개념] Elasticsearch에서의 Machine Learning
Elasticsearch에서의 Machine Learning 기능 Anomaly Detection : 시계열 데이터의 이상징후 탐지 Data Frame Analytics : 이상징후 탐지 Outlier Detection : 비시계열 데이터의 이상징후 탐지 Classification : 분류 Regression : 회귀 Model Management : 외부에서 학습한 모델을 서빙 Anomaly Detection과 Outlier Detection은 Unsupervised Learning이다. Classification과 Regression은 Supervised Learning이다. 시계열 데이터의 Anomaly Detection 학습 하는 것을 그래프로 나타낸다. x축은 시간축으로 고정되고 y축을 우리가 ..
[개념] Elasticsearch Query (Query DSL, Aggregation)
[ search API ] Elasticsearch 는 search API를 사용하여 검색 기능을 지원한다. search API는 query dsl와 aggregation 2가지로 구성되어 있으며 아래 공식 문서에서도 확인할 수 있다. Query DSL | Elasticsearch Guide [8.11] | Elastic Query DSL | Elasticsearch Guide [8.11] | Elastic Elasticsearch provides a full Query DSL (Domain Specific Language) based on JSON to define queries. Think of the Query DSL as an AST (Abstract Syntax Tree) of queries, ..
[이론] Elasticsearch 형태소 분석기
Cluster Elaster search cluster는 분산처리 아키텍처이다. 외부에서 바라보면 하나의 서비스이지만 실제로는 안에 여러 개의 entity가 들어있다. Elasticsearch의 resource는 다음과 같다. CPU, Memory, Disk 위에 세 가지가 Elasticsearch 서비스를 운영한다. Elasticsearch lcuster 안에는 여러 개의 node가 들어있다. Index & Cluster Index : 데이터를 저장하는 단위 이는 분산처리 아키텍쳐에서 분산되어 저장된다. 하나의 인덱스는 여러 개의 Shard로 구성되어 있다. Shard 레벨로 각각의 node 안에 저장된다. Replica Shard : 이렇게 해야 특정 node가 죽었을 때도 다른 node의 Repli..
[실습] Elastic으로 데이터 시각화 하는 방법 (Visualize Library, Dashboard)
실습 개요 Elastic의 기능을 이용하여 데이터를 시각화 한다. Metric을 이용해 시각화하기 (1) Visualize Library 에 접근하여 Create new visualization을 클릭한다. Aggregation based와 Metric을 선택한다. (2) 대상으로 할 데이터를 선택한다. (3) 특정 필터를 걸어 등장 횟수를 확인할 수 있다. (4) Save를 하여 Title과 dashboard를 설정한다. (5) Visualize Library에 방금 Save한 것을 확인할 수 있다. Bucket을 이용해 시각화하기 (1) 다시 Create visualization을 클릭한다. Aggregation > Vertical Bar 선택 > 대상이 되는 데이터를 선택한다. (2) Buckets..
[이론] ElasticSearch 개념, 특징, 기능
학교 SW중심대학사업단 X AWS AWS Cloud Winter Camp 오프라인 교육 첫날이 시작됐다! 5일 동안의 오프라인 첫날, ElasticSearch에 대한 기초적인 것을 배웠다. 1. Elasticsearch 소개 Elasticsearch는 오픈소스 검색 엔진으로 데이터의 가치를 높이기 위해 사용하는 부재료이다. 데이터를 적재하고 정제하여 클라이언트에게 보여주며 검색을 최적화하고 빠르게 하는 도구이다. Elasticsearch는 여러 분야에서 검색 기능으로 활용이 되는데 아래와 같은 항목들에서 활용될 수 있다. 대외 서비스 활용 : 검색 포탈, 뉴스/지식백과/사전, SNS/e커머스/소셜서비스 대내 서비스 활용 : 사내포탈/그룹웨어, 개발소스/로그 통합검색, 업무/마케팅 자료분석 (1) RDB ..