티스토리

y-seo의 딩코 기록들

검색하기

블로그 홈

y-seo의 딩코 기록들

y-seo.tistory.com/m

y-seo 님의 블로그입니다.

구독자: 5

방명록 방문하기

주요 글 목록

[GCP] GCP Compute Engine Key 생성, FileZila로 파일 전송 (PuttyGen, Filezila) GCP Compute Engie에서 SSH Key 생성하기 1. 본인의 VM 인스턴스에서 SSH 연결을 하여 서버로 접속한다. 필자는 가장 쉬운 방법으로 "브라우저 창에서 열기"를 선택하였다. 2. RSA Key Pair를 생성한다. dudrhy12@beyondvision-instance:~$ ssh-keygen -t rsa -f ~/.ssh/{키파일 이름} -C "{유저 구글 아이디}" 3. Key 값을 확인한다. cat ~/.ssh/beyondVision-RSAkey.pub 4. Key 값을 등록한다. 메뉴 > 설정 > 메타데이터 > SSH키 에 접속하여 방금 확인한 Key 값을 추가한다. 이후 이 값으로는 Putty에서 SSH 연결을 하거나 Mac에서 SSH 연결을 할 때 사용할 수 있다. Key .. 공감수 0 댓글수 0 2024. 2. 13.
[AWS] #3. RDS 설정 및 EC2 연결 이번 포스팅에서는 AWS의 RDS를 생성하고, 이미 생성한 EC2와 연결하는 방법을 적어보겠습니다. 1. RDS 데이터베이스 생성 (1) AWS > RDS > 데이터베이스 > 데이터베이스 생성에 접근한다. (2) 아래와 같이 설정한다. 본인이 사용할 엔진 유형과 엔진 버전을 설정한다. 역시나 과금을 막기 위해 프리티어로 템플릿을 선택한다. 추후 DB를 연동할 때 꼭 필요한 정보이므로 DB 인스턴스 식별자, 마스터 사용자 이름, 마스터 암호를 꼭 따로 메모해두어야 한다. 위 구성은 프리티어 정책에 따라 기본값으로 유지한다. 외부에서 DB 접근이 가능하도록 퍼블릭 엑세스 항목을 "예"로 설정하고, VPC 보안 그룹을 새로 만든다. 초기 DB 이름 지정을 위해 추가 구성에서 이름을 작성한다. 2. RDS와 E.. 공감수 0 댓글수 0 2024. 2. 8.
[AWS] #2. nginx 적용 및 포트포워딩 앞 포스팅까지만 한다면, 주소창에 탄력적 IP 주소를 입력했을 때 연결 거부가 뜰 것이다. 이에 대한 해결방법인 nginix를 적용하는 방법과 더 나아가 포트포워딩 방법까지 다루어보려고 한다. nginx 설치하기 (1) EC2 서버에 접속한다. 저는 AWS 사이트 내에서 "EC2 인스턴스 연결" 메뉴를 통해 접속하였습니다. (2) nginx 설치, 실행하는 명령어를 입력한다. 명령어는 아래와 같으며 ubuntu 기준입니다. sudo apt update sudo apt install nginx sudo service nginx start sudo service nginx status (3) 마지막 명령어를 통해 nginx가 정상적으로 active 되어 있는지 확인한다. 보안그룹 설정하기 (1) 생성한 EC.. 공감수 0 댓글수 0 2024. 2. 5.
[AWS] #1 서버 배포를 위한 EC2 생성 프로젝트를 진행하다 보면, 내가 직접 서버를 열고 DB를 연결하는 경우가 생기는데 이때 해야 하는 일들을 하나의 시리즈로 포스팅 해보려 한다. EC2 인스턴스 생성하기 1. AWS 사이트에 접속하여 EC2 검색 후 "인스턴스" 메뉴를 클릭한다. 2. 우측 상단에 "인스턴스 시작" 버튼을 클릭한다. 3. 인스턴스 정보를 아래와 같이 설정한다. (1) 기본 이름을 설정하고 (2) Ubuntu로 서버를 설정한다. (3),(4) AMI와 인스턴스 유형은 프리티어를 사용한다. AWS는 첫 가입 1년 간은 프리티어로 서비스들을 저렴하게 사용할 수 있기에 프리티어 스펙으로 설정한다. (5) "새 키 페어 생성"을 클릭하여 키 파일을 다운로드 받는다. 추가 다운로드는 불가하니 보관에 유의해야 한다. 이는 서버에 접속하.. 공감수 0 댓글수 1 2024. 2. 5.
클라우드 서비스 - IaaS, PaaS, SaaS 보호되어 있는 글입니다. 공감수 0 댓글수 0 2024. 1. 3.
[실습] ChatGPT로 Elastic Docs Chatbot 만들기 ElasticDocs GPT 로직 UI를 통해 사용자가 질의를 입력한다. Elastic 하이브리드에 검색을 요청한다. 영문 데이터를 수집하여 elasticsearch에 저장하고 vectorization을 하여 학습한다. 문서 본문과 URL을 반환한다. Open API Chat Completion에서 API를 호출하낟. 도메인 지식을 활용한 답변을 반환한다. Python에서 생성된 응답을 출력한다. 준비물 ML 노드가 활성화 된 Elastic Cloud 계정 Search용 크롤링 인덱스 Open API key Elastic Cloud에 준비된 모델 1. 수집 준비 하기 데이터 크롤링은 Elastic crawler을 사용하였다. (1) Integrations > web crawler 에서 index를 생성한.. 공감수 0 댓글수 0 2024. 1. 2.
[실습] Elasticsearch NLP - Vector Image Search 하기 보호되어 있는 글입니다. 공감수 0 댓글수 0 2024. 1. 2.
[실습] Elasticsearch NLP - Sentiment Analysis 하기 1. 데이터 올리기 2. Eland와 Elasticsearch 연동하기 3. Huggingface에서 모델 선택해 탑재하기 4. 확인하기 [실습] Elasticsearch NLP - Text Embedding과 KNN search 하기 — y-seo의 딩코 기록들 (tistory.com) [실습] Elasticsearch NLP - Text Embedding과 KNN search 하기 개요 목표 : ElasticSearch에서 NLP를 적용할 수 있다. 순서 Elastic에 데이터를 올린다. Eland와 Elastic을 연동한다. Huggingface에서 모델을 선택해 탑재한다. 1. Elastic에 데이터 올리기 (1) Machine Learning > Data V y-seo.tistory.com 위 .. 공감수 0 댓글수 0 2024. 1. 2.
[실습] Elasticsearch NLP - Text Embedding과 KNN search 하기 개요 목표 : ElasticSearch에서 NLP를 적용할 수 있다. 순서 Elastic에 데이터를 올린다. Eland와 Elastic을 연동한다. Huggingface에서 모델을 선택해 탑재한다. 1. Elastic에 데이터 올리기 (1) Machine Learning > Data Visualizer 에 접근하여 데이터 파일을 선택한다. (2) 데이터를 수정 없이 그대로 import 한다. (3) Dev Tools의 Console에서 잘 데이터가 올라갔는지 확인할 수 있다. GET {인덱스명}/_search 추가로 해당 실습을 위해 Elastic Cloud 권한 설정을 한다. (4) Elastic Cloud ML node 설정하기 자신의 Elastic Cloud Deployment > Edit에서 Ma.. 공감수 0 댓글수 0 2024. 1. 2.
[개념] Elastic NLP NLP의 개념 (1) NLP가 하는 일 Low level parsing Tokenization : 문장 분리 stemming : 어근 추출 Word and phrase level NER : 고유 명사 인식 POS tagging : 형태소 분석 noun phrase chunking : 명사구 단위 분리 dependency parsing : 의존 구조 분석 coreference resolution : 참조 관계 분석 Sentence level sentiment analysis : 감정 분석 machine transiation : 기계 번역 Multi sentence and paragraph level entailment predinction : 모순 관계 예측 question answering : 질의 응답.. 공감수 0 댓글수 0 2024. 1. 2.
[실습] Elasticsearch에서 Machine Learning 사용하기 실습 개요 Elasticsearch가 제공하는 machine learning 기능을 사용해본다. 목록 Anomaly Detection Population Detection Outlier Detection supervised learning & prediction 1. 시계열 데이터에서 Single Metric으로 이상징후 탐지하기 & forecating하기 (1) Machine Learning > Anomaly Detection > Create job 에 접근한다. job은 머신러닝 모델을 의미한다. (2) 데이터셋 선택 > Single metric 선택 > Use full data 클릭한다. 이번 실습에서는 single metric을 선택한다. (3) field를 선택한다. y축을 선택하는 것이다. 본.. 공감수 0 댓글수 0 2023. 12. 29.
[개념] Elasticsearch에서의 Machine Learning Elasticsearch에서의 Machine Learning 기능 Anomaly Detection : 시계열 데이터의 이상징후 탐지 Data Frame Analytics : 이상징후 탐지 Outlier Detection : 비시계열 데이터의 이상징후 탐지 Classification : 분류 Regression : 회귀 Model Management : 외부에서 학습한 모델을 서빙 Anomaly Detection과 Outlier Detection은 Unsupervised Learning이다. Classification과 Regression은 Supervised Learning이다. 시계열 데이터의 Anomaly Detection 학습 하는 것을 그래프로 나타낸다. x축은 시간축으로 고정되고 y축을 우리가 .. 공감수 0 댓글수 0 2023. 12. 29.
[실습] Elasticsearch Query 사용하기 1. Elasticsearch Bool Query 사용하기 (1) must 조건 사용하기 GET nori_sample/_search { "track_total_hits": true, "query": { "bool": { "must": [ { "match": { "document": "겨울" } } ] } } } (2) match_phrase_prefix 사용하기 GET nori_sample/_search { "track_total_hits": true, "query": { "bool": { "must": [ { "match_phrase_prefix": { "document": "겨" } } ] } } } (3) should과 minumum_should_match 조건 사용하기 GET nori_sample.. 공감수 0 댓글수 0 2023. 12. 29.
[개념] Elasticsearch Query (Query DSL, Aggregation) [ search API ] Elasticsearch 는 search API를 사용하여 검색 기능을 지원한다. search API는 query dsl와 aggregation 2가지로 구성되어 있으며 아래 공식 문서에서도 확인할 수 있다. Query DSL | Elasticsearch Guide [8.11] | Elastic Query DSL | Elasticsearch Guide [8.11] | Elastic Elasticsearch provides a full Query DSL (Domain Specific Language) based on JSON to define queries. Think of the Query DSL as an AST (Abstract Syntax Tree) of queries, .. 공감수 0 댓글수 0 2023. 12. 29.
[실습] Elasticsearch로 inverted index 추출하기, reindex 하기 실습 개요 목적 : 데이터셋에 검색을 했을 때 내가 원하는 내용만 나올 수 있도록 튜닝하기 제목 : Elasticsearch를 사용하여 데이터로부터 적절한 inverted index를 추출한다. 1. Elasticsearch에 data 넣기 (1) Elasticsearch에 로그인한다. (2) Machine Learning > File 에 접근하여 데이터를 import한다. (3) Discover 메뉴에서 방금 추가한 데이터셋을 선택하면 내용을 볼 수 있다. 2. Inverted Index 확인해보기 (1) DevTools > Console에 접근한다. (2) analyze API를 이용해 테스트한다. POST /_analyze { "text" : "The quick brown fox jumps over.. 공감수 1 댓글수 1 2023. 12. 29.
[이론] Elasticsearch 형태소 분석기 Cluster Elaster search cluster는 분산처리 아키텍처이다. 외부에서 바라보면 하나의 서비스이지만 실제로는 안에 여러 개의 entity가 들어있다. Elasticsearch의 resource는 다음과 같다. CPU, Memory, Disk 위에 세 가지가 Elasticsearch 서비스를 운영한다. Elasticsearch lcuster 안에는 여러 개의 node가 들어있다. Index & Cluster Index : 데이터를 저장하는 단위 이는 분산처리 아키텍쳐에서 분산되어 저장된다. 하나의 인덱스는 여러 개의 Shard로 구성되어 있다. Shard 레벨로 각각의 node 안에 저장된다. Replica Shard : 이렇게 해야 특정 node가 죽었을 때도 다른 node의 Repli.. 공감수 0 댓글수 0 2023. 12. 29.
[실습] Elastic APM 사용하여 접속 기록 수집하기 실습 개요 Elastic의 APM 기능을 사용하여 접속 기록을 수집하고 그 결과를 확인할 수 있다. 1. EC2 서버에서 설정하기 (1) EC2 서버를 연결한다. (2) nodejs를 설치한다. sudo yum instal nodejs (3) test page를 작성한다. /home/ec2-user 위치에서 작성해야 하며 이는 pwd 명령어로 확인 가능하다. vi app.js const http = require('http'); const server = http.createServer((req, res) => { res.statusCode = 200; res.setHeader('Content-Type', 'text/plain'); res.end('Hello, World!\n'); }); const po.. 공감수 0 댓글수 0 2023. 12. 28.
[실습] Elastic으로 데이터 시각화 하는 방법 (Visualize Library, Dashboard) 실습 개요 Elastic의 기능을 이용하여 데이터를 시각화 한다. Metric을 이용해 시각화하기 (1) Visualize Library 에 접근하여 Create new visualization을 클릭한다. Aggregation based와 Metric을 선택한다. (2) 대상으로 할 데이터를 선택한다. (3) 특정 필터를 걸어 등장 횟수를 확인할 수 있다. (4) Save를 하여 Title과 dashboard를 설정한다. (5) Visualize Library에 방금 Save한 것을 확인할 수 있다. Bucket을 이용해 시각화하기 (1) 다시 Create visualization을 클릭한다. Aggregation > Vertical Bar 선택 > 대상이 되는 데이터를 선택한다. (2) Buckets.. 공감수 1 댓글수 0 2023. 12. 28.
[실습] 데이터 관리 - Roles, User, Space, ILM, Snapshot, Connector 데이터 관리 실습 실습 : 데이터를 관리하는 실습을 진행한다. 상세 내용 : 권한 만들기, 유저 만들기, ILM 생성하고 부여하기 1. 권한 만들기 (1) Elasticsearch > Stack Management > Roles 에서 역할들을 확인할 수 있다. (2) 우측 상단의 Create Role을 선택하여 Role을 추가한다. (3) Role에 대한 설정을 추가한다. name은 guest로 설정하고 cluster privileges에서 read 관련 권한들을 부여한다. indices에 접근 가능한 index를 설정한다. (글쓴이는 이전에 추가해둔 데이터셋인 forest로 하였다.) Kibana는 Add Kibana privilege를 클릭하여 아래 사진과 같이 설정한다. (4) create role.. 공감수 0 댓글수 1 2023. 12. 28.
[이론] 데이터 전처리, 색인 관리, 시각화 1. Elastic 데이터 기본 구조 (1) 클러스터 구조 클러스터의 구조는 아래와 같다. (2) 노드 클러스터를 구성하는 단위 중 하나 elasticsearch onprem으로 설치할 수 있다. 노드는 클러스터로 가용성 때문에 묶어주어야 한다. 노드 하나가 죽어도 다른 노드가 가동될 수 있도록 하기 위함이다. 노드는 최소 3개 이상인 홀수 개를 설정해야 한다. 3개 이상이 권장된다. 서버 당 노드는 1개이다. 클라우드 생성 시에 설정한다. 별도 설정이 없을 때 http port #는 9200, tcp port #는 9300이다. 클러스터를 여러 개 두어 통신 가능하다. cluster.yml에 클러스터 번호를 작성해주어 구분하여 접근 가능하다. (3) 인덱스 구조 테이블과 동일한 개념이다. 인덱스의 기본.. 공감수 0 댓글수 0 2023. 12. 28.
[실습] Elasticsearch 실습 - logstash와 metricbeat 사용하기 실습 주제 주제 : 서버의 데이터 가져오기 방법 : 같은 환경의 EC2 띄워서 데이터를 가져오기 Logstash : 데이터 정제를 하는 것이다. 생략이 가능하다. Input → Filter → Output 순서대로 작성한다. Input Plugin : 특정 이벤트 소스를 logstash에서 불러와 데이터가 스트리밍 되는 방식의 수집 기능을 제공한다. Filter Plugin : 데이터를 동적으로 변환, 통합한다. Output Plugin : 다양한 출력을 제공한다. 본 실습에서는 Output Plugin에서 Elastic으로 보낸다. Beats → Logstash → Elasticsearch → Kibana Beat와 Logstash는 생략 가능하다. 1. EC2 서버 만들기 (1) AWS 홈페이지 > .. 공감수 1 댓글수 1 2023. 12. 27.
[이론] ElasticSearch 개념, 특징, 기능 학교 SW중심대학사업단 X AWS AWS Cloud Winter Camp 오프라인 교육 첫날이 시작됐다! 5일 동안의 오프라인 첫날, ElasticSearch에 대한 기초적인 것을 배웠다. 1. Elasticsearch 소개 Elasticsearch는 오픈소스 검색 엔진으로 데이터의 가치를 높이기 위해 사용하는 부재료이다. 데이터를 적재하고 정제하여 클라이언트에게 보여주며 검색을 최적화하고 빠르게 하는 도구이다. Elasticsearch는 여러 분야에서 검색 기능으로 활용이 되는데 아래와 같은 항목들에서 활용될 수 있다. 대외 서비스 활용 : 검색 포탈, 뉴스/지식백과/사전, SNS/e커머스/소셜서비스 대내 서비스 활용 : 사내포탈/그룹웨어, 개발소스/로그 통합검색, 업무/마케팅 자료분석 (1) RDB .. 공감수 0 댓글수 0 2023. 12. 27.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.