Cloud
[GCP] GCP Compute Engine Key 생성, FileZila로 파일 전송 (PuttyGen, Filezila)
GCP Compute Engie에서 SSH Key 생성하기 1. 본인의 VM 인스턴스에서 SSH 연결을 하여 서버로 접속한다. 필자는 가장 쉬운 방법으로 "브라우저 창에서 열기"를 선택하였다. 2. RSA Key Pair를 생성한다. dudrhy12@beyondvision-instance:~$ ssh-keygen -t rsa -f ~/.ssh/{키파일 이름} -C "{유저 구글 아이디}" 3. Key 값을 확인한다. cat ~/.ssh/beyondVision-RSAkey.pub 4. Key 값을 등록한다. 메뉴 > 설정 > 메타데이터 > SSH키 에 접속하여 방금 확인한 Key 값을 추가한다. 이후 이 값으로는 Putty에서 SSH 연결을 하거나 Mac에서 SSH 연결을 할 때 사용할 수 있다. Key ..
[AWS] #3. RDS 설정 및 EC2 연결
이번 포스팅에서는 AWS의 RDS를 생성하고, 이미 생성한 EC2와 연결하는 방법을 적어보겠습니다. 1. RDS 데이터베이스 생성 (1) AWS > RDS > 데이터베이스 > 데이터베이스 생성에 접근한다. (2) 아래와 같이 설정한다. 본인이 사용할 엔진 유형과 엔진 버전을 설정한다. 역시나 과금을 막기 위해 프리티어로 템플릿을 선택한다. 추후 DB를 연동할 때 꼭 필요한 정보이므로 DB 인스턴스 식별자, 마스터 사용자 이름, 마스터 암호를 꼭 따로 메모해두어야 한다. 위 구성은 프리티어 정책에 따라 기본값으로 유지한다. 외부에서 DB 접근이 가능하도록 퍼블릭 엑세스 항목을 "예"로 설정하고, VPC 보안 그룹을 새로 만든다. 초기 DB 이름 지정을 위해 추가 구성에서 이름을 작성한다. 2. RDS와 E..
[AWS] #2. nginx 적용 및 포트포워딩
앞 포스팅까지만 한다면, 주소창에 탄력적 IP 주소를 입력했을 때 연결 거부가 뜰 것이다. 이에 대한 해결방법인 nginix를 적용하는 방법과 더 나아가 포트포워딩 방법까지 다루어보려고 한다. nginx 설치하기 (1) EC2 서버에 접속한다. 저는 AWS 사이트 내에서 "EC2 인스턴스 연결" 메뉴를 통해 접속하였습니다. (2) nginx 설치, 실행하는 명령어를 입력한다. 명령어는 아래와 같으며 ubuntu 기준입니다. sudo apt update sudo apt install nginx sudo service nginx start sudo service nginx status (3) 마지막 명령어를 통해 nginx가 정상적으로 active 되어 있는지 확인한다. 보안그룹 설정하기 (1) 생성한 EC..
[AWS] #1 서버 배포를 위한 EC2 생성
프로젝트를 진행하다 보면, 내가 직접 서버를 열고 DB를 연결하는 경우가 생기는데 이때 해야 하는 일들을 하나의 시리즈로 포스팅 해보려 한다. EC2 인스턴스 생성하기 1. AWS 사이트에 접속하여 EC2 검색 후 "인스턴스" 메뉴를 클릭한다. 2. 우측 상단에 "인스턴스 시작" 버튼을 클릭한다. 3. 인스턴스 정보를 아래와 같이 설정한다. (1) 기본 이름을 설정하고 (2) Ubuntu로 서버를 설정한다. (3),(4) AMI와 인스턴스 유형은 프리티어를 사용한다. AWS는 첫 가입 1년 간은 프리티어로 서비스들을 저렴하게 사용할 수 있기에 프리티어 스펙으로 설정한다. (5) "새 키 페어 생성"을 클릭하여 키 파일을 다운로드 받는다. 추가 다운로드는 불가하니 보관에 유의해야 한다. 이는 서버에 접속하..
[실습] ChatGPT로 Elastic Docs Chatbot 만들기
ElasticDocs GPT 로직 UI를 통해 사용자가 질의를 입력한다. Elastic 하이브리드에 검색을 요청한다. 영문 데이터를 수집하여 elasticsearch에 저장하고 vectorization을 하여 학습한다. 문서 본문과 URL을 반환한다. Open API Chat Completion에서 API를 호출하낟. 도메인 지식을 활용한 답변을 반환한다. Python에서 생성된 응답을 출력한다. 준비물 ML 노드가 활성화 된 Elastic Cloud 계정 Search용 크롤링 인덱스 Open API key Elastic Cloud에 준비된 모델 1. 수집 준비 하기 데이터 크롤링은 Elastic crawler을 사용하였다. (1) Integrations > web crawler 에서 index를 생성한..
[실습] Elasticsearch NLP - Sentiment Analysis 하기
1. 데이터 올리기 2. Eland와 Elasticsearch 연동하기 3. Huggingface에서 모델 선택해 탑재하기 4. 확인하기 [실습] Elasticsearch NLP - Text Embedding과 KNN search 하기 — y-seo의 딩코 기록들 (tistory.com) [실습] Elasticsearch NLP - Text Embedding과 KNN search 하기 개요 목표 : ElasticSearch에서 NLP를 적용할 수 있다. 순서 Elastic에 데이터를 올린다. Eland와 Elastic을 연동한다. Huggingface에서 모델을 선택해 탑재한다. 1. Elastic에 데이터 올리기 (1) Machine Learning > Data V y-seo.tistory.com 위 ..
[실습] Elasticsearch NLP - Text Embedding과 KNN search 하기
개요 목표 : ElasticSearch에서 NLP를 적용할 수 있다. 순서 Elastic에 데이터를 올린다. Eland와 Elastic을 연동한다. Huggingface에서 모델을 선택해 탑재한다. 1. Elastic에 데이터 올리기 (1) Machine Learning > Data Visualizer 에 접근하여 데이터 파일을 선택한다. (2) 데이터를 수정 없이 그대로 import 한다. (3) Dev Tools의 Console에서 잘 데이터가 올라갔는지 확인할 수 있다. GET {인덱스명}/_search 추가로 해당 실습을 위해 Elastic Cloud 권한 설정을 한다. (4) Elastic Cloud ML node 설정하기 자신의 Elastic Cloud Deployment > Edit에서 Ma..
[개념] Elastic NLP
NLP의 개념 (1) NLP가 하는 일 Low level parsing Tokenization : 문장 분리 stemming : 어근 추출 Word and phrase level NER : 고유 명사 인식 POS tagging : 형태소 분석 noun phrase chunking : 명사구 단위 분리 dependency parsing : 의존 구조 분석 coreference resolution : 참조 관계 분석 Sentence level sentiment analysis : 감정 분석 machine transiation : 기계 번역 Multi sentence and paragraph level entailment predinction : 모순 관계 예측 question answering : 질의 응답..