분류 전체보기
[IT/SW 서포터즈] "스타트업 서포터즈 잇다(IT다)" 4기 활동 후기
2023년도 5월부터 3개월동안 참여했떤 스타트업 서포터즈 활동에 대한 후기, 회고를 적어보려고 합니다. 처음 스타트업 서포터즈로 활동해보았기에 그 과정동안 느꼈던 어려운 점들과 배운 점들을 모두 정리하면서 저도 다시 리마인드도 할 겸, 다시 자극받을 겸 후기를 쓰게 되었습니다. 😊 구체적인 업무나 사업 아이템들이 모두 기밀이라.. 사진 자료들까지 조금 빈약한 점 양해부탁드립니다. 잇다(IT다)란? 잇다 (IT다) 활동은 우리 학교 캠퍼스타운에서 진행한 사업의 일종이다. 캠퍼스타운에 입주해 있는 스타트업과 학교 학생들을 연결하여 3개월동안 학생이 스타트업의 개발자로 일할 수 있게 하는 활동이다. 스타트업에게는 인건비가 안 드는 인력을, 학생에게는 실무 경험을 제공할 수 있다는 점에서 사업이 진행되는 것 ..
[부트캠프] comento(코멘토) "데이터엔지니어 직무부트캠프" 수료 후기
2023년도 여름방학에 진행했던 comento 직무부트캠프 수료 후기를 써보려고 합니다. 당시 지원 전에 알아볼 때 후기들이 많이 없어서 많이 고민했던 기억이 있어 다른 분들께 도움이 되고자, 회고겸 쓰게 되었습니다. 보시다가 궁금하신 점들은 댓글, 메일 편하게 주세요! 😊 comento란? comento는 온라인 직무부트캠프를 진행하는 플랫폼이다. 직무 종류는 다양한데 마케팅, 반도체, IT/SW, 물류 이렇게 있다. comento에서 진행하는 직무부트캠프는 5주동안 3~7년차 현직자와 함께 실무 현업 과제를 수행하며 직무 경험을 쌓는 온라인 직무교육 프로그램이다. ( https://comento.kr/?index ) 코멘토 comento.kr 진행방식은 100% 비대면이며, 현직자분들이 캠프를 진행하..
[멘토링] KT 랜선야학 5기 "AI 코딩 교육" 후기
저번 KT 랜선야학 활동 후기에 이어 KT 랜선야학을 활동하면서 진행했던 "AI 코딩 교육"에 대한 후기를 적어보려고 합니다. AI 코딩 교육에 대한 후기는 적은 것 같아 많은 분들께 참고가 되었으면 좋겠습니다. 😊 AI 코딩 교육이란? KT 랜선야학에서는 국어, 영어, 수학 이외에도 멘토가 AI 코딩 수업을 진행할 수 있다. 이는 정규 수업 시간 (주4시간) 이외에 진행되는 수업이며, 필수는 아니고 선택으로 진행할 수 있다. 처음 지원서를 낼 때와, 합격 후 수업에 대한 조사를 할 때 AI 코딩 수업을 진행할지 여부를 선택할 수 있다. 선택한다고 모두 가능한 것은 아니고 매칭된 멘티가 모두 AI 코딩 교육을 원해야지만 할 수 있다. 추가로 AI 코딩 교육을 시키는 그룹 수도 제한되어 있는 것 같았다. ..
[실습] ChatGPT로 Elastic Docs Chatbot 만들기
ElasticDocs GPT 로직 UI를 통해 사용자가 질의를 입력한다. Elastic 하이브리드에 검색을 요청한다. 영문 데이터를 수집하여 elasticsearch에 저장하고 vectorization을 하여 학습한다. 문서 본문과 URL을 반환한다. Open API Chat Completion에서 API를 호출하낟. 도메인 지식을 활용한 답변을 반환한다. Python에서 생성된 응답을 출력한다. 준비물 ML 노드가 활성화 된 Elastic Cloud 계정 Search용 크롤링 인덱스 Open API key Elastic Cloud에 준비된 모델 1. 수집 준비 하기 데이터 크롤링은 Elastic crawler을 사용하였다. (1) Integrations > web crawler 에서 index를 생성한..
[실습] Elasticsearch NLP - Sentiment Analysis 하기
1. 데이터 올리기 2. Eland와 Elasticsearch 연동하기 3. Huggingface에서 모델 선택해 탑재하기 4. 확인하기 [실습] Elasticsearch NLP - Text Embedding과 KNN search 하기 — y-seo의 딩코 기록들 (tistory.com) [실습] Elasticsearch NLP - Text Embedding과 KNN search 하기 개요 목표 : ElasticSearch에서 NLP를 적용할 수 있다. 순서 Elastic에 데이터를 올린다. Eland와 Elastic을 연동한다. Huggingface에서 모델을 선택해 탑재한다. 1. Elastic에 데이터 올리기 (1) Machine Learning > Data V y-seo.tistory.com 위 ..
[실습] Elasticsearch NLP - Text Embedding과 KNN search 하기
개요 목표 : ElasticSearch에서 NLP를 적용할 수 있다. 순서 Elastic에 데이터를 올린다. Eland와 Elastic을 연동한다. Huggingface에서 모델을 선택해 탑재한다. 1. Elastic에 데이터 올리기 (1) Machine Learning > Data Visualizer 에 접근하여 데이터 파일을 선택한다. (2) 데이터를 수정 없이 그대로 import 한다. (3) Dev Tools의 Console에서 잘 데이터가 올라갔는지 확인할 수 있다. GET {인덱스명}/_search 추가로 해당 실습을 위해 Elastic Cloud 권한 설정을 한다. (4) Elastic Cloud ML node 설정하기 자신의 Elastic Cloud Deployment > Edit에서 Ma..
[개념] Elastic NLP
NLP의 개념 (1) NLP가 하는 일 Low level parsing Tokenization : 문장 분리 stemming : 어근 추출 Word and phrase level NER : 고유 명사 인식 POS tagging : 형태소 분석 noun phrase chunking : 명사구 단위 분리 dependency parsing : 의존 구조 분석 coreference resolution : 참조 관계 분석 Sentence level sentiment analysis : 감정 분석 machine transiation : 기계 번역 Multi sentence and paragraph level entailment predinction : 모순 관계 예측 question answering : 질의 응답..
[실습] Elasticsearch에서 Machine Learning 사용하기
실습 개요 Elasticsearch가 제공하는 machine learning 기능을 사용해본다. 목록 Anomaly Detection Population Detection Outlier Detection supervised learning & prediction 1. 시계열 데이터에서 Single Metric으로 이상징후 탐지하기 & forecating하기 (1) Machine Learning > Anomaly Detection > Create job 에 접근한다. job은 머신러닝 모델을 의미한다. (2) 데이터셋 선택 > Single metric 선택 > Use full data 클릭한다. 이번 실습에서는 single metric을 선택한다. (3) field를 선택한다. y축을 선택하는 것이다. 본..