전체 글

[실습] 데이터 관리 - Roles, User, Space, ILM, Snapshot, Connector

데이터 관리 실습 실습 : 데이터를 관리하는 실습을 진행한다. 상세 내용 : 권한 만들기, 유저 만들기, ILM 생성하고 부여하기 1. 권한 만들기 (1) Elasticsearch > Stack Management > Roles 에서 역할들을 확인할 수 있다. (2) 우측 상단의 Create Role을 선택하여 Role을 추가한다. (3) Role에 대한 설정을 추가한다. name은 guest로 설정하고 cluster privileges에서 read 관련 권한들을 부여한다. indices에 접근 가능한 index를 설정한다. (글쓴이는 이전에 추가해둔 데이터셋인 forest로 하였다.) Kibana는 Add Kibana privilege를 클릭하여 아래 사진과 같이 설정한다. (4) create role..

[이론] 데이터 전처리, 색인 관리, 시각화

1. Elastic 데이터 기본 구조 (1) 클러스터 구조 클러스터의 구조는 아래와 같다. (2) 노드 클러스터를 구성하는 단위 중 하나 elasticsearch onprem으로 설치할 수 있다. 노드는 클러스터로 가용성 때문에 묶어주어야 한다. 노드 하나가 죽어도 다른 노드가 가동될 수 있도록 하기 위함이다. 노드는 최소 3개 이상인 홀수 개를 설정해야 한다. 3개 이상이 권장된다. 서버 당 노드는 1개이다. 클라우드 생성 시에 설정한다. 별도 설정이 없을 때 http port #는 9200, tcp port #는 9300이다. 클러스터를 여러 개 두어 통신 가능하다. cluster.yml에 클러스터 번호를 작성해주어 구분하여 접근 가능하다. (3) 인덱스 구조 테이블과 동일한 개념이다. 인덱스의 기본..

[실습] Elasticsearch 실습 - logstash와 metricbeat 사용하기

실습 주제 주제 : 서버의 데이터 가져오기 방법 : 같은 환경의 EC2 띄워서 데이터를 가져오기 Logstash : 데이터 정제를 하는 것이다. 생략이 가능하다. Input → Filter → Output 순서대로 작성한다. Input Plugin : 특정 이벤트 소스를 logstash에서 불러와 데이터가 스트리밍 되는 방식의 수집 기능을 제공한다. Filter Plugin : 데이터를 동적으로 변환, 통합한다. Output Plugin : 다양한 출력을 제공한다. 본 실습에서는 Output Plugin에서 Elastic으로 보낸다. Beats → Logstash → Elasticsearch → Kibana Beat와 Logstash는 생략 가능하다. 1. EC2 서버 만들기 (1) AWS 홈페이지 > ..

[이론] ElasticSearch 개념, 특징, 기능

학교 SW중심대학사업단 X AWS AWS Cloud Winter Camp 오프라인 교육 첫날이 시작됐다! 5일 동안의 오프라인 첫날, ElasticSearch에 대한 기초적인 것을 배웠다. 1. Elasticsearch 소개 Elasticsearch는 오픈소스 검색 엔진으로 데이터의 가치를 높이기 위해 사용하는 부재료이다. 데이터를 적재하고 정제하여 클라이언트에게 보여주며 검색을 최적화하고 빠르게 하는 도구이다. Elasticsearch는 여러 분야에서 검색 기능으로 활용이 되는데 아래와 같은 항목들에서 활용될 수 있다. 대외 서비스 활용 : 검색 포탈, 뉴스/지식백과/사전, SNS/e커머스/소셜서비스 대내 서비스 활용 : 사내포탈/그룹웨어, 개발소스/로그 통합검색, 업무/마케팅 자료분석 (1) RDB ..

[CS][데이터베이스 시스템 3판] Chapter18. Cash Recovery

Motivation Atomicity : Transaction이 abort 할 수 있다. (rollback) Durability → 만약 DBMS가 실행을 중단하면? 시스템 재시작 후 원하는 동작 T1, T2, T3가 durable 해야 한다. (이미 commit 되어 durability를 책임져야 한다.) → 변경 상태가 DB에 남아 있어야 한다. (안 남아 있다면 ReDo 필요) T4, T5는 abort(스스로X, 시스템이) 되어야 한다. (atomicity를 책임져야 한다.) → action이 없던 것처럼 recover 되어야 한다. (recovery는 abort 까지만, 다시 수행시키지는 않는다.) Read : 상태변화 X → 상관 X, 영향 X Write : 상태변화 했을 수도 → 상관 O, 모..

[CS][데이터베이스 시스템 3판] Chapter16. Transaction Processing Concepts

Single-User VS Multi-User Systems single-user systems : DBMS에 동시에 한 사람만 access 할 수 있는 시스템 multi-user systems : DBMS에 동시에 여러 사람이 access 할 수 있는 시스템 Transactions transaction은 DBMS의 추상적인 view이다. read와 write 순서를 포함하는 DB 처리의 logical한 unit DBMS에서의 논리적인 처리 단위(unit) read, write 오퍼레이션으로 이루어져 있음 read 오퍼레이션은 변화 X write 오퍼레이션은 변화 O Concurrent execution이 DBMS에 필수적이다. usability : 사용자들이 동시 access을 원해서 performan..

[CS][데이터베이스 시스템 3판] Chapter05. SQL

Pattern matching = LIKE Operator 문자 패턴 부여 필요 → wild-card symbol 사용 % : 0개 이상의 arbitarary characters, 그 position에 아무거나 와도 되고 그 후로도 아무거나 올 수 있음 _ : under score, 1개 이상의 arbitarary characters, 그 position에 무언가 오긴 와야 하는데 아무거나 올 수 있음 _AB% : 1번째 글자가 오긴 오는데 아무거나 와도 좋고, 그 후에 AB 오고 (대소문자 구분 필요) 그 후에는 없거나 아무거나 와도 된다. Set Operations UNION : 합집합 INTERSECT : 교집합 MINUS : 차집합 (NOT) IN : membership, (안)나타나는지 op A..

[CS][알기 쉬운 정보보호개론 3판] Chapter15. SSL/TLS

웹 보안의 필요성 인터넷은 처음 개발 당시, 서비스/네트워크가 더 시급했기 때문에 보안을 고려하지 않았다. 추후에 보안 서비스를 추가하게 되었다 그것이 TLS/SSL이다. WWW는 인터넷과 TCP/TP 상에서 돌아가는 클라이언트 및 서버 응용프로그램이다. 다음과 같은 이유로 WWW에는 보안 기술이 요구된다. 웹 서버를 구성하고 웹 컨텐츠를 개발하는 것은 점점 쉬워지고 있지만, 그 내부에서 돌아가는 것들은 매우 복잡하다. 따라서 우리가 알지 못하는 보안적 결함이 숨어 있을 수 있따. 웹 서버(외부에서의 관문)를 침입 기반으로 하여 (다른) 전체 시스템에 침입할 수 있다. 웹 기반 서비스 이용자는 상대적으로 보안에 대하여 잘 알지 못하는 사람이 대부분이다. (이용자에게 신뢰를 주어야 해서) 웹 보안 위협 S..

[CS][알기 쉬운 정보보호개론 3판] Chapter14. 이메일 보안

이메일과 프로토콜 SMTP 와 IMAP/POP이 주로 사용된다. SMTP simple mail transfer protocol (정말 simpl해서 mail만 보낼 수 있다.) 발신지에서 목적지까지 인터넷을 통해 메세지를 이동하는 데에 사용하는 프로토콜 이메일 메세지를 봉투(envelope)에 캡슐화하고 캡슐화된 메세지를 발신지에서 목적지까지 다수의 MTA(mail transfer agent : 중간중간의 router)를 통해 전송 클라이언트-서버 사이에서의 SMTP (송수신자 서버 사이에서 작동) 클라이언트(이메일 송신자)가 서버(다음-홉 수신자)에 접촉하고 해당 메세지가 전송되어야 할 곳에 대한 정보를 말해주는 명령어 집합을 제시하며 메세지를 전송하는 역할 MTA 간의 SMTP 한 MTA가 메세지를 ..

[CS][알기 쉬운 정보보호개론 3판] Chapter13. 난수

난수의 용도 키 생성 난수를 안쓰면 인간의 의지가 들어가서 예측이 쉬워진다. 대칭 암호나 메세지 인증 코드 (공개X) 키 쌍 생성 공개키 암호나 디지털 서명 초기화 벡터(IV) 생성 블록 암호 모드인 CBC, CFB, OFB 비표(nonce) 생성 재전송 공격 방지나 블록 암호의 CTR 모드 솔트 생성 패스워드를 기초로 한 암호화 (PBE) 일회용 패드 패딩에 사용되는 열을 생성 아무리 강한 암호 알고리즘이라도 키가 공격자에게 알려져 버리면 아무 의미가 없다. 난수를 사용해서 키를 만들어, 공격자에게 키를 간파당하지 않도록 한다. (사람의 의지↓) 현재 사용되고 있는 대부분의 보안 프로토콜에서 난수가 사용되고 있다. 암호 알고리즘에서 각종 키 생성 in protocol 프로토콜에서 재전송 공격(Repla..