Tech for good

목차 6. 토픽 모델링(Topic Modeling) 6.2. 잠재 디리클레 할당(Latent Dirichlet Allocation, LDA) 6.2.1. 잠재 디리클레 할당(Latent Dirichlet Allocation, LDA) 개요 6.2.2. LDA의 가정 6.2.3. LDA의 수행하기 6.2.4. 잠재 디리클레 할당(LDA)과 잠재 의미 분석(LSA)의 차이 6.2.5. 실습을 통한 이해 (1) 정수 인코딩과 단어 집합 만들기 (2) LDA 모델 훈련시키기 (3) LDA 시각화하기 (4) 문서 별 토픽 분포 보기 6. 토픽 모델링(Topic Modeling) 6.2. 잠재 디리클레 할당(Latent Dirichlet Allocation; LDA) 토픽 모델링은 문서의 집합에서 토픽을 찾아내는 ..

목차 6. 토픽 모델링(Topic Modeling) 6.1. 잠재 의미 분석(Latent Semantic Analysis; LSA) 6.1.1. 특이값 분해(Singular Value Decomposition, SVD) (1) 전치 행렬(Transposed Matrix) (2) 단위 행렬(Identity Matrix) (3) 역행렬(Inverse Matrix) (4) 직교 행렬(Orthogonal Matrix) (5) 대각 행렬(Diagonal Matrix) 6.1.2. 절단된 SVD(Truncated SVD) 6.1.3. 잠재 의미 분석(Latent Semantic Analysis; LSA) 6.1.4. 실습을 통한 이해 (1) 뉴스그룹 데이터에 대한 이해 (2) 텍스트 전처리 (3) TF-IDF 행렬..

목차 4. 카운트 기반의 단어 표현(Count based word Representation) 4.4. TF-IDF(Term Frequency-Inverse Document Frequency) 4.4.1. TF-IDF(단어 빈도-역 문서 빈도, Term Frequency-Inverse Document Frequency) (1) tf(d,t) : 특정 문서 d에서의 특정 단어 t의 등장 횟수 (2) df(t) : 특정 단어 t가 등장한 문서의 수 (3) idf(d,t) : df(t)에 반비례하는 수 4.4.2. 파이썬으로 TF-IDF 직접 구현하기 4.4.3. 사이킷런을 이용한 DTM과 TF-IDF 실습 4. 카운트 기반의 단어 표현 4.4. TF-IDF(Term Frequency-Inverse Docum..

목차 4. 카운트 기반의 단어 표현(Count based word Representation) 4.3. 문서 단어 행렬(Document-Term Matrix, DTM) 4.3.1. 문서 단어 행렬(Document-Term Matrix, DTM)의 표기법 4.3.2. 문서 단어 행렬(Document-Term Matrix, DTM)의 한계 (1) 희소 표현(Sparse representation) (2) 단순 빈도 수 기반 접근 4. 카운트 기반의 단어 표현 4.3. 문서 단어 행렬(Document-Term Matrix, DTM) 이번 챕터에서는 각 문서에 대한 BoW 표현 방법을 그대로 갖고와서 서로 다른 문서들의 BoW들을 결합한 표현 방법인 문서 단어 행렬(Document-Term Matrix, DTM..

목차 4. 카운트 기반의 단어 표현(Count based word Representation) 4.2. Bag of Words(BoW) 4.2.1. Bag of Words란? 4.2.2. Bag of Words의 다른 예제들 4.2.3. CountVectorizer 클래스로 BoW 만들기 4.2.4. 불용어를 제거한 BoW 만들기 (1) 사용자가 직접 정의한 불용어 사용 (2) CountVectorizer에서 제공하는 자체 불용어 사용 (3) NLTK에서 지원하는 불용어 사용 4. 카운트 기반의 단어 표현 4.2. Bag of Words(BoW) 이번 챕터에서는 단어의 등장 순서를 고려하지 않는 빈도수 기반의 단어 표현 방법인 Bag of Words에 대해 학습한다. 4.2.1. Bag of Words란..

목차 4. 카운트 기반의 단어 표현(Count based word Representation) 4.1. 다양한 단어의 표현 방법 4.1.1. 단어의 표현 방법 4.1.2. 단어 표현의 카테고리화 4. 카운트 기반의 단어 표현 자연어 처리에서 텍스트를 표현하는 방법으로는 여러가지 방법이 있지만, 머신러닝 등의 알고리즘이 적용된 본격적인 자연어 처리를 위해서는 문자를 숫자로 수치화할 필요가 있다. 그러한 측면에서 이번 4챕터에서는 문자를 숫자로 수치화하는 방법에 대해 배우게 된다. 4.1. 다양한 단어의 표현 방법 이번 챕터의 제목은 카운트 기반의 단어 표현 방법이지만, 카운트 기반의 단어 표현 방법은 다음 챕터인 Bag of Words 챕터에서부터 배우게 된다. 지금은 카운트 기반의 단어 표현 외에도 다양..

터미널에서 code . 명령어로 vscode를 열려고 할 때, 아래와 같은 오류를 마주한다면? command not found: code vscode를 열고 Command(Ctrl) + Shift + p 를 단축키를 누르고 입력창에 shell을 입력한 후, Shell Command: Install 'code' command in PATH 를 선택한다. 그 다음 vscode를 종료 후, 터미널에서 code . 명령을 다시 실행한다.

명령어 검색 : F1 또는 Command(Ctrl) + Shift + p 서버 종료: Control + C 전체 선택 후, 자동 줄 맞춤: Ctrl + A 후 Ctrl + K + F Code is already running이 뜰 때 : CTRL + ALT + M눌러서 코드 종료 시키고 다시 Run Code로 실행 Interpreter 선택: Ctrl + Shift + P index.html 생성하기(기본 html 코드 세팅하는 법): !하고 엔터 자동으로 태그 닫아주는 기능: Extensions에서 'Auto Close Tag' 설치 여는 괄호과 닫는 괄호 쌍 쉽게 찾도록 도와주는 기능: Extensions에서 Bracket Pair Colorizer 설치 다중 커서, 여러줄 선택 및 수정: Ctrl ..

목차 6. 빅데이터 분석 기반의 구축 6.4. 클라우드 서비스에 의한 데이터 파이프라인 6.4.1. 데이터 분석과 클라우드 서비스의 관계 6.4.2. 아마존 웹 서비스(AWS) 6.4.3. 구글 클라우드 플랫폼(GCP) 6. 빅데이터 분석 기반의 구축 6.4. 클라우드 서비스에 의한 데이터 파이프라인 빅데이터를 위한 분산 시스템은 자신이 직접 구축, 유지, 보수하는 것이 아니라 클라우드 서비스를 사용하는 경우가 많아지고 있다. 이 절에서는 몇 가지 클라우스 서비스의 특징과 그 차이점에 대해 예를 들어 설명한다. 이 절에서는 다음의 클라우드 서비스에 의한 데이터 파이프라인에 대해서 설명한다. - 아마존 웹 서비스(AWS) - 구글 클라우드 플랫폼(GCP) 6.4.1. 데이터 분석과 클라우드 서비스의 관계 ..

목차 4. 빅데이터의 축적 4.4. 비구조화 데이터의 분산 스토리지 4.4.1. [기본 전략] NoSQL 데이터베이스에 의한 데이터 활용 4.4.2. 분산 KVS - 디스크로의 쓰기 성능을 높이기 ① Amazon DynamoDB ② [기초지식] ACID 특성과 CAP 정리 4.4.3. 와이드 칼럼 스토어 - 구조화 데이터를 분석해서 저장하기 ① Apache Cassandra 4.4.4. 도큐먼트 스토어 - 스키마리스 데이터 관리하기 ① MongoDB 4.4.5. 검색 엔진 - 키워드 검색으로 데이터 검색 ① Elasticsearch ② Splunk 4. 빅데이터의 축적 4.4. 비구조화 데이터의 분산 스토리지 NoSQL 데이터베이스를 활용하면 데이터를 단순히 모아서 저장할 뿐만 아니라 애플리케이션에서 온..