목록topicmodeling (3)

Tech for good

[딥러닝을 이용한 자연어 처리 입문] 6. 토픽 모델링(Topic Modeling)- 3) 잠재 디리클레 할당(LDA) 실습2

목차 6. 토픽 모델링(Topic Modeling) 6.3. 잠재 디리클레 할당(LDA) 실습2 6.3.1. 실습을 통한 이해 1) 뉴스 기사 제목 데이터에 대한 이해 2) 텍스트 전처리 3) TF-IDF 행렬 만들기 4) 토픽 모델링 6. 토픽 모델링(Topic Modeling) 6.3. 잠재 디리클레 할당(LDA) 실습2 앞서 gensim을 통해서 LDA를 수행하고, 시각화를 진행해보았다. 이번에는 LSA 챕터에서처럼 사이킷런을 사용하여 LDA를 수행하여 보겠다. 사이킷런을 사용하므로 전반적인 과정은 LSA 챕터와 유사하다. 6.3.1. 실습을 통한 이해 1) 뉴스 기사 제목 데이터에 대한 이해 약 15년 동안 발행되었던 뉴스 기사 제목을 모아놓은 영어 데이터를 아래 링크에서 다운받을 수 있다. 링크..
IT/Data Science 2021. 10. 14. 12:08
[딥러닝을 이용한 자연어 처리 입문] 6. 토픽 모델링(Topic Modeling)- 2) 잠재 디리클레 할당(Latent Dirichlet Allocation, LDA)

목차 6. 토픽 모델링(Topic Modeling) 6.2. 잠재 디리클레 할당(Latent Dirichlet Allocation, LDA) 6.2.1. 잠재 디리클레 할당(Latent Dirichlet Allocation, LDA) 개요 6.2.2. LDA의 가정 6.2.3. LDA의 수행하기 6.2.4. 잠재 디리클레 할당(LDA)과 잠재 의미 분석(LSA)의 차이 6.2.5. 실습을 통한 이해 (1) 정수 인코딩과 단어 집합 만들기 (2) LDA 모델 훈련시키기 (3) LDA 시각화하기 (4) 문서 별 토픽 분포 보기 6. 토픽 모델링(Topic Modeling) 6.2. 잠재 디리클레 할당(Latent Dirichlet Allocation; LDA) 토픽 모델링은 문서의 집합에서 토픽을 찾아내는 ..
IT/Data Science 2021. 10. 14. 11:44
[딥러닝을 이용한 자연어 처리 입문] 6. 토픽 모델링(Topic Modeling)- 1) 잠재 의미 분석(Latent Semantic Analysis, LSA)

목차 6. 토픽 모델링(Topic Modeling) 6.1. 잠재 의미 분석(Latent Semantic Analysis; LSA) 6.1.1. 특이값 분해(Singular Value Decomposition, SVD) (1) 전치 행렬(Transposed Matrix) (2) 단위 행렬(Identity Matrix) (3) 역행렬(Inverse Matrix) (4) 직교 행렬(Orthogonal Matrix) (5) 대각 행렬(Diagonal Matrix) 6.1.2. 절단된 SVD(Truncated SVD) 6.1.3. 잠재 의미 분석(Latent Semantic Analysis; LSA) 6.1.4. 실습을 통한 이해 (1) 뉴스그룹 데이터에 대한 이해 (2) 텍스트 전처리 (3) TF-IDF 행렬..
IT/Data Science 2021. 10. 14. 09:45
이전 Prev 1 Next 다음