목록자연어처리 (6)

Tech for good

텍스트 전처리(Text preprocessing) - 표제어 추출(Lemmatization) & 어간 추출(Stemming)

https://wikidocs.net/21707 03) 어간 추출(Stemming) and 표제어 추출(Lemmatization) 이번 챕터에서는 정규화 기법 중 코퍼스에 있는 단어의 개수를 줄일 수 있는 기법인 표제어 추출(lemmatization)과 어간 추출(stemming)의 개념에 대해서 알아 ... wikidocs.net * 위의 책을 참고하여 작성된 글입니다. 목차 1. 표제어 추출(Lemmatization) 2. 어간 추출(Stemming) 3. 표제어 추출(Lemmatization)과 어간 추출(Stemming) 비교 정규화 기법 중 코퍼스에 있는 단어의 개수를 줄일 수 있는 기법으로 표제어 추출(lemmatization)과 어간 추출(stemming)이 있다. 이 두 작업은 서로 다른 ..
IT/Data Science 2021. 9. 28. 09:43
[T아카데미] 딥러닝을 활용한 자연어 처리 기술 실습 1강

모든 출처: T아카데미(https://tacademy.skplanet.com/live/player/onlineLectureDetail.action?seq=123) 목차 1강. 딥러닝 및 자연어처리 소개 1.1. 자연어 이해 소개 1.2. Machine Learning Review 1.2.1. DNN 기본 Block 소개 1.3. Sequence to Sequence Learning 1.4. AI as Data transformation 1.4.1. Sequence Encoding Temporal Summarization 1.4.2. Sequence Decoding [실습] 감성분석기 개발(N21 문제) 개체명 분석기 개발(N2N 문제) 대화모델 개발(N2M 문제) 1강. 딥러닝 및 자연어처리 소개 1.1..
IT/Data Science 2021. 6. 2. 17:51
자연어 언어모델 ‘BERT’ 2강 - 언어 모델(Language Model) | T아카데미

모든 출처: Sk techx Tacademy (www.youtube.com/watch?v=zia49ZyKiX0&t=4s) 강의 목표 자연어 처리의 종류와, 자연어 처리가 현업에서 적용된 예제를 소개한다. BERT가 탄생하게 된 과정과, BERT에 적용된 메커니즘을 살펴본다. BERT를 이용한 다양한 자연어 처리 실험 결과들을 소개한다. Open source로 공개된 BERT 코드를 이용해 한국어 BERT를 학습해보고, 다양한 자연어 처리 task를 직접 실습해본다. 목차 2.언어 모델(Language Model) 2.1. 모델이란? 2.2. 언어 모델 2.2.1. Markov 확률 기반의 언어 모델 2.2.2. Recurrent Neural Network(RNN)기반의 언어 모델 (1) RNN 언어 모델..
IT/Data Science 2021. 4. 19. 13:21
자연어 언어모델 ‘BERT’ 1강 - 자연어 처리 (NLP) | T아카데미

모든 출처: Sk techx Tacademy (www.youtube.com/watch?v=qlxrXX5uBoU&t=1s) 강의 목표 자연어 처리의 종류와, 자연어 처리가 현업에서 적용된 예제를 소개한다. BERT가 탄생하게 된 과정과, BERT에 적용된 메커니즘을 살펴본다. BERT를 이용한 다양한 자연어 처리 실험 결과들을 소개한다. Open source로 공개된 BERT 코드를 이용해 한국어 BERT를 학습해보고, 다양한 자연어 처리 task를 직접 실습해본다. 목차 1. 자연어 처리(Natural Language Processing, NLP) 1.1. 자연어란? 1.2. 자연어 처리 기술 1.2.1. 자연어 처리 접근법 1.2.2. 자연어 처리 단계 1.2.3. 다양한 자연어 처리 Applicati..
IT/Data Science 2021. 4. 18. 12:42
한국어 임베딩 - 2. 벡터가 어떻게 의미를 가지게 되는가

(한국어 임베딩(Sentence Embeddings Using Korean Corpora) - 이기창 지음 / NAVER Chatbot Model 감수) 목차 2. 벡터가 어떻게 의미를 가지게 되는가 2.1. 자연어 계산과 이해 2.2. 어떤 단어가 많이 쓰였는가 2.2.1. 백오브워즈 가정 2.2.2. TF-IDF 2.2.3. Deep Averaging Network 2.3. 단어가 어떤 순서로 쓰였는가 2.3.1. 통계 기반 언어 모델 2.3.2. 뉴럴 네트워크 기반 언어 모델 2.4. 어떤 단어가 같이 쓰였는가 2.4.1. 분포 가정 2.4.2. 분포와 의미 (1): 형태소 2.4.3. 분포와 의미 (2): 품사 2.4.4. 점별 상호 정보량 2.4.5. Word2Vec 2.5. 이 장의 요약 2...
IT/Data Science 2021. 4. 14. 16:58
한국어 임베딩 - 1. 서론

한국어 임베딩(Sentence Embeddings Using Korean Corpora) - 이기창 지음 / NAVER Chatbot Model 감수 목차 1. 서론 1.1. 임베딩이란 1.2. 임베딩의 역할 1.2.1. 단어 / 문장 간 관련도 계산 1.2.2. 의미적 / 문법적 정보 함축 1.2.3. 전이 학습 1.3. 임베딩 기법의 역사와 종류 1.3.1. 통계 기반에서 뉴럴 네트워크 기반으로 1.3.2. 단어 수준에서 문장 수준으로 1.3.3. 룰 -> 엔드투엔드 -> 프리트레인/파인 튜닝 1.3.4. 임베딩의 종류와 성능 1. 서론 1.1. 임베딩이란 자연어 처리(Natural Language Processing) 분야에서 임베딩(Embedding)이란, 사람이 쓰는 자연어를 기계가 이해할 수 ..
IT/Data Science 2021. 4. 13. 16:41
이전 Prev 1 Next 다음