Tech for good

https://wikidocs.net/21707 03) 어간 추출(Stemming) and 표제어 추출(Lemmatization) 이번 챕터에서는 정규화 기법 중 코퍼스에 있는 단어의 개수를 줄일 수 있는 기법인 표제어 추출(lemmatization)과 어간 추출(stemming)의 개념에 대해서 알아 ... wikidocs.net * 위의 책을 참고하여 작성된 글입니다. 목차 1. 표제어 추출(Lemmatization) 2. 어간 추출(Stemming) 3. 표제어 추출(Lemmatization)과 어간 추출(Stemming) 비교 정규화 기법 중 코퍼스에 있는 단어의 개수를 줄일 수 있는 기법으로 표제어 추출(lemmatization)과 어간 추출(stemming)이 있다. 이 두 작업은 서로 다른 ..

출처: 조경래 , 『처음 배우는 딥러닝 챗봇』, 한빛미디어(2020), p,235-272. 목차 8. 챗봇 엔진 만들기 8.1. 챗봇 엔진 소개 8.2. 챗봇 엔진 구조 8.3. 전처리 과정 8.4. 단어 사전 구축 및 시퀀스 생성 8.5. 의도 분류 모델 8.5.1. 의도 분류 모델 학습 8.5.2. 의도 분류 모듈 생성 8.6. 개체명 인식 모델 학습 8.6.1. 개체명 인식 모델 학습 8.6.2. 개체명 인식 모듈 생성 8.6. 개체명 인식 모델 8.7. 답변 검색 8.7.1. 데이터베이스 제어 모듈 생성 8.7.2. 답변 검색 모듈 생성 8. 챗봇 엔진 만들기 8.1. 챗봇 엔진 소개 '챗봇 엔진'이란 챗봇에서 핵심 기능을 하는 모듈이며, 화자의 질문을 이해하고 알맞은 답변을 출력하는 역할을 한다..

모든 출처: T아카데미(https://tacademy.skplanet.com/live/player/onlineLectureDetail.action?seq=123) 목차 1강. 딥러닝 및 자연어처리 소개 1.1. 자연어 이해 소개 1.2. Machine Learning Review 1.2.1. DNN 기본 Block 소개 1.3. Sequence to Sequence Learning 1.4. AI as Data transformation 1.4.1. Sequence Encoding Temporal Summarization 1.4.2. Sequence Decoding [실습] 감성분석기 개발(N21 문제) 개체명 분석기 개발(N2N 문제) 대화모델 개발(N2M 문제) 1강. 딥러닝 및 자연어처리 소개 1.1..

Amazon과 University of Illinois at Chicago(UIC)에서 얼마전 발표한 논문이다. https://www.amazon.science/publications/continual-learning-for-named-entity-recognition Continual learning for named entity recognition Amazon’s Global Real Estate & Facilities (GREF) team has an exciting opportunity for a data scientist to join the Global Workplace team (GWX).Our team is global in vision and structure, supporting ou..

모든 출처: Sk techx Tacademy (www.youtube.com/watch?v=zia49ZyKiX0&t=4s) 강의 목표 자연어 처리의 종류와, 자연어 처리가 현업에서 적용된 예제를 소개한다. BERT가 탄생하게 된 과정과, BERT에 적용된 메커니즘을 살펴본다. BERT를 이용한 다양한 자연어 처리 실험 결과들을 소개한다. Open source로 공개된 BERT 코드를 이용해 한국어 BERT를 학습해보고, 다양한 자연어 처리 task를 직접 실습해본다. 목차 2.언어 모델(Language Model) 2.1. 모델이란? 2.2. 언어 모델 2.2.1. Markov 확률 기반의 언어 모델 2.2.2. Recurrent Neural Network(RNN)기반의 언어 모델 (1) RNN 언어 모델..

모든 출처: Sk techx Tacademy (www.youtube.com/watch?v=qlxrXX5uBoU&t=1s) 강의 목표 자연어 처리의 종류와, 자연어 처리가 현업에서 적용된 예제를 소개한다. BERT가 탄생하게 된 과정과, BERT에 적용된 메커니즘을 살펴본다. BERT를 이용한 다양한 자연어 처리 실험 결과들을 소개한다. Open source로 공개된 BERT 코드를 이용해 한국어 BERT를 학습해보고, 다양한 자연어 처리 task를 직접 실습해본다. 목차 1. 자연어 처리(Natural Language Processing, NLP) 1.1. 자연어란? 1.2. 자연어 처리 기술 1.2.1. 자연어 처리 접근법 1.2.2. 자연어 처리 단계 1.2.3. 다양한 자연어 처리 Applicati..

(한국어 임베딩(Sentence Embeddings Using Korean Corpora) - 이기창 지음 / NAVER Chatbot Model 감수) 목차 2. 벡터가 어떻게 의미를 가지게 되는가 2.1. 자연어 계산과 이해 2.2. 어떤 단어가 많이 쓰였는가 2.2.1. 백오브워즈 가정 2.2.2. TF-IDF 2.2.3. Deep Averaging Network 2.3. 단어가 어떤 순서로 쓰였는가 2.3.1. 통계 기반 언어 모델 2.3.2. 뉴럴 네트워크 기반 언어 모델 2.4. 어떤 단어가 같이 쓰였는가 2.4.1. 분포 가정 2.4.2. 분포와 의미 (1): 형태소 2.4.3. 분포와 의미 (2): 품사 2.4.4. 점별 상호 정보량 2.4.5. Word2Vec 2.5. 이 장의 요약 2...

한국어 임베딩(Sentence Embeddings Using Korean Corpora) - 이기창 지음 / NAVER Chatbot Model 감수 목차 1. 서론 1.1. 임베딩이란 1.2. 임베딩의 역할 1.2.1. 단어 / 문장 간 관련도 계산 1.2.2. 의미적 / 문법적 정보 함축 1.2.3. 전이 학습 1.3. 임베딩 기법의 역사와 종류 1.3.1. 통계 기반에서 뉴럴 네트워크 기반으로 1.3.2. 단어 수준에서 문장 수준으로 1.3.3. 룰 -> 엔드투엔드 -> 프리트레인/파인 튜닝 1.3.4. 임베딩의 종류와 성능 1. 서론 1.1. 임베딩이란 자연어 처리(Natural Language Processing) 분야에서 임베딩(Embedding)이란, 사람이 쓰는 자연어를 기계가 이해할 수 ..