Tech for good

모든 출처: Sk techx Tacademy (www.youtube.com/watch?v=qlxrXX5uBoU&t=1s) 강의 목표 자연어 처리의 종류와, 자연어 처리가 현업에서 적용된 예제를 소개한다. BERT가 탄생하게 된 과정과, BERT에 적용된 메커니즘을 살펴본다. BERT를 이용한 다양한 자연어 처리 실험 결과들을 소개한다. Open source로 공개된 BERT 코드를 이용해 한국어 BERT를 학습해보고, 다양한 자연어 처리 task를 직접 실습해본다. 목차 1. 자연어 처리(Natural Language Processing, NLP) 1.1. 자연어란? 1.2. 자연어 처리 기술 1.2.1. 자연어 처리 접근법 1.2.2. 자연어 처리 단계 1.2.3. 다양한 자연어 처리 Applicati..

(책: 수제비 2021 빅데이터분석기사 필기 최종 모의고사 3회) 1과목) 빅데이터 분석 기획 - 빅데이터의 특성 다양성(Variety): 정형 데이터뿐만 아니라 비정형, 반정형 데이터를 포함하는 특징 휘발성(Volatility): 데이터가 얼마나 오래 저장될 수 있고, 타당하여 오랫동안 쓰일 수 있을지에 관한 특징 정확성(Validity): 데이터의 규모가 아무리 크더라도 질 높은 데이터를 활용한 정확한 분석 수행이 없다면 의미가 없다는 특징 - 시스템 다이내믹스 : 사업이나 사회 시스템 등과 같은 복잡한 피드백 시스템을 연구하고 관리하는 방법 - 빅데이터 조직 구조 기능 구조: 전사적 핵심 분석이 어려우며, 과거에 국한된 분석을 수행하는 구조 / 별도 분석조직이 없고 해당 부서에서 분석을 수행하는 구..

(책: 수제비 2021 빅데이터분석기사 필기 최종 모의고사 2회) 1과목) 빅데이터 분석 기획 - 데이터 수집 : ETL, 크롤러, EAI - 정보통신망법 : 정보통신망을 통하여 수집, 처리, 보관, 이용되는 개인정보의 보호에 관한 규정 법령 : (오답 주의! -> 개인정보 보호법) - 개인정보 비식별 조치 방법 데이터 삭제 : ex) 주민등록번호 901212-1234567 -> 90년대 생, 남자 - 통찰(Insight) : 분석 대상 X / 분석 방식 O : 분석의 대상이 명확하게 무엇인지 모르는 경우, 기존 분석 방식을 활용하여 새로운 지식을 도출하는 것 - KDD 분석 방법론 : Fayyad가 프로파일링 기술을 기반으로 통계적 패턴이나 지식을 찾기 위해 체계적으로 정리한 방법론 - 데이터 확보 계..

(책: 수제비 2021 빅데이터분석기사 필기 최종 모의고사 1회) 1과목) 빅데이터 분석 기획 - 빅데이터의 특성 : 규모, 다양성, 속도, 신뢰성, 가치, 정확성, 휘발성 (오답: 사용성(Usability) - 빅데이터의 유형 정형: 관계형 데이터 베이스 반정형: JSON, HTML, XML 비정형: 텍스트 문서, 이미지 - 조직구조 기능 조직 구조: 일반적인 형태로 별도 분석조직이 없고 해당 부서에서 분석을 수행한다. - 빅데이터 수집 기술 : ETL, EAI, 크롤러(Crawler) (오답: NoSQL - 빅데이터 저장 기술) - 하둡 분산 파일 시스템(HDFS) : 대용량 파일을 저장하고 처리하기 위해서 개발된 파일 시스템, 네임 노드(master)와 데이터 노드(Slave)로 구성된 것. - 하..

(한국어 임베딩(Sentence Embeddings Using Korean Corpora) - 이기창 지음 / NAVER Chatbot Model 감수) 목차 2. 벡터가 어떻게 의미를 가지게 되는가 2.1. 자연어 계산과 이해 2.2. 어떤 단어가 많이 쓰였는가 2.2.1. 백오브워즈 가정 2.2.2. TF-IDF 2.2.3. Deep Averaging Network 2.3. 단어가 어떤 순서로 쓰였는가 2.3.1. 통계 기반 언어 모델 2.3.2. 뉴럴 네트워크 기반 언어 모델 2.4. 어떤 단어가 같이 쓰였는가 2.4.1. 분포 가정 2.4.2. 분포와 의미 (1): 형태소 2.4.3. 분포와 의미 (2): 품사 2.4.4. 점별 상호 정보량 2.4.5. Word2Vec 2.5. 이 장의 요약 2...

한국어 임베딩(Sentence Embeddings Using Korean Corpora) - 이기창 지음 / NAVER Chatbot Model 감수 목차 1. 서론 1.1. 임베딩이란 1.2. 임베딩의 역할 1.2.1. 단어 / 문장 간 관련도 계산 1.2.2. 의미적 / 문법적 정보 함축 1.2.3. 전이 학습 1.3. 임베딩 기법의 역사와 종류 1.3.1. 통계 기반에서 뉴럴 네트워크 기반으로 1.3.2. 단어 수준에서 문장 수준으로 1.3.3. 룰 -> 엔드투엔드 -> 프리트레인/파인 튜닝 1.3.4. 임베딩의 종류와 성능 1. 서론 1.1. 임베딩이란 자연어 처리(Natural Language Processing) 분야에서 임베딩(Embedding)이란, 사람이 쓰는 자연어를 기계가 이해할 수 ..

Technology Red wine Jazz Lala land Purple Diversity World Cat Green Spring Salmon salad Steak Paella Iced latte Acai Bowl Jogger pants Language Riding a bike The way by Ariana Grande Beach Cocktails Hip-hop Making world happier and healthier