Tech for good

(책: 수제비 2021 빅데이터분석기사 필기 최종 모의고사 1회) 1과목) 빅데이터 분석 기획 - 빅데이터의 특성 : 규모, 다양성, 속도, 신뢰성, 가치, 정확성, 휘발성 (오답: 사용성(Usability) - 빅데이터의 유형 정형: 관계형 데이터 베이스 반정형: JSON, HTML, XML 비정형: 텍스트 문서, 이미지 - 조직구조 기능 조직 구조: 일반적인 형태로 별도 분석조직이 없고 해당 부서에서 분석을 수행한다. - 빅데이터 수집 기술 : ETL, EAI, 크롤러(Crawler) (오답: NoSQL - 빅데이터 저장 기술) - 하둡 분산 파일 시스템(HDFS) : 대용량 파일을 저장하고 처리하기 위해서 개발된 파일 시스템, 네임 노드(master)와 데이터 노드(Slave)로 구성된 것. - 하..

(한국어 임베딩(Sentence Embeddings Using Korean Corpora) - 이기창 지음 / NAVER Chatbot Model 감수) 목차 2. 벡터가 어떻게 의미를 가지게 되는가 2.1. 자연어 계산과 이해 2.2. 어떤 단어가 많이 쓰였는가 2.2.1. 백오브워즈 가정 2.2.2. TF-IDF 2.2.3. Deep Averaging Network 2.3. 단어가 어떤 순서로 쓰였는가 2.3.1. 통계 기반 언어 모델 2.3.2. 뉴럴 네트워크 기반 언어 모델 2.4. 어떤 단어가 같이 쓰였는가 2.4.1. 분포 가정 2.4.2. 분포와 의미 (1): 형태소 2.4.3. 분포와 의미 (2): 품사 2.4.4. 점별 상호 정보량 2.4.5. Word2Vec 2.5. 이 장의 요약 2...

한국어 임베딩(Sentence Embeddings Using Korean Corpora) - 이기창 지음 / NAVER Chatbot Model 감수 목차 1. 서론 1.1. 임베딩이란 1.2. 임베딩의 역할 1.2.1. 단어 / 문장 간 관련도 계산 1.2.2. 의미적 / 문법적 정보 함축 1.2.3. 전이 학습 1.3. 임베딩 기법의 역사와 종류 1.3.1. 통계 기반에서 뉴럴 네트워크 기반으로 1.3.2. 단어 수준에서 문장 수준으로 1.3.3. 룰 -> 엔드투엔드 -> 프리트레인/파인 튜닝 1.3.4. 임베딩의 종류와 성능 1. 서론 1.1. 임베딩이란 자연어 처리(Natural Language Processing) 분야에서 임베딩(Embedding)이란, 사람이 쓰는 자연어를 기계가 이해할 수 ..