Tech for good

Amazon과 University of Illinois at Chicago(UIC)에서 얼마전 발표한 논문이다. https://www.amazon.science/publications/continual-learning-for-named-entity-recognition Continual learning for named entity recognition Amazon’s Global Real Estate & Facilities (GREF) team has an exciting opportunity for a data scientist to join the Global Workplace team (GWX).Our team is global in vision and structure, supporting ou..

절대로 고개 떨구지 마라. 고개를 쳐들고 세상을 똑바로 바라보라. - 헬렌 켈러 경쟁을 두려워하지 않는 습관 여성들은 성적이 중시되는 학교 교실에 머무르는 동안에는 분명 두각을 드러낸다. 하지만 적극적으로 치열한 경쟁을 벌여야 하는 직장 세계에서 자신 있게 행동하는 법을 교실 안에서는 가르쳐주지 않는다. 너무도 많은 여자아이들이 점수를 잘 받는 일에만 골몰할 뿐, 학교 밖 세상에서 필요로 하는 정말 중요한 수업은 등한시하고 있다. "여자애들은 아직도 경쟁을 요구하는 스포츠를 하려고 하지 않아요. 경쟁을 해서 이긴다는 것이 무엇인지 배울 수 있는 게 바로 스포츠인데 말이죠." 여성들에게 공직 출마 방법을 교육시키는 비영리 단체 '러닝 스타트'의 공동 설립자인 웰포드 샤코우의 말이다. 스포츠가 성장하는 아이..

www.kaggle.com/soham1024/know-about-different-automl-frameworks Know About Different AutoML Frameworks Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources www.kaggle.com -> AutoML Frameworks에 대해 정리해놓은 글이다. docs.microsoft.com/en-us/azure/machine-learning/concept-automated-ml (영문) docs.microsoft.com/ko-kr/azure/machine-learning/concept-automated-ml (..

모든 출처: Sk techx Tacademy (www.youtube.com/watch?v=zia49ZyKiX0&t=4s) 강의 목표 자연어 처리의 종류와, 자연어 처리가 현업에서 적용된 예제를 소개한다. BERT가 탄생하게 된 과정과, BERT에 적용된 메커니즘을 살펴본다. BERT를 이용한 다양한 자연어 처리 실험 결과들을 소개한다. Open source로 공개된 BERT 코드를 이용해 한국어 BERT를 학습해보고, 다양한 자연어 처리 task를 직접 실습해본다. 목차 2.언어 모델(Language Model) 2.1. 모델이란? 2.2. 언어 모델 2.2.1. Markov 확률 기반의 언어 모델 2.2.2. Recurrent Neural Network(RNN)기반의 언어 모델 (1) RNN 언어 모델..

모든 출처: Sk techx Tacademy (www.youtube.com/watch?v=qlxrXX5uBoU&t=1s) 강의 목표 자연어 처리의 종류와, 자연어 처리가 현업에서 적용된 예제를 소개한다. BERT가 탄생하게 된 과정과, BERT에 적용된 메커니즘을 살펴본다. BERT를 이용한 다양한 자연어 처리 실험 결과들을 소개한다. Open source로 공개된 BERT 코드를 이용해 한국어 BERT를 학습해보고, 다양한 자연어 처리 task를 직접 실습해본다. 목차 1. 자연어 처리(Natural Language Processing, NLP) 1.1. 자연어란? 1.2. 자연어 처리 기술 1.2.1. 자연어 처리 접근법 1.2.2. 자연어 처리 단계 1.2.3. 다양한 자연어 처리 Applicati..

(책: 수제비 2021 빅데이터분석기사 필기 최종 모의고사 3회) 1과목) 빅데이터 분석 기획 - 빅데이터의 특성 다양성(Variety): 정형 데이터뿐만 아니라 비정형, 반정형 데이터를 포함하는 특징 휘발성(Volatility): 데이터가 얼마나 오래 저장될 수 있고, 타당하여 오랫동안 쓰일 수 있을지에 관한 특징 정확성(Validity): 데이터의 규모가 아무리 크더라도 질 높은 데이터를 활용한 정확한 분석 수행이 없다면 의미가 없다는 특징 - 시스템 다이내믹스 : 사업이나 사회 시스템 등과 같은 복잡한 피드백 시스템을 연구하고 관리하는 방법 - 빅데이터 조직 구조 기능 구조: 전사적 핵심 분석이 어려우며, 과거에 국한된 분석을 수행하는 구조 / 별도 분석조직이 없고 해당 부서에서 분석을 수행하는 구..

(책: 수제비 2021 빅데이터분석기사 필기 최종 모의고사 2회) 1과목) 빅데이터 분석 기획 - 데이터 수집 : ETL, 크롤러, EAI - 정보통신망법 : 정보통신망을 통하여 수집, 처리, 보관, 이용되는 개인정보의 보호에 관한 규정 법령 : (오답 주의! -> 개인정보 보호법) - 개인정보 비식별 조치 방법 데이터 삭제 : ex) 주민등록번호 901212-1234567 -> 90년대 생, 남자 - 통찰(Insight) : 분석 대상 X / 분석 방식 O : 분석의 대상이 명확하게 무엇인지 모르는 경우, 기존 분석 방식을 활용하여 새로운 지식을 도출하는 것 - KDD 분석 방법론 : Fayyad가 프로파일링 기술을 기반으로 통계적 패턴이나 지식을 찾기 위해 체계적으로 정리한 방법론 - 데이터 확보 계..

(책: 수제비 2021 빅데이터분석기사 필기 최종 모의고사 1회) 1과목) 빅데이터 분석 기획 - 빅데이터의 특성 : 규모, 다양성, 속도, 신뢰성, 가치, 정확성, 휘발성 (오답: 사용성(Usability) - 빅데이터의 유형 정형: 관계형 데이터 베이스 반정형: JSON, HTML, XML 비정형: 텍스트 문서, 이미지 - 조직구조 기능 조직 구조: 일반적인 형태로 별도 분석조직이 없고 해당 부서에서 분석을 수행한다. - 빅데이터 수집 기술 : ETL, EAI, 크롤러(Crawler) (오답: NoSQL - 빅데이터 저장 기술) - 하둡 분산 파일 시스템(HDFS) : 대용량 파일을 저장하고 처리하기 위해서 개발된 파일 시스템, 네임 노드(master)와 데이터 노드(Slave)로 구성된 것. - 하..

(한국어 임베딩(Sentence Embeddings Using Korean Corpora) - 이기창 지음 / NAVER Chatbot Model 감수) 목차 2. 벡터가 어떻게 의미를 가지게 되는가 2.1. 자연어 계산과 이해 2.2. 어떤 단어가 많이 쓰였는가 2.2.1. 백오브워즈 가정 2.2.2. TF-IDF 2.2.3. Deep Averaging Network 2.3. 단어가 어떤 순서로 쓰였는가 2.3.1. 통계 기반 언어 모델 2.3.2. 뉴럴 네트워크 기반 언어 모델 2.4. 어떤 단어가 같이 쓰였는가 2.4.1. 분포 가정 2.4.2. 분포와 의미 (1): 형태소 2.4.3. 분포와 의미 (2): 품사 2.4.4. 점별 상호 정보량 2.4.5. Word2Vec 2.5. 이 장의 요약 2...

한국어 임베딩(Sentence Embeddings Using Korean Corpora) - 이기창 지음 / NAVER Chatbot Model 감수 목차 1. 서론 1.1. 임베딩이란 1.2. 임베딩의 역할 1.2.1. 단어 / 문장 간 관련도 계산 1.2.2. 의미적 / 문법적 정보 함축 1.2.3. 전이 학습 1.3. 임베딩 기법의 역사와 종류 1.3.1. 통계 기반에서 뉴럴 네트워크 기반으로 1.3.2. 단어 수준에서 문장 수준으로 1.3.3. 룰 -> 엔드투엔드 -> 프리트레인/파인 튜닝 1.3.4. 임베딩의 종류와 성능 1. 서론 1.1. 임베딩이란 자연어 처리(Natural Language Processing) 분야에서 임베딩(Embedding)이란, 사람이 쓰는 자연어를 기계가 이해할 수 ..