Tech for good

목차 6. 빅데이터 분석 기반의 구축 6.4. 클라우드 서비스에 의한 데이터 파이프라인 6.4.1. 데이터 분석과 클라우드 서비스의 관계 6.4.2. 아마존 웹 서비스(AWS) 6.4.3. 구글 클라우드 플랫폼(GCP) 6. 빅데이터 분석 기반의 구축 6.4. 클라우드 서비스에 의한 데이터 파이프라인 빅데이터를 위한 분산 시스템은 자신이 직접 구축, 유지, 보수하는 것이 아니라 클라우드 서비스를 사용하는 경우가 많아지고 있다. 이 절에서는 몇 가지 클라우스 서비스의 특징과 그 차이점에 대해 예를 들어 설명한다. 이 절에서는 다음의 클라우드 서비스에 의한 데이터 파이프라인에 대해서 설명한다. - 아마존 웹 서비스(AWS) - 구글 클라우드 플랫폼(GCP) 6.4.1. 데이터 분석과 클라우드 서비스의 관계 ..

목차 4. 빅데이터의 축적 4.4. 비구조화 데이터의 분산 스토리지 4.4.1. [기본 전략] NoSQL 데이터베이스에 의한 데이터 활용 4.4.2. 분산 KVS - 디스크로의 쓰기 성능을 높이기 ① Amazon DynamoDB ② [기초지식] ACID 특성과 CAP 정리 4.4.3. 와이드 칼럼 스토어 - 구조화 데이터를 분석해서 저장하기 ① Apache Cassandra 4.4.4. 도큐먼트 스토어 - 스키마리스 데이터 관리하기 ① MongoDB 4.4.5. 검색 엔진 - 키워드 검색으로 데이터 검색 ① Elasticsearch ② Splunk 4. 빅데이터의 축적 4.4. 비구조화 데이터의 분산 스토리지 NoSQL 데이터베이스를 활용하면 데이터를 단순히 모아서 저장할 뿐만 아니라 애플리케이션에서 온..

목차 4. 빅데이터의 축적 4.1. 벌크 형과 스트리밍 형의 데이터 수집 4.1.1. 객체 스토리지와 데이터 수집 - 분산 스토리지에 데이터 읽어들이기 ① 데이터 수집 4.1.2. 벌크 형의 데이터 전송 - ETL 서버의 설치 필요성 ① 파일 사이즈의 적정화는 비교적 간단하다 ② 데이터 전송의 워크플로우 4.1.3. 스트리밍 형의 데이터 전송 - 계속해서 전송되어 오는 작은 데이터를 취급하기 위한 데이터 전송 ① 웹 브라우저에서의 메시지 배송 ② 모바일 앱으로부터의 메시지 배송 ③ 디바이스로부터의 메시지 배송 ④ 메시지 배송의 공통화 4. 빅데이터의 축적 4.1. 벌크형과 스트리밍 형의 데이터 수집 데이터 전송에는 벌크 형과 스트리밍 형의 두 종류의 도구가 사용된다. 이 절에서는 각각의 방법으로 분산 스..

목차 1. 빅데이터의 기초 지식 1.2. 빅데이터 시대의 데이터 분석 기반 1.2.1. 빅데이터의 기술 - 분산 시스템을 활용해서 데이터를 가공해 나가는 구조 ① 데이터 파이프라인 - 데이터 수집에서 워크플로우 관리까지 ② 데이터 수집 - 벌크 형과 스트리밍 형의 데이터 전송 ③ 스트림 처리와 배치 처리 ④ 분산 스토리지 - 객체 스토리지, NoSQL 데이터베이스 ⑤ 분산 데이터 처리 - 쿼리 엔진, ETL 프로세스 ⑥ 워크플로우 관리 1.2.2. 데이터 웨어하우스와 데이터 마트 - 데이터 파이프라인 기본형 1.2.3. 데이터 레이크 - 데이터를 그대로 축적 ① 데이터 레이크와 데이터 마트 - 필요한 데이터는 데이터 마트에 정리 1.2.4. 데이터 분석 기반을 단계적으로 발전시키기 ① 애드 혹 분석 및 ..

목차 1. 빅데이터의 기초 지식 1.1. [배경] 빅데이터의 정착 1.1.1. 분산 시스템에 의한 데이터 처리의 고속화 - Hadoop과 NoSQL ① 빅데이터 기술의 요구 - Hadoop과 NoSQL의 대두 ② Hadoop - 다수의 컴퓨터에서 대량의 데이터 처리 ③ NoSQL 데이터베이스 - 빈번한 읽기/쓰기 및 분산 처리가 장점 ④ Hadoop과 NoSQL 데이터베이스의 조합 - 현실적인 비용으로 대규모 데이터 처리 실현 1.1.2. 분산 시스템의 비즈니스 이용 개척 - 데이터 웨어하우스와의 공존 1.1.3. 직접 할 수 있는 데이터 분석 폭 확대 - 클라우드 서비스와 데이터 디스커버리로 가속하는 빅데이터 활용 1. 빅데이터의 기초 지식 1.1. [배경] 빅데이터의 정착 '분산 시스템의 발전'과 '..

https://wikidocs.net/21707 03) 어간 추출(Stemming) and 표제어 추출(Lemmatization) 이번 챕터에서는 정규화 기법 중 코퍼스에 있는 단어의 개수를 줄일 수 있는 기법인 표제어 추출(lemmatization)과 어간 추출(stemming)의 개념에 대해서 알아 ... wikidocs.net * 위의 책을 참고하여 작성된 글입니다. 목차 1. 표제어 추출(Lemmatization) 2. 어간 추출(Stemming) 3. 표제어 추출(Lemmatization)과 어간 추출(Stemming) 비교 정규화 기법 중 코퍼스에 있는 단어의 개수를 줄일 수 있는 기법으로 표제어 추출(lemmatization)과 어간 추출(stemming)이 있다. 이 두 작업은 서로 다른 ..

데이터의 세부 내용에 따라 의사결정의 방향성이 달라진다. '캠핑족이 늘고 있으니 캠핑용품을 만들어야 한다'는 덜 구체적이다. '캠핑 의자를 oo브랜드와 콜라보레이션하여 oo사이즈로 만들어야 한다'는 지나치게 구체적이다. '캠퍼 성장 중에서도 oo연령층 혹은 oo특징을 가진 캠퍼가 늘고 있으므로, 그 소비자군이 선호하는 oo브랜드나 oo브랜드와 같이 편의성을 중시하는 브랜드와 콜라보레이션하자'는 제언의 방향성을 잡아내는 것이다. 이 문장도 너무 두루뭉술하거나 너무 지엽적이라고 보는 사람도 있다. 이러한 제언은 조직이나 개인의 성향에 따라 수위가 정해질 수 있으니, 여러 번 시도하면서 수위를 파악하는 것이 좋다. 사람들이 좋아할 만한 제품을 만들기 위해 다각적으로 살펴보아야 한다. (X) oo를 좋아하는 고..

출처: 조경래 , 『처음 배우는 딥러닝 챗봇』, 한빛미디어(2020), p,235-272. 목차 8. 챗봇 엔진 만들기 8.1. 챗봇 엔진 소개 8.2. 챗봇 엔진 구조 8.3. 전처리 과정 8.4. 단어 사전 구축 및 시퀀스 생성 8.5. 의도 분류 모델 8.5.1. 의도 분류 모델 학습 8.5.2. 의도 분류 모듈 생성 8.6. 개체명 인식 모델 학습 8.6.1. 개체명 인식 모델 학습 8.6.2. 개체명 인식 모듈 생성 8.6. 개체명 인식 모델 8.7. 답변 검색 8.7.1. 데이터베이스 제어 모듈 생성 8.7.2. 답변 검색 모듈 생성 8. 챗봇 엔진 만들기 8.1. 챗봇 엔진 소개 '챗봇 엔진'이란 챗봇에서 핵심 기능을 하는 모듈이며, 화자의 질문을 이해하고 알맞은 답변을 출력하는 역할을 한다..

모든 출처: T아카데미(https://tacademy.skplanet.com/live/player/onlineLectureDetail.action?seq=123) 목차 1강. 딥러닝 및 자연어처리 소개 1.1. 자연어 이해 소개 1.2. Machine Learning Review 1.2.1. DNN 기본 Block 소개 1.3. Sequence to Sequence Learning 1.4. AI as Data transformation 1.4.1. Sequence Encoding Temporal Summarization 1.4.2. Sequence Decoding [실습] 감성분석기 개발(N21 문제) 개체명 분석기 개발(N2N 문제) 대화모델 개발(N2M 문제) 1강. 딥러닝 및 자연어처리 소개 1.1..

# 한글로 그래프 제목 입력해도 글씨 깨지지 않게 함 !sudo apt-get install -y fonts-nanum !sudo fc-cache -fv !rm ~/.cache/matplotlib -rf 위 코드 입력 후 런타임 다시 시작 하고 위 코드 제외한 다른 코드 실행하면서 진행 # 폰트 지정 import matplotlib.pyplot as plt plt.rc('font', family='NanumBarunGothic') + plt.rc에서의 rc 의미: Each time Matplotlib loads, it defines a 'runtime configuration (rc)' containing the default styles for every plot element you create. T..