Tech for good

목차 6. 빅데이터 분석 기반의 구축 6.4. 클라우드 서비스에 의한 데이터 파이프라인 6.4.1. 데이터 분석과 클라우드 서비스의 관계 6.4.2. 아마존 웹 서비스(AWS) 6.4.3. 구글 클라우드 플랫폼(GCP) 6. 빅데이터 분석 기반의 구축 6.4. 클라우드 서비스에 의한 데이터 파이프라인 빅데이터를 위한 분산 시스템은 자신이 직접 구축, 유지, 보수하는 것이 아니라 클라우드 서비스를 사용하는 경우가 많아지고 있다. 이 절에서는 몇 가지 클라우스 서비스의 특징과 그 차이점에 대해 예를 들어 설명한다. 이 절에서는 다음의 클라우드 서비스에 의한 데이터 파이프라인에 대해서 설명한다. - 아마존 웹 서비스(AWS) - 구글 클라우드 플랫폼(GCP) 6.4.1. 데이터 분석과 클라우드 서비스의 관계 ..

목차 4. 빅데이터의 축적 4.1. 벌크 형과 스트리밍 형의 데이터 수집 4.1.1. 객체 스토리지와 데이터 수집 - 분산 스토리지에 데이터 읽어들이기 ① 데이터 수집 4.1.2. 벌크 형의 데이터 전송 - ETL 서버의 설치 필요성 ① 파일 사이즈의 적정화는 비교적 간단하다 ② 데이터 전송의 워크플로우 4.1.3. 스트리밍 형의 데이터 전송 - 계속해서 전송되어 오는 작은 데이터를 취급하기 위한 데이터 전송 ① 웹 브라우저에서의 메시지 배송 ② 모바일 앱으로부터의 메시지 배송 ③ 디바이스로부터의 메시지 배송 ④ 메시지 배송의 공통화 4. 빅데이터의 축적 4.1. 벌크형과 스트리밍 형의 데이터 수집 데이터 전송에는 벌크 형과 스트리밍 형의 두 종류의 도구가 사용된다. 이 절에서는 각각의 방법으로 분산 스..

목차 1. 빅데이터의 기초 지식 1.1. [배경] 빅데이터의 정착 1.1.1. 분산 시스템에 의한 데이터 처리의 고속화 - Hadoop과 NoSQL ① 빅데이터 기술의 요구 - Hadoop과 NoSQL의 대두 ② Hadoop - 다수의 컴퓨터에서 대량의 데이터 처리 ③ NoSQL 데이터베이스 - 빈번한 읽기/쓰기 및 분산 처리가 장점 ④ Hadoop과 NoSQL 데이터베이스의 조합 - 현실적인 비용으로 대규모 데이터 처리 실현 1.1.2. 분산 시스템의 비즈니스 이용 개척 - 데이터 웨어하우스와의 공존 1.1.3. 직접 할 수 있는 데이터 분석 폭 확대 - 클라우드 서비스와 데이터 디스커버리로 가속하는 빅데이터 활용 1. 빅데이터의 기초 지식 1.1. [배경] 빅데이터의 정착 '분산 시스템의 발전'과 '..

(책: 수제비 2021 빅데이터분석기사 필기 최종 모의고사 2회) 1과목) 빅데이터 분석 기획 - 데이터 수집 : ETL, 크롤러, EAI - 정보통신망법 : 정보통신망을 통하여 수집, 처리, 보관, 이용되는 개인정보의 보호에 관한 규정 법령 : (오답 주의! -> 개인정보 보호법) - 개인정보 비식별 조치 방법 데이터 삭제 : ex) 주민등록번호 901212-1234567 -> 90년대 생, 남자 - 통찰(Insight) : 분석 대상 X / 분석 방식 O : 분석의 대상이 명확하게 무엇인지 모르는 경우, 기존 분석 방식을 활용하여 새로운 지식을 도출하는 것 - KDD 분석 방법론 : Fayyad가 프로파일링 기술을 기반으로 통계적 패턴이나 지식을 찾기 위해 체계적으로 정리한 방법론 - 데이터 확보 계..

(책: 수제비 2021 빅데이터분석기사 필기 최종 모의고사 1회) 1과목) 빅데이터 분석 기획 - 빅데이터의 특성 : 규모, 다양성, 속도, 신뢰성, 가치, 정확성, 휘발성 (오답: 사용성(Usability) - 빅데이터의 유형 정형: 관계형 데이터 베이스 반정형: JSON, HTML, XML 비정형: 텍스트 문서, 이미지 - 조직구조 기능 조직 구조: 일반적인 형태로 별도 분석조직이 없고 해당 부서에서 분석을 수행한다. - 빅데이터 수집 기술 : ETL, EAI, 크롤러(Crawler) (오답: NoSQL - 빅데이터 저장 기술) - 하둡 분산 파일 시스템(HDFS) : 대용량 파일을 저장하고 처리하기 위해서 개발된 파일 시스템, 네임 노드(master)와 데이터 노드(Slave)로 구성된 것. - 하..