Tech for good

목차 6. 빅데이터 분석 기반의 구축 6.4. 클라우드 서비스에 의한 데이터 파이프라인 6.4.1. 데이터 분석과 클라우드 서비스의 관계 6.4.2. 아마존 웹 서비스(AWS) 6.4.3. 구글 클라우드 플랫폼(GCP) 6. 빅데이터 분석 기반의 구축 6.4. 클라우드 서비스에 의한 데이터 파이프라인 빅데이터를 위한 분산 시스템은 자신이 직접 구축, 유지, 보수하는 것이 아니라 클라우드 서비스를 사용하는 경우가 많아지고 있다. 이 절에서는 몇 가지 클라우스 서비스의 특징과 그 차이점에 대해 예를 들어 설명한다. 이 절에서는 다음의 클라우드 서비스에 의한 데이터 파이프라인에 대해서 설명한다. - 아마존 웹 서비스(AWS) - 구글 클라우드 플랫폼(GCP) 6.4.1. 데이터 분석과 클라우드 서비스의 관계 ..

(책: 수제비 2021 빅데이터분석기사 필기 최종 모의고사 3회) 1과목) 빅데이터 분석 기획 - 빅데이터의 특성 다양성(Variety): 정형 데이터뿐만 아니라 비정형, 반정형 데이터를 포함하는 특징 휘발성(Volatility): 데이터가 얼마나 오래 저장될 수 있고, 타당하여 오랫동안 쓰일 수 있을지에 관한 특징 정확성(Validity): 데이터의 규모가 아무리 크더라도 질 높은 데이터를 활용한 정확한 분석 수행이 없다면 의미가 없다는 특징 - 시스템 다이내믹스 : 사업이나 사회 시스템 등과 같은 복잡한 피드백 시스템을 연구하고 관리하는 방법 - 빅데이터 조직 구조 기능 구조: 전사적 핵심 분석이 어려우며, 과거에 국한된 분석을 수행하는 구조 / 별도 분석조직이 없고 해당 부서에서 분석을 수행하는 구..

(책: 수제비 2021 빅데이터분석기사 필기 최종 모의고사 2회) 1과목) 빅데이터 분석 기획 - 데이터 수집 : ETL, 크롤러, EAI - 정보통신망법 : 정보통신망을 통하여 수집, 처리, 보관, 이용되는 개인정보의 보호에 관한 규정 법령 : (오답 주의! -> 개인정보 보호법) - 개인정보 비식별 조치 방법 데이터 삭제 : ex) 주민등록번호 901212-1234567 -> 90년대 생, 남자 - 통찰(Insight) : 분석 대상 X / 분석 방식 O : 분석의 대상이 명확하게 무엇인지 모르는 경우, 기존 분석 방식을 활용하여 새로운 지식을 도출하는 것 - KDD 분석 방법론 : Fayyad가 프로파일링 기술을 기반으로 통계적 패턴이나 지식을 찾기 위해 체계적으로 정리한 방법론 - 데이터 확보 계..

(책: 수제비 2021 빅데이터분석기사 필기 최종 모의고사 1회) 1과목) 빅데이터 분석 기획 - 빅데이터의 특성 : 규모, 다양성, 속도, 신뢰성, 가치, 정확성, 휘발성 (오답: 사용성(Usability) - 빅데이터의 유형 정형: 관계형 데이터 베이스 반정형: JSON, HTML, XML 비정형: 텍스트 문서, 이미지 - 조직구조 기능 조직 구조: 일반적인 형태로 별도 분석조직이 없고 해당 부서에서 분석을 수행한다. - 빅데이터 수집 기술 : ETL, EAI, 크롤러(Crawler) (오답: NoSQL - 빅데이터 저장 기술) - 하둡 분산 파일 시스템(HDFS) : 대용량 파일을 저장하고 처리하기 위해서 개발된 파일 시스템, 네임 노드(master)와 데이터 노드(Slave)로 구성된 것. - 하..