목록데이터파이프라인 (2)

Tech for good

[빅데이터를 지탱하는 기술] 6. 빅데이터 분석 기반의 구축 - 클라우드 서비스에 의한 데이터 파이프라인

목차 6. 빅데이터 분석 기반의 구축 6.4. 클라우드 서비스에 의한 데이터 파이프라인 6.4.1. 데이터 분석과 클라우드 서비스의 관계 6.4.2. 아마존 웹 서비스(AWS) 6.4.3. 구글 클라우드 플랫폼(GCP) 6. 빅데이터 분석 기반의 구축 6.4. 클라우드 서비스에 의한 데이터 파이프라인 빅데이터를 위한 분산 시스템은 자신이 직접 구축, 유지, 보수하는 것이 아니라 클라우드 서비스를 사용하는 경우가 많아지고 있다. 이 절에서는 몇 가지 클라우스 서비스의 특징과 그 차이점에 대해 예를 들어 설명한다. 이 절에서는 다음의 클라우드 서비스에 의한 데이터 파이프라인에 대해서 설명한다. - 아마존 웹 서비스(AWS) - 구글 클라우드 플랫폼(GCP) 6.4.1. 데이터 분석과 클라우드 서비스의 관계 ..
IT/Data Science 2021. 10. 4. 22:54
[빅데이터를 지탱하는 기술] 1. 빅데이터의 기초 지식 - 빅데이터 시대의 데이터 분석 기반

목차 1. 빅데이터의 기초 지식 1.2. 빅데이터 시대의 데이터 분석 기반 1.2.1. 빅데이터의 기술 - 분산 시스템을 활용해서 데이터를 가공해 나가는 구조 ① 데이터 파이프라인 - 데이터 수집에서 워크플로우 관리까지 ② 데이터 수집 - 벌크 형과 스트리밍 형의 데이터 전송 ③ 스트림 처리와 배치 처리 ④ 분산 스토리지 - 객체 스토리지, NoSQL 데이터베이스 ⑤ 분산 데이터 처리 - 쿼리 엔진, ETL 프로세스 ⑥ 워크플로우 관리 1.2.2. 데이터 웨어하우스와 데이터 마트 - 데이터 파이프라인 기본형 1.2.3. 데이터 레이크 - 데이터를 그대로 축적 ① 데이터 레이크와 데이터 마트 - 필요한 데이터는 데이터 마트에 정리 1.2.4. 데이터 분석 기반을 단계적으로 발전시키기 ① 애드 혹 분석 및 ..
IT/Data Science 2021. 10. 2. 11:41
이전 Prev 1 Next 다음