반응형 구글 MapReduce1 PART02.2장 데이터 처리 기술 ( 분산 컴퓨팅 기술) PART02.2장 데이터 처리 기술 ( 분산 컴퓨팅 기술) MapReduce 개념 및 특징 구글에서 개발한 분산 병렬 컴퓨팅을 이용하여 대용량 데이터 처리를 위한 소프트웨어 분할 정복(Divide and conquer) 방식 Client 수행 작업 단위는 맵리듀스 잡 MapReduce JOB : Map Task + Reduce Task 일반적으로 Map Task 하나가 1개의 블록(64MB) Map 과정에서 생성된 중간 결과물을 사용자가 지정한 개수에 해당하는 Reduce Task가 받아서 정렬 및 필터링 작업 구글 MapReduce 복자 한 기능(연산의 병렬화, 장애 복구 등)을 추상화해 핵심기능 구현에만 집중할 수 있도록 하기 위해 개발 프로그래밍 모델 Map + Reduce 단계 Map의 input.. 2022. 6. 3. 이전 1 다음 반응형