MapReduce 基础

MapReduce 基础

一、概述 1、概念 是一个分布式运算程序的编程框架 2、核心功能 业务逻辑代码和自带默认组件 二、MapReduce的优缺点 1、优点 易于编程、良好的扩展性、高容错性、适合PB级以上海量数据的离线处理 2、缺点 不擅长实时计算、不擅长流式计算、不擅长依赖关系的计算 三、核心思想 1、MapReduce运算程序一般分为两个阶段：Map阶段和Reduce阶段 2、Map阶段的并发为MapTask，完全并行运行，互不相干 3、Reduce阶段的并发ReduceTask，完全互不相干，但他们的数据依赖上阶段所有的MapTask并行实例的输出 4、MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户逻辑非常复杂，那么就只能多个MapReduce串行 注意： Map阶段对数据进行按行处理 四、MapReduce进程 1、MrAppMaster：负责整个程序的过程调度及状态协调 2、MapTask：负责Map阶段的整个数据处理流程 3、ReduceTask：负责Reduce阶段整个数据处理流程

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。