mapreduce体系结构中,什么负责资源监控和作业调度？
随着互联网技术的迅猛发展，每天由网络产生的数据量越来越庞大。互联网企业面对这些浩繁的数据，常常陷入数据丰富而信息贫乏的尴尬境地。MapReduce是Google提出的一种用于大规模数据并行运算的模型。由于简单、易于实现、可扩展性强以及良好的容错性等优点，MapReduce被广泛应用于日志分析和海量数据排序等大规模数据分析领域。然而，通过对MapReduce的深入分析以及与并行数据库管理系统进行比较后，发现 MapReduce在性能方面不及传统的并行数据库管理系统。因此如何提高 MapReduce的性能已经成为大规模数据并行运算领域中的一个研究热点和难点问题。本文对通过优化作业调度算法的途径来提高MapReduce性能的技术展开了研究。 首先，介绍了MapReduce计算模型及其工作机制，重点分析了MapReduce作业执行流程和特点。 其次，分析了MapReduce作业执行时间的影响因素
mapreduce体系结构中,什么负责资源监控和作业调度？
随着互联网技术的迅猛发展，每天由网络产生的数据量越来越庞大。互联网企业面对这些浩繁的数据，常常陷入数据丰富而信息贫乏的尴尬境地。MapReduce是Google提出的一种用于大规模数据并行运算的模型。由于简单、易于实现、可扩展性强以及良好的容错性等优点，MapReduce被广泛应用于日志分析和海量数据排序等大规模数据分析领域。然而，通过对MapReduce的深入分析以及与并行数据库管理系统进行比较后，发现 MapReduce在性能方面不及传统的并行数据库管理系统。因此如何提高 MapReduce的性能已经成为大规模数据并行运算领域中的一个研究热点和难点问题。本文对通过优化作业调度算法的途径来提高MapReduce性能的技术展开了研究。 首先，介绍了MapReduce计算模型及其工作机制，重点分析了MapReduce作业执行流程和特点。 其次，分析了MapReduce作业执行时间的影响因素
发布者：luotuoemo，转转请注明出处：https://www.jintuiyun.com/9265.html
