扣丁学堂大数据培训浅谈如何搭建部署一个Hadoop伪分布式（MapReduce+Yarn）

2018-09-13 10:58:13 382浏览

今天扣丁学堂大数据培训老师给大家详细介绍一下关于如何搭建部署一个Hadoop伪分布式（MapReduce+Yarn）详解，下面我们一起来看一下吧。

首先分布式计算必然涉及到资源的调度和分配，所以我们选择MapReduce（分布式计算框架）+Yarn（资源调度和作业平台），资源则涉及到网络、内存、IO等。

1、修改mapred-site.xml

[root@master ~]# cd /usr/module/hadoop-2.7.3/etc/hadoop
[root@master hadoop]# cp mapred-site.xml.template  mapred-site.xml
[root@master hadoop]# vim mapred-site.xml
<configuration>
				<property>
				<name>mapreduce.framework.name</name>
				<value>yarn</value>
				</property>
</configuration>

2、修改yarn-site.xml

[root@master hadoop]# vim yarn-site.xml
<configuration>
				<property>
				<name>yarn.nodemanager.aux-services</name>
      			<value>mapreduce_shuffle</value>
  		</property>
</configuration>

3、启动

[root@master hadoop]# cd ../../
[root@master hadoop]# sbin/start-dfs.sh
[root@master hadoop]# sbin/start-yarn.sh

4、关闭

[root@master hadoop]# sbin/stop-yarn.sh

以上就是扣丁学堂大数据培训老师关于部署一个Hadoop伪分布式MapReduce+Yarn的详细介绍，希望对学习大数据开发的同学有所帮助，扣丁学习提供在线从零到一的大数据视频教程共学员免费在线观看，其内容包含Linux&&Hadoop生态体系、大数据计算框架体系、云计算体系、机器学习&&深度学习，扣丁学堂大数据学习群：769591751。

扣丁学堂微信公众号