扣丁学堂大数据培训分享用好Hadoop的问答详解

2019-05-28 14:26:26 2722浏览

Hadoop的使用相信只要是对此感兴趣的小伙伴们或多或少都会知道一些，那么具体知道多少就说不好了，就算是不知道的小伙伴也没有关系，下面是扣丁学堂大数据培训小编给大家整理的用好Hadoop的问答详解，希望对小伙伴们有帮助。

1、以后想从事大数据方面工作，算法要掌握到什么程度，算法占主要部分吗?

首先，如果要从事大数据相关领域的话，hadoop是作为工具来使用的，首先需要掌握使用方法。可以不用深入到hadoop源码级别细节。

然后就是对算法的理解，往往需要设计到数据挖掘算法的分布式实现，而算法本身你还是需要理解的，例如常用的k-means聚类等。

2、大数据处理都是服务器上安装相关软件吗，对程序有什么影响呢，集群、大数据是属于运维的工作内容还是攻城狮的呢?

传统的程序只能运行在单机上，而大数据处理这往往使用分布式编程框架编写，例如hadoopmapreduce，只能运行在hadoop集群平台上。

运维的责任：保证集群，机器的稳定性和可靠性

hadoop系统本身研发：提高Hadoop集群的性能，增加新功能。

大数据应用：把hadoop作为工具，去实现海量数据处理或者相关需求。

3、100个以上hadoop节点，一般怎么开发，运维?任务很多的情况下任务资源怎么分配，任务执行顺序是定时脚本还是别的什么方式控制?

a.首先大数据的应用开发和hadoop集群的规模是没有关系，你指的是集群的搭建和运维吗，对于商用的hadoop系统来说涉及到很多东西。

b.任务的分配是有hadoop的调度器的调度策略决定的，默认为FIFO调度，商业集群一般使用多队列多用户调度器。

c.任务的执行顺序是有用户控制的，你自然可以定时启动，也可以手动启动。

想要了解更多关于大数据开发方面内容的小伙伴，请关注扣丁学堂大数据培训官网、微信等平台，扣丁学堂IT职业在线学习教育有专业的大数据讲师为您指导，此外扣丁学堂老师精心推出的大数据视频教程定能让你快速掌握大数据从入门到精通开发实战技能。扣丁学堂大数据学习群：209080834。

                          

      【关注微信公众号获取更多学习资料】         【扫码进入Python全栈开发免费公开课】

查看更多关于“大数据培训资讯”的相关文章>