扣丁学堂告诉你Hadoop是什么

2018-08-14 13:26:57 420浏览

在如今这个信息高速发展的今天，hadoop也越来越火了。有很多参加大数据培训的同学都会问到Hadoop，那今天扣丁学堂的小编就来给大家讲一下吧。

 hadoop思想起源：Google

小编注意到了Google搜索引擎，安卓，翻译等等，有很多的先进技术，但是现在国内的用户是访问不到谷歌搜索引擎的，其实谷歌给我们的生活带来很大的影响的，从我们用到的智能手机安卓系统到谷歌翻译，谷歌学术，Google+等等有很多新的知识等着我们去学习。

Google的低成本之道

Google的强大搜索引擎源于不使用超级计算机，不使用存储。采用的是使用大量的PC服务器，因为互联网中的数据是很庞大的，有好的架构能够提供数据存储和数据访问，提供冗余的集群服务。像淘宝以前使用的存储是oracle由于数据量的增大，淘宝在走去Ieo模式，不使用存储。

google在全世界有多个数据中心，有些还是带有发电厂的，能够满足全球用户的搜索需求。同时还有一个重要的一点就是运营商向Google倒付费。

小编发现了Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用最流行的java语言实现开源软件框架，同时实现在大量计算机组成的集群中对海量数据进行分布式计算。

Hadoop框架中最核心设计就是：HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。

HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，适合那些有着超大数据集（large data set）的应用程序。

MapReduce是一套从海量源数据提取分析元素最后返回结果集的编程模型，将文件分布式存储到硬盘是第一步，而从海量数据中提取分析我们需要的内容就是MapReduce做的事了。

在现实的应用中Hadoop非常适合应用于大数据存储和大数据分析的应用，适合于服务器几千台到几万台的集群运行，支持PB级的存储容量。这是传统数据库不能超越的一点也是最有优势的一点。

以上就是扣丁学堂大数据在线学习小编给大家分享的文章，希望对小伙伴们有所帮助，想要了解更多关于大数据方面内容的小伙伴可以登录扣丁学堂官网咨询，扣丁学堂有专业的大数据培训班邀请有理想的你加入。扣丁学堂不仅有专业的大数据培训班供大家学习，还有与时俱进的课程体系和大量的大数据在线视频教程让学员免费观看学习，想要学好大数据的小伙伴快到扣丁学堂来了解详情吧。扣丁学堂大数据学习群：209080834。

【关注微信公众号获取更多学习资料】

查看更多关于“大数据培训资讯”的相关文章>>