大数据基础之Hadoop简介

  • A+
所属分类:头条
摘要

终于找回来账户和密码,最近在培训大数据,hadoop的知识刚刚学完,打算稍微记录一下.由于时间和篇幅问题,此篇只简单介绍下…

广告也精彩

       终于找回来账户和密码,最近在培训大数据,hadoop的知识刚刚学完,打算稍微记录一下。由于时间和篇幅问题,此篇只简单介绍下hadoop的基础知识。

        Hadoop是一个由Apache基金会所开发的分布式系统基础架构,主要解决海量数据的存储和分析计算问题。当我们提起hadoop时,往往不单单指的hadoop这一个框架,而是一系列相关的组件,即hadoop生态圈,包括hadoop、hive、hbase、solr等等。

        Hadoop从2.x开始,共有四个主要的组件组成:MapReduce、Yarn、HDFS和Common。

大数据基础之Hadoop简介

下面简单介绍下前三个组件,Common是一些辅助工具,此处不做介绍。

1、MapReduce

        MapReduce是hadoop最重要、最核心当然也是最难的组件,主要负责数据的分析计算。它将计算分为Map和Reduce两个阶段。当处理海量数据的时候,如果只有一个进程或者一台机器去处理,效率是及其低下的。就好像你需要统计学校图书馆里有多少书籍,每一科有多少本,甚至具体到每一本有多少相同的书,如果让你自己去统计,你怕是要哭着喊退学。但是如果你凭着你帅气的相貌,请来全校的女生来帮你统计,那就会很轻松加愉快地完成这个工作,你只需美滋滋的坐在办公室,等待她们给你送来结果,然后自己将每个女生送来的结果做个汇总,就可以完成这个任务了。在这里,整个图书馆的数就是我们要处理的海量数据,而帮你统计书籍的女生,就相当于每一个Map,最终负责汇总结果的你,就相当于Reduce。当然,如果你感觉汇总还是太累、太浪费时间,你可以叫几个基友一起帮你汇总,也就是说,可以有多个Reduce。

        MapReduce的思想就是,先把任务分给多个Map去处理,再由Reduce去处理每个Map的输出结果,也就是先分后合。

        当然,MapReduce的真实工作机制非常复杂,此处只做稍微了解,后续会有更深入的介绍。

2、HDFS

        HDFS是Hadoop Distributed File System的缩写,见名知义,它是一个分布式的文件系统。它可以由大量的廉价机器组成,hadoop的数据都会存储在hdfs上,就好像你在你的E盘保存着大量的电影。

        HDFS主要由三个组件组成:NameNode、DataNode、和Secondary NameNode。NameNode就好像图书馆的目录,它清晰地表明你想要的书籍存放在哪个区、哪一排、总共有几部、每一部有多少本。而DataNode更像是一个个书架,上面摆着具体的书籍。Secondary NameNode 是辅助NameNode工作的,并在定时获取NameNode的数据快照。

3、YARN

        YARN主要负责资源调度,在hadoop1.x时,是没有yarn的,资源调度的工作也有mapreduce来做。引入了yarn后,可以有专门的服务器节点负责资源调度,既提高了可靠性和性能,也起到了解耦的效果。Yarn主要由四个组件组成:ResourceManager、NodeManager、ApplicationMaster和Container。ResourceManager负责整个集群的资源调度,比如你完成了一段美好的代码,需要提交到集群上运行,此时会先向ResourceManager申请资源,ResourceManager会根据请求的顺序为你的程序分配资源。NodeManager负责单个节点的资源调度,在ResourceManager找到一台空闲的机器,就会把你的程序交给这台机器处理,此时这台机器的资源则由NodeManager来分配管理。ApplicationMaster则是你这个程序的资源管理者,它来决定为你申请几个Map、几个Reduce。ContainerYARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等,当ResourceManager将任务分配给一个节点之后,这个节点就会生成一个Container,维护着处理这段程序的所有资源。


        以上就是hadoop的部分简介,可能篇幅较短,给大家一种还没开始就已经结束了的感觉。后续介绍各种机制、原理的时候,会附带一些原理图,就会造成一种篇幅很大的假象了!~~~///(^v^)\\\~~~

  • 微信
  • 扫一扫
  • weinxin
  • 微信公众号
  • 扫一扫
  • weinxin
广告也精彩
半身裙时尚
多功能折叠刀具
一步裙
多功能扳手
广告也精彩

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: