当前位置:首页 > 推荐专业 > 大数据专业 > 面试答疑 >  > IT技术面试技巧|大数据专业技术yarn的基础详解

IT技术面试技巧|大数据专业技术yarn的基础详解

来源:北京八维教育集团
阅读数
时间: 2024-07-07 08:14:58

  随着大数据的兴起,越来越多的企业开始关注大数据专业技术。因此,为了选拔出合格的大数据专业人才,企业往往会进行严格的面试。以下是今天北京八维教育培训学校与大家分享的yarn的基础详解,希望能够帮助学子们在大数据面试中脱颖而出。
大数据专业技术yarn的基础详解

  1.hadoop 1.x

  JobTracker,TaskTracker

  缺点:JobTracker负载过重,存在单点故障;与MapReduce强耦合,其他计算框架需要重复实现资源管理;

  2.hadoop 2.x

  App Mstr (Application Master进程)

  3.工作流程

  用户使用客户端向 RM 提交一个任务,同时指定提交到哪个队列和需要多少资源。用户可以通过每个计算引擎的对应参数设置,如果没有特别指定,则使用默认设置。

  RM 在收到任务提交的请求后,先根据资源和队列是否满足要求选择一个 NM,通知它启动一个特殊的 container,称为 Application Master(App Mstr,AM),后续流程由它发起。
大数据专业技术yarn的基础详解

  AM 向 RM 注册后根据自己任务的需要,向 RM 申请 container,包括数量、所需资源量、所在位置等因素。

  如果队列有足够资源,RM 会将 container 分配给有足够剩余资源的 NM,由 AM 通知 NM 启动 container。

  container 启动后执行具体的任务,处理分给自己的数据。NM 除了负责启动 container,还负责监控它的资源使用状况以及是否失败退出等工作,如果 container 实际使用的内存超过申请时指定的内存,会将其杀死,保证其他 container 能正常运行。

  各个 container 向 AM 汇报自己的进度,都完成后,AM 向 RM 注销任务并退出,RM 通知 NM 杀死对应的 container,任务结束。
大数据专业技术yarn的基础详解

推荐问答

IT技术面试技巧|大数据专业技术yarn的基础详解

随着大数据的兴起,越来越多的企业开始关注大数据专业技术,为了选拔出合格的大数据专业人才,企业往往会进行严格的面试,以下是今天北京八维教育培训学校与大家分享的yarn的基础详解,...

IT技术面试技巧|大数据专业技术hbase布隆过滤器

,大数据领域的职业机会正逐渐增多,但同时也面临着诸多挑战,北京八维教育培训学校今天将和大家探讨大数据专业技术中hbase布隆过滤器,希望能够帮助到每一名学子。...

IT技术面试技巧|大数据专业技术yarn有哪些调度及常用命令

对于希望加入大数据行业的面试者来说,面试中可能被问到的问题范围很广,北京八维教育培训学校今天将分享一些大数据专业中yarn有哪些调度及常用命令面试问题,以帮助面试者...

IT技术面试技巧|大数据专业技术hive数据导入

在大数据领域的面试中,了解hive数据导入等基本概念是必不可少的,今天北京八维教育培训学校就和大家分享一下hive数据导入知识点,希望能够帮助到各位学子。...

IT技术面试技巧|大数据专业技术hbase基础知识点

在面试中也会遇到各种各样的大数据专业知识,今天北京八维教育培训学校就和大家分享一下大数据专业技术hbase基础知识点,希望能够帮助到各位学子。...

IT培训技术知识分享|大数据专业技术知识JavaEE编程语言开发常用框架

今天北京八维教育培训学与各位学子分享一下大数据专业技术知识JavaEE编程语言开发常用框架,希望能够帮助到各位学子。...

IT培训技术知识分享|大数据专业技术知识JavaEE的几个常用框架简介

今天北京八维教育培训学与各位学子分享一下大数据专业技术知识JavaEE的几个常用框架简介,希望能够帮助到各位学子。...

IT课堂笔记|大数据专业技术主要学哪些知识?

随着互联网的普及和技术的发展,大数据技术已经成为了一个热门的专业。那么大数据专业技术主要学哪些知识?今天北京八维教育培训学校就和各位学子一起来了解一下。...

IT课堂笔记|热门的大数据专业技术有哪些

热门的大数据专业技术都有哪些?今天北京八维教育培训学校就和各位学子一起来分享一下,希望能够帮助到每一名学子。...

IT课堂笔记|大数据学习路线是怎样的?

想入行大数据技术行业,该怎么学习大数据,今天北京八维教育培训学校和大家一起分享看下大数据都学什么,希望能够帮助到每一名学子。...

IT课堂笔记|大数据专业技术入门学习流程

大数据专业技术入门学习的正确流程是什么呢?今天北京八维教育培训学校和各位学子一起分享一下大数据专业技术入门学习的流程,希望能够帮助到每一名学子。...

IT课堂笔记|学习数据分析的有效方法是什么

学习数据分析的有效方法是什么呢?今天北京八维教育培训学校分享一些生动的学习方法和技巧,希望能够帮助到每一名学子。...

IT行业解惑:零基础学习大数据专业容易出现哪些误区?

从概念到项目落地,经过短短几年的发展,越来越多的人在转行的时候选择大数据开发行业,那么零基础学习大数据专业容易出现哪些误区?今天北京八维教育培训学校就与各位学子一起来了解...

IT行业解惑:零基础学习大数据专业技术需要注意什么呢?

零基础学习大数据专业技术需要注意什么呢?今天北京八维教育培训学校就与各位学子一起来了解一下,希望能够帮助到每一名学子。...

IT行业解惑:女生适合学习大数据专业吗?

女生适合学习大数据专业吗?今天北京八维教育培训学校就与各位学子一起来了解一下,希望能够帮助到每一名学子。...

IT行业解惑:大数据专业就业方向怎么选择

大数据专业就业方向怎么选择呢?今天北京八维教育培训学校就与各位学子一起来了解一下,希望能够帮助到每一名学子。...

IT行业解惑:大数据开发工程师哪些技能你需要掌握?

了解一下成为大数据工程师需要具备什么样的能力,掌握大数据开发工程师哪些技能你需要掌握的呢?今天北京八维教育培训学校就与各位学子一起来了解一下,希望能够帮助到每一名学子。...

IT行业解惑:大数据专业发展趋势怎么样?

在企业爆炸式的大数据时代下,剧增了原有数据存的储存压力,那么未来大数据的发展趋势如何?今天北京八维教育培训学校就与各位学子一起来了解一下,希望能够帮助到各位学子。...

IT行业解惑:学习大数据专业技术哪些是需要你掌握的?

哪些技术点是学习大数据专业技术需要你掌握的呢?今天北京八维教育培训学校就和各位学子一起来了解一下,希望能够帮助到每一名学子。...

IT行业解惑:大数据专业技术就业发展前景怎么样?

随着互联网发展已经进入了一个新的阶段,大数据行业不会被淘汰,就业发展前景非常好。随着国家政策支持和企业数字化转型的需要,目前每年大数据专业技术人才需求量会非常高...

八维教育启动“晨曦破晓”计划

以科技助力高薪破局

以科技提升系统效率

以科技提高服务质量

八维教育助力学子优质就业!

请您保持通讯畅通,专属学习老师24小时内将与您1V1沟通