顶级Hadoop管理员面试问题与回答

中国IDC圈4月8日报道,在2010年,没有人知道什么是Hadoop,但是今天,房间里的大象这个标志已经成为了大数据的宠儿。根据Wikibon, Hadoop市场在2012年,供应商的收入已经有256美元,预计2017年底增加到17亿、程序员、架构师、系统管理员和数据仓库员都在千方百计地学习存储和处理大数据集的Hadoop。开始一个Hadoop管理员面试将会成为一个单调枯燥的工作,如果你没有花足够的时间来准备。

专业人士正在尝试为hadoop开发者和管理者工作,不仅仅是要努力准备hadoop管理者的面试题。当人们处在hadoop开发者的位置,可以自由的准备与管理相关的hadoop面试问题,这对于那些正在准备进入hadoop管理者的角色的人们是很重要的,获得hadoop管理者面试问题的细节。在我之前的TOP100的帖子里的面试问题及答案和TOP50的Hadoop的面试问题,我们列出了所有可能对Hadoop开发面试者问的问题。本文列举了顶级Hadoop管理员的面试问题及答案,这些问题和答案在hadoop管理工作面试时很可能会被问到的。

计算机研究发现Hadoop的技能差距是整个大数据范围内最大的。在大数据的空间里,Hadoop被各行业应用,Hadoop管理的重要性是不容忽视的。无数的行业招聘Hadoop管理人员,确保他们的大数据系统可以在最复杂和动态的环境下被选中。从金融业到政府部门,各行业招聘hadoop管理人员来管理他们的大数据平台。Hadoop管理专业人才的需求量正不断上升,以满足专业人才的缺乏。

如何准备一个Hadoop管理者面试?

Hadoop管理员面试,围绕Hadoop软件安装,配置和维护,测试一个考生的知识范围,一个Hadoop管理员需要基于利益相关者的需求研究实现特定的平台大数据解决方案。这是一个面试者为Hadoop管理员面试所必要的,精通大型数据管理的概念。为了证明自己是一位合格的Hadoop管理员的候选人,确保对于处理Hadoop项目的知识和管理能力,展示特定领域的兴趣和专业知识,具有多任务处理能力和领导能力。

如果你已经申请了Hadoop的管理员工作,那么它值得你花一些时间去回顾这些列在下面的面试问题,当你准备面试时——

Hadoop管理员面试问题与回答

1、 解释不同的配置文件以及它们位于何处

配置文件位于conf子目录。Hadoop有3个不同的配置文件,hdfs-site.xml, core-site.xml 和 mapred-site.xml。

2、 要求运行Hadoop集群的进程是什么

Namenode,DataNode,TaskTracker和JobTracker

3、 你将如何重新启动节点?

最简单的做法是运行停止运行命令shell脚本,即点击stop-all.sh。一旦这样做了,重启NameNode点击start-all.sh。

4、 解释在Hadoop上的不同的调度程序。

FIFO调度——调度系统中不考虑系统中的异质性,但命令工作是基于排队达到的时间。

COSHH——这个计划考虑工作量,调度决策的聚类和用户异质性。

公平分享——Hadoop调度为每个用户定义。这个地方包含一个资源地图以及减少资源上的狭缝。每个用户都可以使用自己的资源去执行这个作业。

5、 列出几个用于执行复制操作的Hadoop命令

fs –put

fs –copyToLocal

fs –copyFromLocal

6、 什么是指挥用的JPS?

JPS命令用于验证程序,这种程序运行Hadoop集群是否工作。它命令显示输出者的NameNode的现状,Secondary NameNode, DataNode, TaskTracker 和 JobTracker。

7、 当Hadoop部署生产环境时,什么重要的硬件因素应该考虑?

基于应用程序的工作服务和管理服务之间的内存系统的内存需求会有所不同。

操作系统——一个64位操作系统,避免了任何限制,可用于在工作节点上的内存量。

存储——最好是通过移动计算活动数据实现可扩展性和高性能的Hadoop平台设计。

容量——大形的因子磁盘(3.5”)磁盘的成本比较低,相比比较小的形式因素磁盘允许存储更多内容。

网络——两个TOR网络交换机提供了较好的冗余。

计算能力可以在Hadoop集群的Mapreduce槽可用的数量节点决定。

8、 有多少节点可以运行在一个单一的Hadoop集群?

只有一个

9、 当Hadoop集群上的节点下来会发生什么呢?

文件系统脱机时,Namenode下来了。