1.1     Hadoop选择题

1.1.1  Hdfs

1.      下面哪个程序负责 HDFS 数据存储?

a)NameNode

b)Jobtracker

c)Datanode

d)secondaryNameNode

e)tasktracker

2.      HDfS 中的 block 默认保存几份?

a)3份

b)2份

c)1份

d)不确定

3.      下列哪个程序通常与NameNode 在一个节点启动?

a)SecondaryNameNode

b)DataNode

c)TaskTracker

d)Jobtracker

注:haoop1.X

分析:

hadoop 的集群是基于 master/slave 模式,namenode 和 jobtracker 属于 master,datanode 和 tasktracker属于 slave,master 只有一个,而 slave 有多个。SecondaryNameNode 内存需求和 NameNode 在一个数量级上,所以通常 secondary NameNode(运行在单独的物理机器上)和 NameNode 运行在不同的机器上。

JobTracker 和 TaskTracker

JobTracker 对应于 NameNode

TaskTracker 对应于 DataNode

DataNode 和 NameNode 是针对数据存放来而言的

JobTracker 和 TaskTracker 是对于 MapReduce 执行而言的

mapreduce 中几个主要概念,mapreduce 整体上可以分为这么几条执行线索:

jobclient,JobTracker 与 TaskTracker。

1、JobClient 会在用户端通过 JobClient 类将应用已经配置参数打包成 jar 文件存储到 hdfs,并把路径提交到 Jobtracker,然后由 JobTracker 创建每一个 Task(即 MapTask 和 ReduceTask)并将它们分发到各个 TaskTracker 服务中去执行

2、JobTracker 是一个 master 服务,软件启动之后 JobTracker 接收 Job,负责调度 Job 的每一个子任务 task运行于 TaskTracker 上,并监控它们,如果发现有失败的 task 就重新运行它。一般情况应该把 JobTracker 部署在单独的机器上。

3、TaskTracker 是运行在多个节点上的 slaver 服务。TaskTracker 主动与 JobTracker 通信,接收作业,并负责直接执行每一个任务。TaskTracker 都需要运行在 HDFS 的 DataNode 上

4.      HDFS 默认 Block Size

a)32MB

b)64MB

c)128MB

注:旧版本是64MB

5.      Client 端上传文件的时候下列哪项正确

a)数据经过 NameNode 传递给 DataNode

b)Client 端将文件切分为 Block,依次上传

c)Client 只上传数据到一台 DataNode,然后由 NameNode 负责 Block 复制工作

分析:

Client 向 NameNode 发起文件写入的请求。

NameNode 根据文件大小和文件块配置情况,返回给 Client 它所管理部分 DataNode 的信息。

Client 将文件划分为多个 Block,根据 DataNode 的地址信息,按顺序写入到每一个 DataNode 块中。

6.      下面与 HDFS 类似的框架是?C

A NTFS

B FAT32

C GFS

D EXT3

7.      的

8.      的

1.1.2  集群管理

1.      下列哪项通常是集群的最主要瓶颈

a)CPU

b)网络

c)磁盘 IO

d)内存

解析:

由于大数据面临海量数据,读写数据都需要 io,然后还要冗余数据,hadoop 一般备 3 份数据,所以 IO就会打折扣。

2.      关于SecondaryNameNode 哪项是正确的?

a)它是 NameNode 的热备

b)它对内存没有要求

c)它的目的是帮助 NameNode 合并编辑日志,减少 NameNode 启动时间

d)SecondaryNameNode 应与 NameNode 部署到一个节点

3.      下列哪项可以作为集群的管理?

a)Puppet  b)Pdsh  c)ClouderaManager  d)Zookeeper

分析:

A:puppetpuppet 是一种 Linux、Unix、windows 平台的集中配置管理系统

B:pdsh 可以实现在在多台机器上执行相同的命令

详细参考:集群管理小工具介绍-pdsh

C:可以参考 Cloudera Manager 四大功能【翻译】

首先这里给管理下一个定义:部署、配置、调试、监控,属于管理

4.      配置机架感知的下面哪项正确

a)如果一个机架出问题,不会影响数据读写

b)写入数据的时候会写到不同机架的 DataNode 中

c)MapReduce 会根据机架获取离自己比较近的网络数据

5.      下列哪个是 Hadoop 运行的模式

a)单机版 b)伪分布式 c)分布式

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。