单选题

1在Hadoop生态系统中，Kafka主要解决Hadoop 中存在哪些的问题？

A抽象层次低，需要手工编写大量代码

B延迟高，而且不适合执行迭代计算

CHadoop生态系统中各个组件和其他产品之间缺乏统一的、高效的数据交换中介

D不同的MapReduce任务之间存在重复操作，降低了效率

答案：C

2下列关于Spark中RDD的说法，描述有误的是？

A每个RDD可分成多个分区，每个分区就是一个数据集片段

B一个RDD就是一个分布式对象集合，本质上是一个只读的分区记录集合

CRDD提供了一种高度受限的共享内存模型

DRDD是可以直接修改的

答案：D

3下列哪个不属于YARN体系结构中ApplicationMaster的功能？

A处理来自ResourceManger的命令

B任务调度、监控与容错

C为应用程序申请资源

D将申请的资源分配给内部任务

答案：A

4关于HDFS Federation 的设计的描述，哪个是错误的？

A属于不同命名空间的块可以构成同一个“块池”

BHDFS的命名服务能够水平扩展

C设计了多个相互独立的名称节点

DHDFS Federation中，所有名称节点会共享底层的数据节点存储资源，数据节点向所有名称节点汇报

答案：A

5下列关于推荐系统的描述，有误的是？

A混合推荐：结合多种推荐算法来提升推荐效果

B基于统计的推荐：通过机器学习的方法去描述内容的特征，并基于内容的特征来发现与之相似的内容

C专家推荐：人工推荐，由资深的专业人士来进行物品的筛选和推荐，需要较多的人力成本性

D协同过滤推荐：应用最早和最为成功的推荐方法之一

答案：B

6MapReduce1.0的体系结构中，JobTracker的主要任务是什么？

A会周期性地通过“心跳”将本节点上资源的使用情况和任务的运行进度汇报给TaskTracker

B使用“slot”等量划分本节点上的资源量（CPU、内存等）

C负责资源监控和作业调度，监控所有TaskTracker与Job的健康状况

D会跟踪任务的执行进度、资源使用量等信息，并将这些信息告诉任务（Task）

答案：

7下列关于Spark的描述，错误的是哪一项？

A支持使用Scala、Java、Python和R语言进行编程，但是不可以通过Spark Shell进行交互式编程

B可运行于独立的集群模式中，可运行于Hadoop中，也可运行于Amazon EC2等云环境中

C使用DAG执行引擎以支持循环数据流与内存计算

D提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件

答案：

8下列关于Map和Reduce函数的描述，哪个是错误的？

AMap将小数据集进一步解析成一批<key,value>对，输入Map函数中进行处理

BReduce输入的中间结果<k2,List(v2)>中的List(v2)表示是一批属于不同k2的value

CMap每一个输入的<k1,v1>会输出一批<k2,v2>，

DReduce输入的中间结果<k2,List(v2)>中的List(v2)表示是一批属于同一个k2的value

答案：

9下列关于Scala特性的描述，错误的是哪一项？

AScala是Spark的主要编程语言

BScala具备强大的并发性，支持函数式编程，可以更好地支持分布式系统

CScala语法复杂，但是能提供优雅的API

DScala兼容Java，运行速度快，且能融合到Hadoop生态圈中

答案：

10关于Spark运行架构，下列说法错误的是？

A一个Job包含多个RDD及作用于相应RDD上的各种操作

BApplication是用户编写的Spark应用程序

CRDD是运行在工作节点（WorkerNode）的一个进程，负责运行Task

DDAG反映RDD之间的依赖关系

答案：

11下列关于推荐系统的描述，哪一项是错误的？

A推荐系统是自动联系用户和物品的一种工具

B推荐系统可以创造全新的商业和经济模式，帮助实现长尾商品的销售

C推荐系统分为基于物品的协同过滤和基于商家的协同过滤

D推荐系统是大数据在互联网领域的典型应用

答案：

12下列传统并行计算框架，说法错误的是哪一项？

A共享式(共享内存/共享存储)，容错性好

B刀片服务器、高速网、SAN，价格贵，扩展性差

C实时、细粒度计算、计算密集型

D编程难度高

答案：

13在Spark生态系统组件的应用场景中，下列哪项说法是错误的？

ASpark Streaming是基于历史数据的数据挖掘

BGraphX是图结构数据的处理

CSpark SQL是基于历史数据的交互式查询

DSpark Core应用在复杂的批量数据处理

答案：

14下列哪个不属于YARN体系结构中ResourceManager的功能？

A处理来自ApplicationMaster的命令

B资源分配与调度

C监控NodeManager

D处理客户端请求

答案：

15下列说法哪项有误？

ASpark将数据载入内存后，之后的迭代计算都可以直接使用内存中的中间结果作运算，避免了从磁盘中频繁读取数据

B相对于Spark来说，使用Hadoop进行迭代计算非常耗资源

CSpark可以部署在资源管理器YARN之上，提供一站式的大数据解决方案

DHadoop的设计遵循“一个软件栈满足不同应用场景”的理念

答案：

判断题

1在Hadoop生态系统中，Pig主要解决Hadoop 中存在的延迟高、不适合执行迭代计算的问题。

A正确

B错误

答案：

2MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数。

A正确

B错误

答案：

3MapReduce计算模型主要用于实时、计算密集型应用。

A正确

B错误

答案：

4Spark运行架构中，每个Application都有自己专属的Executor进程，该进程在Application运行期间一直驻留。

A正确

B错误

答案：

5推荐系统是大数据在互联网领域的典型应用，是自动联系用户和爱好的一种工具。

A正确

B错误

答案：

多选题

1MapReduce体系结构主要由以下那几个部分构成？

AJobTracker

BTask

CClient

DTaskTracker

答案：

2MapReduce相较于传统的并行计算框架有什么优势？

A批处理、非实时、数据密集型

B使用普通PC机，便宜，扩展性好

C非共享式，容错性好

D编程简单，只要告诉MapReduce做什么即可

答案：

3下面哪个属于不断完善的Hadoop生态系统中的组件？

APig

BTez

CDN8

DKafka

答案：

4Spark采用RDD以后能够实现高效计算的原因主要在于？

A中间结果持久化到内存，避免了不必要的读写磁盘开销

B采用数据复制实现容错

C高效的容错性

D存放的数据可以是Java对象，避免了不必要的对象序列化和反序列化

答案：

5下列关于MapReduce的体系结构的描述，说法正确的有？

ATaskTracker监控所有TaskTracker与Job的健康状况

BTaskTracker 使用“slot”等量划分本节点上的资源量（CPU、内存等）

CJobTracker负责资源监控和作业调度

D用户编写的MapReduce程序通过Client提交到JobTracker端

答案：

6下列哪些属于大数据应用？

A智能交通：利用交通大数据，实现交通实时监控

B推荐系统：为用户推荐相关商品

C物流：基于大数据和物联网技术的智能物流

D汽车：无人驾驶汽车，实时采集车辆各种行驶数据和周围环境

答案：

7MapReduce的具体应用包括哪些？

A矩阵乘法

B关系代数运算（选择、投影、并、交、差、连接）

C分组与聚合运算

D矩阵-向量乘法

答案：

8在实际应用中，大数据处理主要包括以下哪三个类型？

A基于实时数据流的数据处理：通常时间跨度在数百毫秒到数秒之间

B基于实时数据流的数据处理：通常时间跨度在数十秒到数分钟之间

C基于历史数据的交互式查询：通常时间跨度在数十秒到数分钟之间

D复杂的批量数据处理：通常时间跨度在数十分钟到数小时之间

答案：

9在实际大数据处理应用中，当采用多种计算架构来满足不同应用场景需求时，会带来哪些问题？

A不同场景之间输入输出数据无法做到无缝共享，通常需要进行数据格式的转换

B比较难以对同一个集群中的各个系统进行统一的资源协调和分配

C需要较高的使用成本

D不同的软件需要不同的开发和维护团队

答案：

10下列选项中，哪些属于Hadoop1.0的核心组件的不足之处？

A资源浪费（Map和Reduce分两阶段执行）

B难以看到程序整体逻辑

C实时性差（适合批处理，不支持实时交互式）

D执行迭代操作效率低

答案：

简答题

11.关于Spark，（1）相对于MapReduce而言，在执行迭代计算方面，为什么Spark具有更好的性能？（2）为什么说Spark的设计具有天生的容错性？（3）Spark有哪三种部署方式？

答案：