江苏开放大学2024年春《大数据库管理 060602》第三次过程性考核作业(7~10单元)参考答案

2024年4月2517:46:24发布者:国开文档专家 39 views 举报

单选题

1在Hadoop生态系统中,Kafka主要解决Hadoop 中存在哪些的问题?

A抽象层次低,需要手工编写大量代码

B延迟高,而且不适合执行迭代计算

CHadoop生态系统中各个组件和其他产品之间缺乏统一的、高效的数据交换中介

D不同的MapReduce任务之间存在重复操作,降低了效率

答案:C

2下列关于Spark中RDD的说法,描述有误的是?

A每个RDD可分成多个分区,每个分区就是一个数据集片段

B一个RDD就是一个分布式对象集合,本质上是一个只读的分区记录集合

CRDD提供了一种高度受限的共享内存模型

DRDD是可以直接修改的

答案:D

3下列哪个不属于YARN体系结构中ApplicationMaster的功能?

A处理来自ResourceManger的命令

B任务调度、监控与容错

C为应用程序申请资源

D将申请的资源分配给内部任务

答案:A

4关于HDFS Federation 的设计的描述,哪个是错误的?

A属于不同命名空间的块可以构成同一个“块池”

BHDFS的命名服务能够水平扩展

C设计了多个相互独立的名称节点

DHDFS Federation中,所有名称节点会共享底层的数据节点存储资源,数据节点向所有名称节点汇报

答案:A

5下列关于推荐系统的描述,有误的是?

A混合推荐:结合多种推荐算法来提升推荐效果

B基于统计的推荐:通过机器学习的方法去描述内容的特征,并基于内容的特征来发现与之相似的内容

C专家推荐:人工推荐,由资深的专业人士来进行物品的筛选和推荐,需要较多的人力成本性

D协同过滤推荐:应用最早和最为成功的推荐方法之一

答案:B

6MapReduce1.0的体系结构中,JobTracker的主要任务是什么?

A会周期性地通过“心跳”将本节点上资源的使用情况和任务的运行进度汇报给TaskTracker

B使用“slot”等量划分本节点上的资源量(CPU、内存等)

C负责资源监控和作业调度,监控所有TaskTracker与Job的健康状况

D会跟踪任务的执行进度、资源使用量等信息,并将这些信息告诉任务(Task)

答案:

7下列关于Spark的描述,错误的是哪一项?

A支持使用Scala、Java、Python和R语言进行编程,但是不可以通过Spark Shell进行交互式编程

B可运行于独立的集群模式中,可运行于Hadoop中,也可运行于Amazon EC2等云环境中

C使用DAG执行引擎以支持循环数据流与内存计算

D提供了完整而强大的技术栈,包括SQL查询、流式计算、机器学习和图算法组件

答案:

8下列关于Map和Reduce函数的描述,哪个是错误的?

AMap将小数据集进一步解析成一批<key,value>对,输入Map函数中进行处理

BReduce输入的中间结果<k2,List(v2)>中的List(v2)表示是一批属于不同k2的value

CMap每一个输入的<k1,v1>会输出一批<k2,v2>,

DReduce输入的中间结果<k2,List(v2)>中的List(v2)表示是一批属于同一个k2的value

答案:

9下列关于Scala特性的描述,错误的是哪一项?

AScala是Spark的主要编程语言

BScala具备强大的并发性,支持函数式编程,可以更好地支持分布式系统

CScala语法复杂,但是能提供优雅的API

DScala兼容Java,运行速度快,且能融合到Hadoop生态圈中

答案:

10关于Spark运行架构,下列说法错误的是?

A一个Job包含多个RDD及作用于相应RDD上的各种操作

BApplication是用户编写的Spark应用程序

CRDD是运行在工作节点(WorkerNode)的一个进程,负责运行Task

DDAG反映RDD之间的依赖关系

答案:

11下列关于推荐系统的描述,哪一项是错误的?

A推荐系统是自动联系用户和物品的一种工具

B推荐系统可以创造全新的商业和经济模式,帮助实现长尾商品的销售

C推荐系统分为基于物品的协同过滤和基于商家的协同过滤

D推荐系统是大数据在互联网领域的典型应用

答案:

12下列传统并行计算框架,说法错误的是哪一项?

A共享式(共享内存/共享存储),容错性好

B刀片服务器、高速网、SAN,价格贵,扩展性差

C实时、细粒度计算、计算密集型

D编程难度高

答案:

13在Spark生态系统组件的应用场景中,下列哪项说法是错误的?

ASpark Streaming是基于历史数据的数据挖掘

BGraphX是图结构数据的处理

CSpark SQL是基于历史数据的交互式查询

DSpark Core应用在复杂的批量数据处理

答案:

14下列哪个不属于YARN体系结构中ResourceManager的功能?

A处理来自ApplicationMaster的命令

B资源分配与调度

C监控NodeManager

D处理客户端请求

答案:

15下列说法哪项有误?

ASpark将数据载入内存后,之后的迭代计算都可以直接使用内存中的中间结果作运算,避免了从磁盘中频繁读取数据

B相对于Spark来说,使用Hadoop进行迭代计算非常耗资源

CSpark可以部署在资源管理器YARN之上,提供一站式的大数据解决方案

DHadoop的设计遵循“一个软件栈满足不同应用场景”的理念

答案:

判断题

1在Hadoop生态系统中,Pig主要解决Hadoop 中存在的延迟高、不适合执行迭代计算的问题。

A正确

B错误

答案:

2MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数。

A正确

B错误

答案:

3MapReduce计算模型主要用于实时、计算密集型应用。

A正确

B错误

答案:

4Spark运行架构中,每个Application都有自己专属的Executor进程,该进程在Application运行期间一直驻留。

A正确

B错误

答案:

5推荐系统是大数据在互联网领域的典型应用,是自动联系用户和爱好的一种工具。

A正确

B错误

答案:

多选题

1MapReduce体系结构主要由以下那几个部分构成?

AJobTracker

BTask

CClient

DTaskTracker

答案:

2MapReduce相较于传统的并行计算框架有什么优势?

A批处理、非实时、数据密集型

B使用普通PC机,便宜,扩展性好

C非共享式,容错性好

D编程简单,只要告诉MapReduce做什么即可

答案:

3下面哪个属于不断完善的Hadoop生态系统中的组件?

APig

BTez

CDN8

DKafka

答案:

4Spark采用RDD以后能够实现高效计算的原因主要在于?

A中间结果持久化到内存,避免了不必要的读写磁盘开销

B采用数据复制实现容错

C高效的容错性

D存放的数据可以是Java对象,避免了不必要的对象序列化和反序列化

答案:

5下列关于MapReduce的体系结构的描述,说法正确的有?

ATaskTracker监控所有TaskTracker与Job的健康状况

BTaskTracker 使用“slot”等量划分本节点上的资源量(CPU、内存等)

CJobTracker负责资源监控和作业调度

D用户编写的MapReduce程序通过Client提交到JobTracker端

答案:

6下列哪些属于大数据应用?

A智能交通:利用交通大数据,实现交通实时监控

B推荐系统:为用户推荐相关商品

C物流:基于大数据和物联网技术的智能物流

D汽车:无人驾驶汽车,实时采集车辆各种行驶数据和周围环境

答案:

7MapReduce的具体应用包括哪些?

A矩阵乘法

B关系代数运算(选择、投影、并、交、差、连接)

C分组与聚合运算

D矩阵-向量乘法

答案:

8在实际应用中,大数据处理主要包括以下哪三个类型?

A基于实时数据流的数据处理:通常时间跨度在数百毫秒到数秒之间

B基于实时数据流的数据处理:通常时间跨度在数十秒到数分钟之间

C基于历史数据的交互式查询:通常时间跨度在数十秒到数分钟之间

D复杂的批量数据处理:通常时间跨度在数十分钟到数小时之间

答案:

9在实际大数据处理应用中,当采用多种计算架构来满足不同应用场景需求时,会带来哪些问题?

A不同场景之间输入输出数据无法做到无缝共享,通常需要进行数据格式的转换

B比较难以对同一个集群中的各个系统进行统一的资源协调和分配

C需要较高的使用成本

D不同的软件需要不同的开发和维护团队

答案:

10下列选项中,哪些属于Hadoop1.0的核心组件的不足之处?

A资源浪费(Map和Reduce分两阶段执行)

B难以看到程序整体逻辑

C实时性差(适合批处理,不支持实时交互式)

D执行迭代操作效率低

答案:

简答题

11.关于Spark,(1)相对于MapReduce而言,在执行迭代计算方面,为什么Spark具有更好的性能?(2)为什么说Spark的设计具有天生的容错性?(3)Spark有哪三种部署方式?

答案:

提示:下载前请核对题目。客服微信:diandahome
下载的文档都包含参考答案
特别声明:以上内容(如有图片或文件亦包括在内)为“电大之家”用户上传并发布,仅代表该用户观点,本平台仅提供信息发布。