“大数据技术导论”课程实验报告

实验名称：大数据去重

教师评语

教师签字 日期：

成绩

学生姓名

学号

一、实验目标

通过 Hadoop 数据去重实验，学生可以掌握准备数据、伪分布式文件系统配置方法，以及在集成开发环

境 Eclipse 中实现 Hadoop 数据去重方法。

二、实验环境

操作系统： Mac os

三、实验内容

（1）制订实验计划。

（2）进入“/usr/local/hadoop”目录。

（3）准备数据。

（4）修改“/usr/local/hadoop/etc/hadoop/”目录下的Hadoop配置文件。

（5）NameNode格式化。

（6）在集成开发环境 Eclipse 中实现 Hadoop 数据去重

四、实验成果

1 、 创建文件 file1.txt 和 file2.txt

打开 eclipse 、新建 map/reduce project