天水 网站建设招聘,建设历史文化旅游宣传网站,开彩票网站做私庄,河北智慧团建官网登录入口文章目录 一、实战概述二、提出任务三、完成任务#xff08;一#xff09;准备数据1、在虚拟机上创建文本文件2、上传文件到HDFS指定目录 #xff08;二#xff09;实现步骤1、创建Maven项目2、添加相关依赖3、创建日志属性文件4、创建词频统计映射器类5、创建词频统计归并… 文章目录 一、实战概述二、提出任务三、完成任务一准备数据1、在虚拟机上创建文本文件2、上传文件到HDFS指定目录 二实现步骤1、创建Maven项目2、添加相关依赖3、创建日志属性文件4、创建词频统计映射器类5、创建词频统计归并器类6、创建词频统计驱动器类7、启动应用查看结果 四、实战总结 一、实战概述 本实战演练旨在利用Hadoop MapReduce框架在虚拟环境中执行一个简单的词频统计任务。首先在master节点上创建了一个包含多个单词行的文本文件words.txt并将该文件上传至HDFS中的指定目录/wordcount/input。 在集成开发环境IntelliJ IDEA中我们创建了一个名为MRWordCount的Maven项目并引入了Apache Hadoop 3.3.4版本的客户端依赖和JUnit测试框架。为了便于日志管理添加了log4j.properties配置文件来定义日志输出格式及位置。 接下来实现了两个关键类WordCountMapper和WordCountReducer。WordCountMapper继承自Mapper接口负责读取输入文本文件中的每一行内容将每行按空格分割成单词并为每个单词生成一个键值对单词, 1以便后续计数处理。而WordCountReducer则继承自Reducer接口它接收Mapper阶段产生的所有相同单词的键及其对应的次数进行合并统计并输出格式化的(单词, 出现次数)键值对。 最后通过WordCountDriver驱动类完成整个MapReduce作业的设置与执行。此类初始化Hadoop Configuration对象、设置Job参数包括Mapper和Reducer类、键值类型等、指定了HDFS上的输入输出路径并最终提交作业至集群执行。作业完成后WordCountDriver还会从HDFS上读取结果并显示到控制台。 经过上述步骤当运行WordCountDriver主类时程序将会读取HDFS上的输入文件运用MapReduce模型进行分布式计算最终得到期望的词频统计结果并在控制台展示出来。这个实例展示了如何使用Hadoop MapReduce进行大规模数据处理的实际操作流程。
二、提出任务
单词文件 - words.txt
hello hadoop world
hello hive world
hello hbase world
hadoop hive hbase
I love hadoop and hive使用MR框架进行词频统计输出如下结果
三、完成任务
一准备数据
1、在虚拟机上创建文本文件
在master虚拟机上创建words.txt文件
2、上传文件到HDFS指定目录 创建/wordcount/input目录执行命令hdfs dfs -mkdir -p /wordcount/input 将文本文件words.txt上传到HDFS的/wordcount/input目录
二实现步骤
说明集成开发环境IntelliJ IDEA版本 - 2022.3
1、创建Maven项目 Maven项目 - MRWordCount设置了JDK版本 - 1.8组标识 - net.huawei.mr 单击【Create】按钮得到初始化项目
2、添加相关依赖
在pom.xml文件里添加hadoop-client和junit依赖
dependencies !--hadoop客户端-- dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId version3.3.4/version /dependency !--单元测试框架-- dependency groupIdjunit/groupId artifactIdjunit/artifactId version4.13.2/version /dependency
/dependencies 刷新项目依赖
3、创建日志属性文件
在resources目录里创建log4j.properties文件
log4j.rootLoggerERROR, stdout, logfile
log4j.appender.stdoutorg.apache.log4j.ConsoleAppender
log4j.appender.stdout.layoutorg.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern%d %p [%c] - %m%n
log4j.appender.logfileorg.apache.log4j.FileAppender
log4j.appender.logfile.Filetarget/wordcount.log
log4j.appender.logfile.layoutorg.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern%d %p [%c] - %m%n4、创建词频统计映射器类
创建net.huawei.mr包在包里创建WordCountMapper类
package net.huawei.mr;import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.io.Text;
import java.io.IOException;/*** 功能词频统计映射器类* 作者华卫* 日期2024年01月05日*/
public class WordCountMapper extends MapperLongWritable, Text, Text, IntWritable {Overrideprotected void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException {// 获取行内容String line value.toString();// 按空格拆分成单词数组String[] words line.split( );// 遍历单词数组生成输出键值对for (String word : words) {context.write(new Text(word), new IntWritable(1));}}
}该代码定义了一个Hadoop MapReduce作业中的词频统计Mapper类WordCountMapper继承自MapperLongWritable, Text, Text, IntWritable。它接收输入键值对LongWritable行偏移量Text行内容按空格分割每行文本为单词并为每个单词输出一个键值对到上下文Text: 单词, IntWritable: 1用于后续Reducer进行计数汇总。 映射任务与归并任务示意图
5、创建词频统计归并器类
在net.huawei.mr包里创建WordCountReducer
package net.huawei.mr;import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;import java.io.IOException;/*** 功能词频统计归并类* 作者华卫* 日期2024年01月05日*/
public class WordCountReducer extends ReducerText, IntWritable, Text, NullWritable {Overrideprotected void reduce(Text key, IterableIntWritable values, Context context)throws IOException, InterruptedException {// 定义键单词出现次数int count 0;// 遍历输入值迭代器for (IntWritable value : values) {count count value.get(); // 针对此案例可以写为count;}// 生成新的键格式为(word,count)String newKey ( key.toString() , count );// 输出新的键值对context.write(new Text(newKey), NullWritable.get());}
}该WordCountReducer类是Hadoop MapReduce中用于词频统计的归约器继承自ReducerText, IntWritable, Text, NullWritable。在reduce方法中它接收一个单词键Text类型及其对应的出现次数迭代器IntWritable类型。通过遍历所有次数并将它们累加到变量count上然后将单词与统计结果拼接成(word,count)格式的新键并使用NullWritable作为值输出从而实现单词及其词频的合并统计。
6、创建词频统计驱动器类
在net.huawei.mr包里创建WordCountDriver类
package net.huawei.mr;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import java.net.URI;/*** 功能词频统计驱动器类* 作者华卫* 日期2024年01月05日*/
public class WordCountDriver {public static void main(String[] args) throws Exception {// 创建配置对象Configuration conf new Configuration();// 设置客户端使用数据节点主机名属性conf.set(dfs.client.use.datanode.hostname, true);// 获取作业实例Job job Job.getInstance(conf);// 设置作业启动类job.setJarByClass(WordCountDriver.class);// 设置Mapper类job.setMapperClass(WordCountMapper.class);// 设置map任务输出键类型job.setMapOutputKeyClass(Text.class);// 设置map任务输出值类型job.setMapOutputValueClass(IntWritable.class);// 设置Reducer类job.setReducerClass(WordCountReducer.class);// 设置reduce任务输出键类型job.setOutputKeyClass(Text.class);// 设置reduce任务输出值类型job.setOutputValueClass(NullWritable.class);// 定义uri字符串String uri hdfs://master:9000;// 创建输入目录Path inputPath new Path(uri /wordcount/input);// 创建输出目录Path outputPath new Path(uri /wordcount/output);// 获取文件系统FileSystem fs FileSystem.get(new URI(uri), conf);// 删除输出目录第二个参数设置是否递归fs.delete(outputPath, true);// 给作业添加输入目录允许多个FileInputFormat.addInputPath(job, inputPath);// 给作业设置输出目录只能一个FileOutputFormat.setOutputPath(job, outputPath);// 等待作业完成job.waitForCompletion(true);// 输出统计结果System.out.println(统计结果);FileStatus[] fileStatuses fs.listStatus(outputPath);for (int i 1; i fileStatuses.length; i) {// 输出结果文件路径System.out.println(fileStatuses[i].getPath());// 获取文件系统数据字节输入流FSDataInputStream in fs.open(fileStatuses[i].getPath());// 将结果文件显示在控制台IOUtils.copyBytes(in, System.out, 4096, false);}}
}该WordCountDriver类是Hadoop MapReduce框架中用于执行词频统计任务的驱动类。 初始化配置首先创建一个Configuration对象设置客户端使用数据节点主机名属性以便正确解析路径。 构建作业实例通过Job.getInstance(conf)获取一个MapReduce作业实例并将当前类WordCountDriver作为作业启动类这样Hadoop在运行时能识别到主程序入口。 配置Mapper和Reducer分别指定Map阶段使用的类为WordCountMapperReduce阶段使用的类为WordCountReducer。同时设定Map阶段输出键值对类型为Text和IntWritableReduce阶段输出键值对类型也为Text和NullWritable。 定义文件系统URI设置HDFS地址为hdfs://master:9000并基于此URI创建输入目录/wordcount/input和输出目录/wordcount/output。 文件系统操作连接到HDFS文件系统删除已存在的输出目录以准备新的计算结果然后向作业添加输入目录和设置输出目录。 提交并监控作业调用job.waitForCompletion(true)方法提交作业并等待其完成。当作业完成后会返回一个布尔值表示作业是否成功执行。 读取并显示结果作业结束后列出输出目录下的所有文件遍历这些文件并打开每个文件进行读取。利用IOUtils.copyBytes方法将结果文件的内容复制到控制台输出展示词频统计的结果。
总之WordCountDriver类负责整个词频统计任务的初始化、配置、执行以及结果展示工作它将Hadoop MapReduce的各个组件如Mapper、Reducer与实际的输入输出路径关联起来形成了一个完整的词频统计应用。
7、启动应用查看结果
运行WordCountDriver类查看结果
四、实战总结
本实战通过Hadoop MapReduce框架在虚拟环境中对words.txt文件进行了词频统计。首先将数据上传至HDFS并在IntelliJ IDEA中创建Maven项目配置相关依赖。实现的WordCountMapper负责按空格拆分单词并初始化词频为1WordCountReducer则对相同单词的计数进行合并。最后WordCountDriver类配置作业参数、指定输入输出路径并在集群上执行任务完成后从HDFS读取并展示统计结果。整个过程演示了MapReduce模式处理文本数据进行词频统计的完整流程。
