大数据流量分析系统

前几天去了移动营业厅办了个卡，就不说某动的内幕了，说说上行流量和下行流量统计手机号码的总流量。这次我们利用大数据来分析，大数据也有三大框架，Hadoop是离线计算框架，Storm是实时计算框架，Spark是内存计算框架。这里我们使用Hadoop，因为已经有流量的数据，只需统计出来就可以了。

首先我们没有移动的真实数据，只能伪造数据。

之前做了个excel生成数据的系统，这里生成了手机号，32位随机码，上行流量，下行流量，状态码。

map.put("CODEA", "131"+_stringUtils.getCharAndNumr(8, 1));map.put("CODEB", _stringUtils.getRandomName());map.put("CODEC", _stringUtils.getCharAndNumr(3, 1));map.put("CODED", _stringUtils.getCharAndNumr(4, 1));map.put("CODEE", "200");

1、用java生成excel文件，再复制转成log文件，数据如下：

2、再上传到hdfs中
由于使用windows测试，hadoop环境是安装在windows上。
想学习大数据，又觉得在linux上难操作的，可加QQ490647751，获取windows-hadoop文件资料，只要修改自己的jdk，hadoop环境，一键打开hadoop，网页运行localhost:8088和locahost:50070即可。

想学习大数据的童鞋，多关注本博客，谢谢！

final FSDataOutputStream out = fileSystem.create(new Path(FILE));final FileInputStream in = new FileInputStream("D:/HTTP0804.logs");IOUtils.copyBytes(in, out, 1024, true);

// 将D盘中的HTTP0804.logs文件上传到hdfs中的FILE路径中

3、用hadoop计算生成文件

@Overrideprotected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, FlowBean>.Context context)throws IOException, InterruptedException {//1、接受数据String line = value.toString();//2、数据切片String[] fields = line.split("\t");//3、拿到关键字段String phoneStr = fields[0];long upFlow = Long.parseLong(fields[fields.length - 3]);long dfFlow = Long.parseLong(fields[fields.length - 2]);//4、数据输出到reduce阶段context.write(new Text(phoneStr), new FlowBean(upFlow, dfFlow));}

@Overrideprotected void reduce(Text key, Iterable<FlowBean> values, Reducer<Text, FlowBean, Text, FlowBean>.Context context)throws IOException, InterruptedException {//初始化求和变量long sum_upFlow = 0;long sum_dfFlow = 0;//遍历累加求和for(FlowBean b:values){sum_upFlow += b.getUpFlow();sum_dfFlow += b.getDfFlow();FlowBean result = new FlowBean(sum_upFlow, sum_dfFlow);context.write(key, result);}}

hadoop jar flow0804.jar com.yanhui.hadoop.FlowLogsCount /yanhui/in /yanhui/out

4、下载该文件

从图上看，手机号，上行流量，下行流量，总流量这样输出。

获取源码学习，可点击下载：http://47.98.237.162/detail/1/169