-
日志合并代码
将电信实时日志 根据正则提取 然后通过mr合并,按类区分。
第一类:2016-06-02 23:44:32[02 00:27:16,496 INFO ] - [Topic2Queue.java]-[com.tydic.rtaBc.msgPrep.Topic2Queue$TopicThread]-[run]-[140] -
[消息发送完成****开始时间:1464798436495 结束时间:1464798436496 发送耗时毫秒:1 消息内容:PROD_OFFER_STRA_INST_553#|20160602002715000#|1588772703#|2#|2#|553#|52404686#~256902779#~0#~1763220#~20120829000000#~20170731000000#~48819113#~#~0#~1#~55302972867#~#~24#~1000#~553#~20120829175149#~#~20120829175102#~1#~11] 103002103002009103002009001Topic2Queue174_58_61134.64.115.174file
第二类:[0624 17:12:40 047 INFO ] com.tydic.rtaBc.msgPrep.MsgPrep - [@PH] [2016-06-24 17:12:40] [40-92815B5A8001-RTA1-29928958696021756] [P_1_MR] [1] [OFFER_PROD_INST_REL_554#|20160624170210000#|823943705#|1#|2#|554#|179490421#~286955326#~277480107#~554#~20160624170210#~20160624170210#~555913462#~A1#~286955326#~0#~#~#~#~#~70911#~12#~0#~0]
第三类:103002103002009
- 2022-02-04 07:56:15下载
- 积分:1
-
图像文件转换为MapReduce可以读写的二进制文件代码
Hadoop的计算框架只能处理文本文件,对于图像数据不能直接处理,本代码可以实现将图像文件转换成Mapreduce可以读取的SequenceFile,其中包括单机写入和读取,以及mapreduce读取,是进行分布式处理图像数据的第一步。
- 2022-11-14 02:20:03下载
- 积分:1
-
hadoop-workCount-源码
hadoop2.5.1-workCount-源码,导入eclipse可直接运行。有需求的可以一起研究一下。
- 2022-02-25 01:53:06下载
- 积分:1
-
hadoopTest
1、WordCountMap类继承了org.apache.hadoop.mapreduce.Mapper,4个泛型类型分别是map函数输入key的类型,输入value的类型,输出key的类型,输出value的类型。
2、WordCountReduce类继承了org.apache.hadoop.mapreduce.Reducer,4个泛型类型含义与map类相同。
3、map的输出类型与reduce的输入类型相同,而一般情况下,map的输出类型与reduce的输出类型相同,因此,reduce的输入类型与输出类型相同。
4、hadoop根据以下代码确定输入内容的格式:
- 2022-11-11 11:35:03下载
- 积分:1
-
hadoop hive
Hadoop构建数据仓库实践 操作指南 大数据知识(hadoop java hive bigdata)
- 2019-04-06 09:26:20下载
- 积分:1
-
分析部门员工的情况
1) 求各个部门的总工资
2) 求各个部门的人数和平均工资
3) 求每个部门最早进入公司的员工姓名
4) 求各个城市的员工的总工资
5) 列出工资比上司高的员工姓名及其工资
6) 列出工资比公司平均工资要高的员工姓名及其工资
7) 列出名字以J开头的员工姓名及其所属部门名称
8) 列出工资最高的头三名员工姓名及其工资
9) 将全体员工按照总收入(工资+提成)从高到低排列,要求列出姓名及其总收入
10) 如果每位员工只能和他的直接上司,直接下属,同一部门的同事交流,求任何两名员工之间若要进行信息传递所需要经过的中间节点数。
- 2022-03-14 23:07:58下载
- 积分:1
-
爵士音乐家网络数据标签传播算法实现社团分析
在 gephi 提供的数据集上随便选一个实现标签传播算法五次. 比较五次算法结果的差别.
下载爵士音乐家网络数据:
NET file.
Jazz musicians network: List of edges of the network of Jazzmusicians.
P.Gleiser and L. Danon , Adv. Complex Syst.6, 565 (2003).
网络文件。爵士音乐家网络:爵士音乐家网络边表列表。
*Vertices (顶点) 198
*Arcs弧
*Edges边缘
- 2022-01-28 15:25:33下载
- 积分:1
-
Hadoop2.0入门案例
Hadoop2.0.入门案例。很实用,想要学习大数据的同学抓紧,里面有自己的学习心得!
- 2022-03-23 12:12:27下载
- 积分:1
-
CRS编码
用于hadoop0.22.0的分布式纠删编码,是对原始hadoop0.22.0的改进版本,大大提高数据恢复速度,非常高效。
- 2022-09-12 03:55:03下载
- 积分:1
-
mahout实战中k-means源码
mahout是一个开源的机器学习平台!mahout实战这本书详细的讲解了mahout的原理并且介绍了相应算法的实例。本文件包含了该书的相应实例的相应源码。
- 2022-03-11 02:22:22下载
- 积分:1