一种大数据去重方法及装置

热门行业
装修建材
家居生活
餐饮食品
母婴教育
电脑办公
服装首饰
汽车工具
家电数码
机械化工
休闲美容

热门行业

教育培训
板材
地板
涂料
家纺
集成吊顶
美缝剂
木门
硅藻泥
管材
指纹锁
橱柜
衣柜
床垫
电热水器
集成灶
暖气片
净水器
酒店
卫浴

返回上一页

专利状态

一种大数据去重方法及装置

有效

专利申请进度

申请

2018-12-06

申请公布

2019-03-26

授权

2021-02-02

预估到期

2038-12-06

专利基础信息

申请号	CN201811488881.0	申请日	2018-12-06
申请公布号	CN109522305A	申请公布日	2019-03-26
授权公布号	CN109522305B	授权公告日	2021-02-02
分类号	G06F16/215;G06F16/2455
分类	计算；推算；计数;
申请人名称	北京千方科技股份有限公司
申请人地址	北京市海淀区东北旺西路8号中关村软件园一期27号楼B座501室

专利法律状态

2021-02-02

授权

状态信息

授权
2019-04-23

实质审查的生效

状态信息

实质审查的生效；IPC(主分类):G06F 16/215；专利申请号:2018114888810；申请日:20181206
2019-03-26

发明专利申请公布

状态信息

公布

摘要

本发明公开了一种大数据去重方法及装置，该方法包括：接收待去重数据，待去重数据包括发生时间及数据字符串；根据发生时间及数据字符串，生成待去重数据对应的Redis键值对；将Redis键值对插入Redis服务器对中，根据Redis服务器对的返回结果，确定待去重数据是否为重复数据。本发明通过服务器集群进行大数据去重，将数据运算尽可能分散到集群环境中的不同节点上。且在去重时采用可高并发访问的键值对数据库Redis，从空间和时间的角度都确保了去重运算占用最小的系统资源。通过将待去重数据的发生时间扩展到多个临近时间，能够有效过滤掉时间接近的近似数据，去重准确性高、精度高，且通用性好，能够应用于各种数据具有时间连续性特点的大数据应用场景中。

更多专利

全国服务热线：

在线客服

1211389656 咨询

商务合作

85926368 咨询

媒体合作

921888730 咨询

在线客服
客服微信号

品牌网官方客服微信

打开微信扫一扫

客服微信
商务合作微信

商务合作详谈

打开微信扫一扫

商务合作
回到顶部

在线客服

商务合作

媒体合作

客服微信号

商务合作微信