一种新闻文档去重的方法、装置及存储介质

热门行业
装修建材
家居生活
餐饮食品
母婴教育
电脑办公
服装首饰
汽车工具
家电数码
机械化工
休闲美容

热门行业

教育培训
板材
地板
涂料
家纺
集成吊顶
美缝剂
木门
硅藻泥
管材
指纹锁
橱柜
衣柜
床垫
电热水器
集成灶
暖气片
净水器
酒店
卫浴

返回上一页

专利状态

一种新闻文档去重的方法、装置及存储介质

有效

专利申请进度

申请

2018-07-02

申请公布

2020-02-04

授权

2023-09-26

预估到期

2038-07-02

专利基础信息

申请号	CN201810710477.7	申请日	2018-07-02
申请公布号	CN110750963A	申请公布日	2020-02-04
授权公布号	CN110750963B	授权公告日	2023-09-26
分类号	G06F40/166;G06F40/284
分类	计算；推算；计数;
申请人名称	北京四维图新科技股份有限公司
申请人地址	北京市海淀区学院路7号弘彧大厦10层1002A室

专利法律状态

2023-09-26

授权

状态信息

授权
2020-02-28

实质审查的生效

状态信息

实质审查的生效；IPC(主分类):G06F40/166；申请日:20180702
2020-02-04

公布

状态信息

公布

摘要

本申请公开了一种新闻文档去重的方法、装置及存储介质，该方法包括：对文档进行分词；计算词项在文档中的权重；根据词项得到文档向量；根据文档向量计算文档之间的相似度；将相似度大于预设值的文档聚类成一个簇，并根据簇中的文档之间的相似度确定簇心；根据簇心标记出重复文档。本申请能够取得的有益效果在于，不需要人工标注训练样本，解决了人工标注训练样本费时费力问题；根据词项在文档中的权重计算相似度；提升命名实体和事件行为词项的权重，解决了受低频噪音词的影响较大问题；将相似度大于预设值的文档聚类成一个簇，每篇文档仅出现于单一簇中，使重复的文档具有唯一性；被标记的重复文档用于去重，避免多次处理重复的文档。

更多专利

全国服务热线：

在线客服

1211389656 咨询

商务合作

85926368 咨询

媒体合作

921888730 咨询

在线客服
客服微信号

品牌网官方客服微信

打开微信扫一扫

客服微信
商务合作微信

商务合作详谈

打开微信扫一扫

商务合作
回到顶部

在线客服

商务合作

媒体合作

客服微信号

商务合作微信