基于知识蒸馏的语言模型训练方法、文本分类方法及装置

热门行业
装修建材
家居生活
餐饮食品
母婴教育
电脑办公
服装首饰
汽车工具
家电数码
机械化工
休闲美容

热门行业

教育培训
板材
地板
涂料
家纺
集成吊顶
美缝剂
木门
硅藻泥
管材
指纹锁
橱柜
衣柜
床垫
电热水器
集成灶
暖气片
净水器
酒店
卫浴

返回上一页

专利状态

基于知识蒸馏的语言模型训练方法、文本分类方法及装置

有效

专利申请进度

申请

2020-12-31

申请公布

2021-04-30

授权

2023-07-25

预估到期

2040-12-31

专利基础信息

申请号	CN202011627649.8	申请日	2020-12-31
申请公布号	CN112733550A	申请公布日	2021-04-30
授权公布号	CN112733550B	授权公告日	2023-07-25
分类号	G06F40/30;G06F40/211;G06F18/214
分类	计算；推算；计数;
申请人名称	科大讯飞股份有限公司
申请人地址	安徽省合肥市高新开发区望江西路666号

专利法律状态

2023-07-25

授权

状态信息

授权
2021-05-21

实质审查的生效

状态信息

实质审查的生效；IPC(主分类):G06F40/30；申请日:20201231
2021-04-30

公布

状态信息

公布

摘要

本申请公开了基于知识蒸馏的语言模型训练方法、文本分类方法及装置。该语言模型训练方法包括：将训练语料输入到第一模型与第二模型中进行处理，以获取对应的中间层数据以及输出结果；利用对应的中间层数据计算得到第一隐层句子内容以及第二隐层句子内容，并基于第一隐层句子内容与第二隐层句子内容构造对比学习正负例，利用对比学习正负例、对应的中间层数据以及输出结果对第二模型进行训练，并将训练完成后的第二模型确定为语言模型。通过上述分类模型，本申请能够将第一模型丰富的句子语法以及语义表征迁移到第二模型中，使蒸馏获得的第二模型具有更好的迁移能力，从而满足跨领域的应用需求。

更多专利

全国服务热线：

在线客服

1211389656 咨询

商务合作

85926368 咨询

媒体合作

921888730 咨询

在线客服
客服微信号

品牌网官方客服微信

打开微信扫一扫

客服微信
商务合作微信

商务合作详谈

打开微信扫一扫

商务合作
回到顶部

在线客服

商务合作

媒体合作

客服微信号

商务合作微信