• 热门行业
  • 装修建材
  • 家居生活
  • 餐饮食品
  • 母婴教育
  • 电脑办公
  • 服装首饰
  • 汽车工具
  • 家电数码
  • 机械化工
  • 休闲美容
返回上一页
专利状态
一种语言模型构建方法及设备
有效
专利申请进度
申请
2021-06-25
申请公布
2021-09-24
授权
2023-05-26
预估到期
2041-06-25
专利基础信息
申请号 CN202110712071.4 申请日 2021-06-25
申请公布号 CN113435500A 申请公布日 2021-09-24
授权公布号 CN113435500B 授权公告日 2023-05-26
分类号 G06F18/2415;G06N20/00
分类 计算;推算;计数;
申请人名称 竹间智能科技(上海)有限公司
申请人地址 上海市徐汇区宜山路700号B2幢楼18层整层
专利法律状态
  • 2023-05-26
    授权
    状态信息
    授权
  • 2021-10-15
    实质审查的生效
    状态信息
    实质审查的生效;IPC(主分类):G06K9/62;申请日:20210625
  • 2021-09-24
    公布
    状态信息
    公布
摘要
本发明实施例公开了一种语言模型构建方法及设备,方法包括:从数据库中调取语料,语料包括多条具有标签的业务语料和多条无标签语料;利用业务语料分别对k个第一模型进行训练,获取k个第一语言模型;使用k个第一语言模型分别对每条语料进行预测,获得每条语料的k个第一预测概率矩阵;对每条语料的k个第一预测概率矩阵进行均值计算,获取每条语料的第二预测概率矩阵;利用语料对第二模型进行多轮训练,并根据第二预测概率矩阵确定每轮训练后的第二模型的损失函数值,直至满足预设条件时停止训练,获取第二语言模型;其中,每轮训练后的第二模型将自动根据本轮确定的损失函数值进行调整,第二模型的层数少于第一模型的层数。