• 热门行业
  • 装修建材
  • 家居生活
  • 餐饮食品
  • 母婴教育
  • 电脑办公
  • 服装首饰
  • 汽车工具
  • 家电数码
  • 机械化工
  • 休闲美容
返回上一页
专利状态
一种低数据场景下的对话模型训练方法及计算机设备
有效
专利申请进度
申请
2022-10-17
申请公布
2022-11-11
授权
2023-01-06
预估到期
2042-10-17
专利基础信息
申请号 CN202211263852.0 申请日 2022-10-17
申请公布号 CN115329062A 申请公布日 2022-11-11
授权公布号 CN115329062B 授权公告日 2023-01-06
分类号 G06F16/332;G06N3/08
分类 计算;推算;计数;
申请人名称 中邮消费金融有限公司
申请人地址 广东省广州市南沙区海滨路171号南沙金融大厦11楼1101之一J30
专利法律状态
  • 2023-01-06
    授权
    状态信息
    授权
  • 2022-11-11
    公布
    状态信息
    公布
摘要
本发明提供一种低数据场景下的对话模型训练方法及计算机设备,本发明提供的低数据场景下的对话模型训练方法,包括如下步骤:步骤一、在语言模型2上附加小型transformer自注意力层,训练附加小型transformer自注意层,此步骤训练中,语言模型的参数被固定不变。步骤二、将训练好的附加transformer自注意层与复制下来的嵌入层组成新的transformer模型,继续训练新的transformer模型。本发明提供的低数据场景下的对话模型训练方法能够在缺乏对话数据的情况下,通过本发明的训练方法可以训练得到可用的检索式端到端对话模型,参数量小,不容易过拟合,推理运算速度快。