• 热门行业
  • 装修建材
  • 家居生活
  • 餐饮食品
  • 母婴教育
  • 电脑办公
  • 服装首饰
  • 汽车工具
  • 家电数码
  • 机械化工
  • 休闲美容
返回上一页
专利状态
带有两阶段解码器的用于语言理解和生成的预训练框架
有效
专利申请进度
申请
2021-07-05
申请公布
2021-09-28
授权
2023-12-26
预估到期
2041-07-05
专利基础信息
申请号 CN202110758453.0 申请日 2021-07-05
申请公布号 CN113449491A 申请公布日 2021-09-28
授权公布号 CN113449491B 授权公告日 2023-12-26
分类号 G06F40/126;G06F40/205;G06F16/35;G06N3/0455;G06N3/08
分类 计算;推算;计数;
申请人名称 思必驰科技股份有限公司
申请人地址 江苏省苏州市苏州工业园区新平街388号腾飞创新园14栋
专利法律状态
  • 2023-12-26
    授权
    状态信息
    授权
  • 2021-09-28
    公布
    状态信息
    公布
摘要
本发明实施例提供一种带有两阶段解码器的用于语言理解和生成的预训练框架,包括:编码器,用于接收条件生成任务中的加噪文本,编码得到加噪文本序列,其中,加噪文本包括:片段遮盖和/或句子打乱的文本;解码器,用于接收编码器输出的加噪文本序列,在第一解码阶段,重构加噪文本序列,得到重构文本,生成对应加噪文本序列的意义表示;在第二解码阶段,基于重构文本和意义表示,生成后续文本。本发明实施例还提供一种二阶段解码器。本发明实施例在第一解码阶段进行重构加理解,在第二解码阶段中既保障了文本的理解,又可以生成后续文本,使得预训练质量更好。显式的理解可以应用于下游任务,方便获取上下文信息,适用任务更广。