• 热门行业
  • 装修建材
  • 家居生活
  • 餐饮食品
  • 母婴教育
  • 电脑办公
  • 服装首饰
  • 汽车工具
  • 家电数码
  • 机械化工
  • 休闲美容
返回上一页
专利状态
一种模型压缩方法及装置
有效
专利申请进度
申请
2021-09-13
申请公布
2022-01-04
授权
2023-04-28
预估到期
2041-09-13
专利基础信息
申请号 CN202111067265.X 申请日 2021-09-13
申请公布号 CN113887719A 申请公布日 2022-01-04
授权公布号 CN113887719B 授权公告日 2023-04-28
分类号 G06N3/082;G06N3/04;G06F17/16
分类 计算;推算;计数;
申请人名称 北京三快在线科技有限公司
申请人地址 北京市海淀区北四环西路9号2106-030
专利法律状态
  • 2023-04-28
    授权
    状态信息
    授权
  • 2022-01-04
    公布
    状态信息
    公布
摘要
本说明书公开了一种模型压缩方法及装置,可先获取已训练完成的神经网络模型,并针对该神经网络模型中的每个嵌入层,确定该嵌入层的嵌入矩阵以及该嵌入层的基准矩阵。之后,以该嵌入矩阵的行数与基准矩阵的行数为约束,构建索引矩阵,并基于该嵌入层的索引矩阵与基准矩阵,确定该嵌入层的重构矩阵。最后,以最小化该嵌入层的嵌入矩阵与重构矩阵之间的差异为目标,调整基准矩阵与索引矩阵中的参数,并基于调整后的各基准矩阵与各索引矩阵,确定压缩后的神经网络模型,用于部署至终端中执行业务。以模型中各嵌入层的嵌入矩阵与重构矩阵之间的差异为优化目标,得到各嵌入层压缩后的基准矩阵与索引矩阵,极大降低了模型压缩的数据量。