一种分布式训练中参数更新方法及装置

热门行业
装修建材
家居生活
餐饮食品
母婴教育
电脑办公
服装首饰
汽车工具
家电数码
机械化工
休闲美容

热门行业

教育培训
板材
地板
涂料
家纺
集成吊顶
美缝剂
木门
硅藻泥
管材
指纹锁
橱柜
衣柜
床垫
电热水器
集成灶
暖气片
净水器
酒店
卫浴

返回上一页

专利状态

一种分布式训练中参数更新方法及装置

有效

专利申请进度

申请

2019-09-12

申请公布

2019-12-31

授权

2023-04-07

预估到期

2039-09-12

专利基础信息

申请号	CN201910864527.1	申请日	2019-09-12
申请公布号	CN110633798A	申请公布日	2019-12-31
授权公布号	CN110633798B	授权公告日	2023-04-07
分类号	G06N3/08
分类	计算；推算；计数;
申请人名称	北京金山数字娱乐科技有限公司
申请人地址	北京市海淀区小营西路33号金山软件大厦2层西区

专利法律状态

2023-04-07

授权

状态信息

授权
2019-12-31

公布

状态信息

公布

摘要

本申请提供一种分布式训练中参数更新方法及装置，其中所述分布式训练中参数更新方法包括：接收分布式训练集群中的每个训练节点传递的梯度；根据每个训练节点传递的梯度计算训练模型的损失值并更新所述训练模型的模型参数；根据所述损失值确定模型训练的训练阶段；根据所述训练阶段对所述模型参数进行压缩，获得压缩模型参数；将所述压缩模型参数同步至所述分布式训练集群的每个训练节点，更新每个训练节点中的模型参数。本申请提供的分布式训练中参数更新方法自适应地减少了参数同步时通信量的大小，即保证了模型参数的同步效率，又保证了训练结果的精度，在进行分布式训练时，提高了模型训练的速度。

更多专利

全国服务热线：

在线客服

1211389656 咨询

商务合作

85926368 咨询

媒体合作

921888730 咨询

在线客服
客服微信号

品牌网官方客服微信

打开微信扫一扫

客服微信
商务合作微信

商务合作详谈

打开微信扫一扫

商务合作
回到顶部

在线客服

商务合作

媒体合作

客服微信号

商务合作微信