• 热门行业
  • 装修建材
  • 家居生活
  • 餐饮食品
  • 母婴教育
  • 电脑办公
  • 服装首饰
  • 汽车工具
  • 家电数码
  • 机械化工
  • 休闲美容
返回上一页
专利状态
批推理动态等待方法、服务器和计算机可读存储介质
有效
专利申请进度
申请
2019-12-10
申请公布
2020-05-08
授权
2023-05-16
预估到期
2039-12-10
专利基础信息
申请号 CN201911256119.4 申请日 2019-12-10
申请公布号 CN111124671A 申请公布日 2020-05-08
授权公布号 CN111124671B 授权公告日 2023-05-16
分类号 G06F9/50;G10L15/34;G10L15/22;G06N5/04;G06N20/00;G06F40/242
分类 计算;推算;计数;
申请人名称 广州小鹏汽车科技有限公司
申请人地址 广东省广州市天河区岑村松岗大街8号
专利法律状态
  • 2023-05-16
    授权
    状态信息
    授权
  • 2020-05-08
    公布
    状态信息
    公布
摘要
本发明实施例提供了一种批推理动态等待方法、服务器和计算机可读存储介质,该方法包括:主线程接收用户请求;主线程将请求添加到当前请求队列并存入字典;主线程等待第一子线程确定存在满足进行批推理的条件,再返回微服务的批推理结果;由主线程从字典中读取并向客户端返回批推理结果。本发明在是否进行批推理的条件判断中,由第一子线程获取第二子线程维护的一个实时更新的最长等待时间ti,该最长等待时间是利用强化学习实现的实时更新的最长等待时间,通过这种方式,本发明实现了在闲时用户请求并发量较小的时段减少请求的延迟而在忙时用户请求量并发较大的时段能够支持更多的请求。