• 热门行业
  • 装修建材
  • 家居生活
  • 餐饮食品
  • 母婴教育
  • 电脑办公
  • 服装首饰
  • 汽车工具
  • 家电数码
  • 机械化工
  • 休闲美容
返回上一页
专利状态
一种模型推理服务调用系统和方法
有效
专利申请进度
申请
2021-08-24
申请公布
2021-09-21
授权
2021-11-02
预估到期
2041-08-24
专利基础信息
申请号 CN202110976068.3 申请日 2021-08-24
申请公布号 CN113419750A 申请公布日 2021-09-21
授权公布号 CN113419750B 授权公告日 2021-11-02
分类号 G06F8/61;G06F8/65;G06F8/71;G06F9/54;G06N5/04;G06N20/00
分类 计算;推算;计数;
申请人名称 北京华品博睿网络技术有限公司
申请人地址 北京市朝阳区太阳宫中路16号院1号楼18层1801内09
专利法律状态
  • 2021-11-02
    授权
    状态信息
    授权
  • 2021-10-12
    实质审查的生效
    状态信息
    实质审查的生效;IPC(主分类):G06F8/61;申请日:20210824
  • 2021-09-21
    公布
    状态信息
    公布
摘要
本发明实施例公开了一种模型推理服务调用系统,包括:业务应用集群,设有两个,分别支持本地模式和远程模式,业务应用集群包括多个业务应用节点,每个业务应用节点设应用容器,应用容器有模型推理服务SDK;推理服务集群,包括多个推理服务容器,各个推理服务容器分别调用模型库中加载的模型进行推理,并返回推理结果;特征库,存储多个版本的模型的特征数据;模型库,存储多个版本的模型的其他数据;自动化发布部署平台,根据用户请求从模型库中选择模型,并进行业务应用集群和推理服务集群的配置。本发明实施例还公开了一种模型推理服务调用方法。本发明能够高效完成算法模型推理服务,且算法模型推理服务和业务应用解耦,能实现较好的双轨迭代。