• 热门行业
  • 装修建材
  • 家居生活
  • 餐饮食品
  • 母婴教育
  • 电脑办公
  • 服装首饰
  • 汽车工具
  • 家电数码
  • 机械化工
  • 休闲美容
返回上一页
专利状态
一种跨数据中心的ETL工具
有效
专利申请进度
申请
2021-05-20
申请公布
2021-08-27
授权
2022-09-09
预估到期
2041-05-20
专利基础信息
申请号 CN202110552855.5 申请日 2021-05-20
申请公布号 CN113312416A 申请公布日 2021-08-27
授权公布号 CN113312416B 授权公告日 2022-09-09
分类号 G06F16/25;G06F16/215
分类 计算;推算;计数;
申请人名称 成都美尔贝科技股份有限公司
申请人地址 四川省成都市高新区蜀都中心2期1号楼6层
专利法律状态
  • 2022-09-09
    授权
    状态信息
    授权
  • 2021-08-27
    公布
    状态信息
    公布
摘要
本发明公开了一种跨数据中心的ETL工具,包括任务调度模块、数据清洗模块、上传模块和存储模块,其中:所述任务调度模块,用于创建需要清洗的任务,并将任务存储在第一数据中心的数据库中;所述数据清洗模块,获取第一数据中心的数据库中需要清洗的任务的计划,拆分任务中的结构化数据和非结构化数据;所述上传模块,用于获取任务中结构化数据推送到第一数据中心的redis队列中进行清洗和入库,用于获取任务中的非结构化数据推送到第二数据中心的redis队列中进行清洗;所述存储模块,用于获取第二数据中心清洗的数据存储到第三数据中心的数据库;提高清洗的效率和稳定性,根据不同的数据中心的产品价格优势,降低使用成本。