• 热门行业
  • 装修建材
  • 家居生活
  • 餐饮食品
  • 母婴教育
  • 电脑办公
  • 服装首饰
  • 汽车工具
  • 家电数码
  • 机械化工
  • 休闲美容
返回上一页
专利状态
Hive数据仓库同步方法、系统、设备及存储介质
有效
专利申请进度
申请
2020-02-10
申请公布
2020-06-05
授权
2022-10-04
预估到期
2040-02-10
专利基础信息
申请号 CN202010084651.9 申请日 2020-02-10
申请公布号 CN111241203A 申请公布日 2020-06-05
授权公布号 CN111241203B 授权公告日 2022-10-04
分类号 G06F16/27;G06F16/22;G06F16/178
分类 计算;推算;计数;
申请人名称 江苏满运软件科技有限公司
申请人地址 江苏省南京市雨花台区软件大道170-1号4幢3-5层
专利法律状态
  • 2022-10-04
    授权
    状态信息
    授权
  • 2020-06-05
    公布
    状态信息
    公布
摘要
本发明提供了一种Hive数据仓库同步方法、系统、设备及存储介质,所述方法包括步骤:获取源Hive数据仓库的存储路径信息,判断源文件系统中是否存在与存储路径信息对应的文件存储目录;若存在则生成元数据扫描任务;接收元数据扫描任务,基于元数据扫描任务判断目标Hive数据仓库中是否存在与源Hive数据仓库中元数据记录的表ID匹配的第二元数据;若存在则判断源Hive数据仓库的元数据和所述第二元数据是否相同;若不同则生成同步任务数据;基于数据文件同步任务数据执行数据文件同步任务;基于元数据同步任务数据执行元数据同步任务;本申请保证了数据同步之后元数据和数据文件的完整性;实现了Hive数据仓库稳定可靠地进行同步。