• 热门行业
  • 装修建材
  • 家居生活
  • 餐饮食品
  • 母婴教育
  • 电脑办公
  • 服装首饰
  • 汽车工具
  • 家电数码
  • 机械化工
  • 休闲美容
返回上一页
专利状态
基于Spark的跨数据源操作方法、设备及存储介质
有效
专利申请进度
申请
2023-09-12
申请公布
2023-10-24
授权
2023-12-15
预估到期
2043-09-12
专利基础信息
申请号 CN202311171389.1 申请日 2023-09-12
申请公布号 CN116932575A 申请公布日 2023-10-24
授权公布号 CN116932575B 授权公告日 2023-12-15
分类号 G06F16/242;G06F16/22
分类 计算;推算;计数;
申请人名称 长城证券股份有限公司
申请人地址 广东省深圳市福田区福田街道金田路2026号能源大厦南塔楼10-19层
专利法律状态
  • 2023-12-15
    授权
    状态信息
    授权
  • 2023-11-10
    实质审查的生效
    状态信息
    实质审查的生效;IPC(主分类):G06F16/242;申请日:20230912
  • 2023-10-24
    公布
    状态信息
    公布
摘要
本发明涉及数据库操作技术领域,公开了一种基于Spark的跨数据源操作方法、设备及存储介质。该方法包括:创建Spark会话,获取编写的若干SQL脚本并进行预解析;若SQL脚本中待执行的数据表为映射库表,则将待执行的映射库表注册为Spark会话的临时视图;将SQL脚本中待执行的映射库表替换为临时视图,得到新SQL脚本,并将新SQL脚本提交SparkSQL引擎执行;获取SparkSQL引擎输出的第一结果集;根据跨数据源操作类型,调用外部数据源的对应操作接口对第一结果集进行处理。本发明降低了基于Spark跨数据源操作的代码开发量与开发复杂程度,提升了跨数据源操作的性能。