一种基于B2B平台的多线程数据抓取方法

热门行业
装修建材
家居生活
餐饮食品
母婴教育
电脑办公
服装首饰
汽车工具
家电数码
机械化工
休闲美容

热门行业

教育培训
板材
地板
涂料
家纺
集成吊顶
美缝剂
木门
硅藻泥
管材
指纹锁
橱柜
衣柜
床垫
电热水器
集成灶
暖气片
净水器
酒店
卫浴

返回上一页

专利状态

一种基于B2B平台的多线程数据抓取方法

有效

专利申请进度

申请

2016-04-28

申请公布

2016-08-17

授权

2019-05-03

预估到期

2036-04-28

专利基础信息

申请号	CN201610272886.4	申请日	2016-04-28
申请公布号	CN105868412A	申请公布日	2016-08-17
授权公布号	CN105868412B	授权公告日	2019-05-03
分类号	G06F16/9535
分类	计算；推算；计数;
申请人名称	焦点科技股份有限公司
申请人地址	江苏省南京市高新技术产业开发区星火路软件大厦A座8-12F

专利法律状态

2019-05-03

授权

状态信息

授权
2016-09-14

实质审查的生效

状态信息

实质审查的生效IPC(主分类):G06F 17/30申请日:20160428
2016-08-17

公布

状态信息

公开

摘要

本发明公开了一种基于B2B平台的多线程数据抓取方法，1)将B2B平台的首页、多级类型目录结构作为目标对象，对网页源文件进行分析；2)在URL处理器中分析出需要的目标规则；3)通过HTTP解析器，从隧道协议中获取一定格式的数据；4)对每次URL请求分配新的线程，通过多线程模式并发处理；5)通过分类管理器进行管理每一种商品大类到小类的规则；6)对该线程超时的设置；7)根据所述固定格式数据，将所有提取的商品数据内容保存至数据库；本发明提供的基于B2B平台的多线程数据抓取方法，在大数据并发实时采集、多线程数据抓取上有显著的效果。

更多专利

全国服务热线：

在线客服

1211389656 咨询

商务合作

85926368 咨询

媒体合作

921888730 咨询

在线客服
客服微信号

品牌网官方客服微信

打开微信扫一扫

客服微信
商务合作微信

商务合作详谈

打开微信扫一扫

商务合作
回到顶部

在线客服

商务合作

媒体合作

客服微信号

商务合作微信