0532-8980-5951  131-5685-3701

Branding News

为您的品牌提供借鉴,提高自身审美水平!

Web Scraper 抓取列表详细内容

  • 0次浏览
  • 2019-07-08 22:05:22

在使用 Web Scraper 的过程中,有时候会通过 Link 标签抓取二级页面,而在使用 Element scroll down 或者是 Element click 抓取时,Web Scraper 会一直抓取下去,这导致无法进入二级页面抓取内容。那么如何解决呢?

这里提供两个解决方案。

方案一:断网后重新连接。

当列表抓取到一定程度后,断网一次,Web Scraper 会停止对列表的抓取从而开始抓取二级页面。

此时重新连接网络,Web Scraper 便会依次抓取二级页面内容。

此方法要求手要快,不然部分二级页面可能依然处于断网状态无法抓取。

方案二:对 Element 使用 CSS 伪类。

在 Element 的 Selector 后面加上 :nth-of-type(-n+number),如果抓取 100 条数据,则把 number 改为 100,200 条数据则改为 200。

下面拿中青在线举例。参考模板 http://www.iwebscraper.com/scrape-news-cyol/

中青在线的 Selector 可以看到是 div.news-li。
Web Scraper 抓取列表详细内容

此时我们使用 CSS 伪类,在后面加上 :nth-of-type(-n+100) 变为 div.news-li:nth-of-type(-n+100)。那么 Web Scraper 会在抓取列表的 100 条数据后,停止对列表的抓取,开始抓取二级页面。


相关资讯

微信封杀10大分销平台主要是违反了什么规则

  • 2018-07-07

微信封杀10大分销平台主要是违反了什么规则 查看详情

淘宝搜索的商品排名的十大要素

  • 2018-07-07

淘宝搜索的商品排名的十大要素 查看详情


联系我们

  • 地址:青岛开发区峨眉山路396号(青岛光谷软件园5号楼3楼)
  • 热线: 0532-8980-5951
  • 直线: 131-5685-3701
  • Email: 156590827@qq.com

2秒 极速开启页面 | 承诺服务期内网站 99.99% 安全可用 | 10 分钟上手的傻瓜式后台 | 定制前端,也定制后端,我们 专注 深度定制 | 绝对专业交付机制,禁止捆绑销售
TAG:青岛开发区网站建设、黄岛网站建设、青岛公众号开发、青岛app开发、青岛小程序开发

部分客户

青啤、青啤、海尔、海信、澳柯玛、双星、即发、青钢、颐中集团、 白樱花牌面粉、 波尼亚牌肉制品、 岛牌电热毯、 孚德牌女鞋 亨达牌皮鞋、 喜盈门牌毛巾被、 长生牌浓香花生油、 即发牌系列 、 英派斯系列产品、 喜盈门系列产品、 白雪系列文具、 亨达皮鞋、 一支笔香烟、 崂山矿泉水、 华东葡萄酒、 琅琊台白酒、 即墨黄酒、 波尼亚等。

所有客户均有合同可追溯,严谨盗用!

30
在线咨询
热线

服务热线
0532-8980-5951

微信