网站爬虫源码分享 爬网页源码

这篇文章给大家聊聊关于网站爬虫源码分享,以及爬网页源码对应的知识点,希望对各位有所帮助,不要忘了收藏本站哦。

以前介绍过如何从网页源码中抓取自己想要的数据,可是还有很多数据是源码中看不到的。

显示金额为25000

如上图中,我想取到红框中“保证金”的金额,但是通过查看网页源码发现保证金的金额在源码中是看不到的。下面教大家使用ForeSpider数据采集软件的时候是怎样抓取这样的数据的。

网页源码中没有数据

先在网页中打开网址,右键页面上任意地方,点击“审查元素”,打开开发者工具,如下图中,点击“启用网络流量捕获”,再刷新一下页面。

在搜索框中输入我们想要找的数据,我这次要取的保证金金额是“25000”,输入以后点击搜索按钮,发现相应正文中有需要的数据。数据已经找到,接下来就可以使用ForeSpider数据采集软件写脚本爬取数据了。

下面是数据采集的脚本,这次写在了字段中,“字段处理”选择“脚本处理”,每一行的意义都在注释中写明。

脚本中refer和cookie信息是在浏览器的请求标头里,变量ur赋值是在摘要的url地址。

本次脚本使用的方法Opendoc,在ForeSpider数据采集系统的帮助文档中有详细的说明。

本次采集示例网址:http://shop.zbj.com/7014922/evaluation.html

往期教程:

ForeSpider链接抽取脚本:http://toutiao.com/item/6454813216395493902/

ForeSpider如何通过关键词进行采集:http://toutiao.com/item/6451829518142276110/

OK,本文到此结束,希望对大家有所帮助。

Published by

风君子

独自遨游何稽首 揭天掀地慰生平