这篇文章给大家聊聊关于网站爬虫源码分享,以及爬网页源码对应的知识点,希望对各位有所帮助,不要忘了收藏本站哦。
以前介绍过如何从网页源码中抓取自己想要的数据,可是还有很多数据是源码中看不到的。
显示金额为25000
如上图中,我想取到红框中“保证金”的金额,但是通过查看网页源码发现保证金的金额在源码中是看不到的。下面教大家使用ForeSpider数据采集软件的时候是怎样抓取这样的数据的。
网页源码中没有数据
先在网页中打开网址,右键页面上任意地方,点击“审查元素”,打开开发者工具,如下图中,点击“启用网络流量捕获”,再刷新一下页面。
在搜索框中输入我们想要找的数据,我这次要取的保证金金额是“25000”,输入以后点击搜索按钮,发现相应正文中有需要的数据。数据已经找到,接下来就可以使用ForeSpider数据采集软件写脚本爬取数据了。
下面是数据采集的脚本,这次写在了字段中,“字段处理”选择“脚本处理”,每一行的意义都在注释中写明。
脚本中refer和cookie信息是在浏览器的请求标头里,变量ur赋值是在摘要的url地址。
本次脚本使用的方法Opendoc,在ForeSpider数据采集系统的帮助文档中有详细的说明。
本次采集示例网址:http://shop.zbj.com/7014922/evaluation.html
往期教程:
ForeSpider链接抽取脚本:http://toutiao.com/item/6454813216395493902/
ForeSpider如何通过关键词进行采集:http://toutiao.com/item/6451829518142276110/
OK,本文到此结束,希望对大家有所帮助。