大家好,关于qq刷苹果网站源码分享很多朋友都还不太明白,今天小编就来为大家分享关于安卓qq刷苹果在线网址的知识,希望对各位有所帮助!
【一、项目目标】
获取QQ音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。
由浅入深,层层递进,非常适合刚入门的同学练手。
【二、需要的库】
主要涉及的库有:requests、json、openpyxl
【三、项目实现】
1.了解QQ音乐网站的robots协议
只禁止播放列表,可以操作。
2.进入QQ音乐主页https://y.qq.com/
3.输入任意歌手,比如邓紫棋
4.打开审查元素(快捷键Ctrl+Shift+I)
5.分析网页源代码Elements,发现无歌曲信息,无法使用BeautifulSoup,如下图所示,结果为空。
6.点击Network,看数据在不在XHR(无刷新更新页
面),我的经验是先看Size最大的,然后分析Name,
查看Preview,果然在里面!
7.点击Headers,拿到相关参数。如下图,仔细观察
url与QueryStringParameters参数的关系,发现
url中的w代表歌手名,p代表页数。
8.通过json代码实现,首先小试牛刀,爬取第一页
的数据,url直接复制过来。成功!
9.引入params参数,实现指定歌手、指定页数的查询。
注意代码url为上一步url中“?”之前的部分,params两边的参数都需要加’’,requests.get添加params,参数(也可顺便添加headers参数)
10.添加存储功能,保存到本地(Excel)。也可保存为csv格式或存入数据库,操作类似。
【四、总结】
1.爬取QQ音乐比爬取豆瓣等网站稍难,所需信息不在网页源代码,需查看XHR;
2.通过XHR爬取数据一般要使用json,格式为:
res=requests.get(url)\njson=res.json()\nlist=json[‘’][‘’]…
3.仅供练手参考,不建议爬取太多数据,给服务器增大负载;
4.Python爬取QQ音乐数据(二)将为大家带来如何爬取指定歌曲的歌词及评论(selenium),并生成词云图(wordcloud),敬请期待。
5.需要本文源码的话,请在公众号【IT共享之家】后台回复“QQ音乐”四个字进行获取。
看完本文有收获?请转发分享给更多的人
想学习更多Python网络爬虫与数据挖掘知识,可前往专业网站:http://pdcfighting.com/
如果你还想了解更多这方面的信息,记得收藏关注本站。