本篇文章给大家谈谈网站源码分享测试，以及实用的网站源码对应的知识点，文章可能有点长，但是希望大家可以阅读完，增长自己的知识，最重要的是希望对各位有所帮助，可以解决了您的问题，不要忘了收藏本站喔。
目录
前言
开始
分析（x0）
分析（x1）
分析（x2）
分析（x3）
分析（x4）
完整的代码
我有话说
前言
大家好我叫善念，这是我的第二篇技术博文（第一篇讲述的是自己的经历），连续三天更新了，每天花两小时写下一个实战案例，我也是乐在其中，谢谢大家对我的支持。
今天咱们要做的是利用Python爬取整个网站上的所有小说内容，其实在我心里面，采集什么内容根本无关紧要，最重要的是大家能学习到我的分析思路，授人以鱼不如授人以渔。
开始
既然是要采集整站数据，那么我们进入目标网站，点击全部作品。
分析（x0）
第一步右键一下查看网站源代码，看里面是否有咱们需要的书本源头文件地址（当然是看源头文件地址，因为一本书的内容这么大，然后一页有这么多本书，肯定不可能内容全部在源代码中）。
?
可以看到我在元素中可以找到书的名字和介绍，然后关键的是一个跳转的网址，这个网址很关键，因为咱们点击这个链接后他会跳到单本小说中。
?
而单本小说里面势必会有章节分类，而我们要做的肯定是需要把每本小说的章节名字也采集下来。
最终的目的就是，每本小说为一个文件夹，以书的名字命名，然后文件夹内保存所有章节，每一个章节为一个txt文档，没一个章节名与txt文件名对应。
分析（x1）
反转，切记不要以element作为源代码去考虑问题！！element可能是浏览器执行了一些JavaScript后所展现的源码，与服务器传给浏览器的源代码是有所不同的。
所以咱们还是需要在源代码中找一找是否有跳转链接和书名。
?
好吧，源代码中也是有的。不过你们不能大意，一定要查看源代码中是否有，element代表不了源代码。
那么先采集一下第一页的书名和跳转链接咯
到了书籍入口后，抓取章节名字，章节链接（文字内容）\n39;https://www.qidian.com/all&39;//div[@class=&34;]/h4/a/text()&39;//div[@class=&34;]/h4/a/@href&ifos.path.exists(bookname)==False:\nos.mkdir(bookname)39;https://www.qidian.com/all&39;//div[@class=&34;]/h4/a/text()&39;//div[@class=&34;]/h4/a/@href&ifos.path.exists(bookname)==False:\nos.mkdir(bookname)34;http:&39;//ul[@class=&34;]/li/a/@href&39;//ul[@class=&34;]/li/a/text()&39;\\n&39;https://www.qidian.com/all&39;//div[@class=&34;]/h4/a/text()&39;//div[@class=&34;]/h4/a/@href&ifos.path.exists(bookname)==False:\nos.mkdir(bookname)34;http:&39;//ul[@class=&34;]/li/a/@href&39;//ul[@class=&34;]/li/a/text()&39;\\n&39;http:&39;//div[@class=&34;]/p/text()&分散式内容\nnr=&39;.join(nrs)\nfile_name=bookname+&34;+zjname+&34;\nprint(&34;+file_name)\nwithopen(file_name,&39;,encoding=&34;)asf:\nf.write(nr)
效果图：
?
这里要说明一下，咱们还只是抓取了第一页的数据。那么如何抓取整站的数据呢？
分析（x4）
一般稍微有经验的都知道一点，就是当我们翻页的时候，网站的url会发生变化，页码一般就是在url上面。
?
?
构建个for循环把页码数变为一个变量即可，无需多言，直接上最终的完整代码，代码仅供参考，你们最终可以自己去修改效果。
完整的代码
importsys\nimportrequests\nfromlxmlimportetree\nimportos\nforiinrange(sys.maxsize):\nurl=f&39;\nreq=requests.get(url).text\nhtml=etree.HTML(req)\nbooknames=html.xpath(&34;book-mid-info&39;)\ntzurls=html.xpath(&34;book-mid-info&39;)\n\nforbookname,tzurlinzip(booknames,tzurls):\nifnotos.path.exists(bookname):\n创建文件夹\nreq2=requests.get(&34;+tzurl).text\nhtml1=etree.HTML(req2)\nzjurls=html1.xpath(&34;cf&39;)\nzjnames=html1.xpath(&34;cf&39;)\nforzjurl,zjnameinzip(zjurls,zjnames):\nprint(zjname+&39;+zjurl)\nreq3=requests.get(&39;+zjurl).text\nhtml2=etree.HTML(req3)\nnrs=html2.xpath(&34;read-contentj_readContent&39;)39;\\n&34;\\\\&34;.txt&34;正在抓取文章：&39;a&34;utf-8″)asf:\nf.write(nr)
我有话说
?
——女朋友就是私有变量，只有我这个类才能调用（纪念分手的第二周
emmm本来以前是录制过视频教程的，但是由于从上家公司离职后丢失了。在这里跟大伙说声抱歉。
但是文章的话是现写的，每篇文章我都会说得很细致，所以花费的时间比较久，一般都是两个小时以上，每篇文章达到五千字左右。
原创不易，再次谢谢大家的支持。
①2000多本Python电子书（主流和经典的书籍应该都有了）
②Python标准库资料（最全中文版）
③项目源码（四五十个有趣且经典的练手项目及源码）
④Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）
⑤Python学习路线图（告别不入流的学习）
私信小编01即可获取大量python学习资源
好了，文章到这里就结束啦，如果本次分享的网站源码分享测试和实用的网站源码问题对您有所帮助，还望关注下本站哦！