其实新闻网站源码分享的问题并不复杂，但是又很多的朋友都不太了解新闻网站系统源码，因此呢，今天小编就来为大家分享新闻网站源码分享的一些知识，希望可以帮助到大家，下面我们一起来看看这个问题的分析吧！
目录
前言
开始
分析（x0）
分析（x1）
分析（x2）
分析（x3）
分析（x4）
完整的代码
我有话说
前言
大家好我叫善念，这是我的第二篇技术博文（第一篇讲述的是自己的经历），连续三天更新了，每天花两小时写下一个实战案例，我也是乐在其中，谢谢大家对我的支持。
今天咱们要做的是利用Python爬取整个网站上的所有小说内容，其实在我心里面，采集什么内容根本无关紧要，最重要的是大家能学习到我的分析思路，授人以鱼不如授人以渔。
开始
既然是要采集整站数据，那么我们进入目标网站，点击全部作品。
分析（x0）
第一步右键一下查看网站源代码，看里面是否有咱们需要的书本源头文件地址（当然是看源头文件地址，因为一本书的内容这么大，然后一页有这么多本书，肯定不可能内容全部在源代码中）。
?
可以看到我在元素中可以找到书的名字和介绍，然后关键的是一个跳转的网址，这个网址很关键，因为咱们点击这个链接后他会跳到单本小说中。
?
而单本小说里面势必会有章节分类，而我们要做的肯定是需要把每本小说的章节名字也采集下来。
最终的目的就是，每本小说为一个文件夹，以书的名字命名，然后文件夹内保存所有章节，每一个章节为一个txt文档，没一个章节名与txt文件名对应。
分析（x1）
反转，切记不要以element作为源代码去考虑问题！！element可能是浏览器执行了一些JavaScript后所展现的源码，与服务器传给浏览器的源代码是有所不同的。
所以咱们还是需要在源代码中找一找是否有跳转链接和书名。
?
好吧，源代码中也是有的。不过你们不能大意，一定要查看源代码中是否有，element代表不了源代码。
那么先采集一下第一页的书名和跳转链接咯
到了书籍入口后，抓取章节名字，章节链接（文字内容）\n39;https://www.qidian.com/all&39;//div[@class=&34;]/h4/a/text()&39;//div[@class=&34;]/h4/a/@href&ifos.path.exists(bookname)==False:\nos.mkdir(bookname)39;https://www.qidian.com/all&39;//div[@class=&34;]/h4/a/text()&39;//div[@class=&34;]/h4/a/@href&ifos.path.exists(bookname)==False:\nos.mkdir(bookname)34;http:&39;//ul[@class=&34;]/li/a/@href&39;//ul[@class=&34;]/li/a/text()&39;\\n&39;https://www.qidian.com/all&39;//div[@class=&34;]/h4/a/text()&39;//div[@class=&34;]/h4/a/@href&ifos.path.exists(bookname)==False:\nos.mkdir(bookname)34;http:&39;//ul[@class=&34;]/li/a/@href&39;//ul[@class=&34;]/li/a/text()&39;\\n&39;http:&39;//div[@class=&34;]/p/text()&分散式内容\nnr=&39;.join(nrs)\nfile_name=bookname+&34;+zjname+&34;\nprint(&34;+file_name)\nwithopen(file_name,&39;,encoding=&34;)asf:\nf.write(nr)
效果图：
?
这里要说明一下，咱们还只是抓取了第一页的数据。那么如何抓取整站的数据呢？
分析（x4）
一般稍微有经验的都知道一点，就是当我们翻页的时候，网站的url会发生变化，页码一般就是在url上面。
?
?
构建个for循环把页码数变为一个变量即可，无需多言，直接上最终的完整代码，代码仅供参考，你们最终可以自己去修改效果。
完整的代码
importsys\nimportrequests\nfromlxmlimportetree\nimportos\nforiinrange(sys.maxsize):\nurl=f&39;\nreq=requests.get(url).text\nhtml=etree.HTML(req)\nbooknames=html.xpath(&34;book-mid-info&39;)\ntzurls=html.xpath(&34;book-mid-info&39;)\n\nforbookname,tzurlinzip(booknames,tzurls):\nifnotos.path.exists(bookname):\n创建文件夹\nreq2=requests.get(&34;+tzurl).text\nhtml1=etree.HTML(req2)\nzjurls=html1.xpath(&34;cf&39;)\nzjnames=html1.xpath(&34;cf&39;)\nforzjurl,zjnameinzip(zjurls,zjnames):\nprint(zjname+&39;+zjurl)\nreq3=requests.get(&39;+zjurl).text\nhtml2=etree.HTML(req3)\nnrs=html2.xpath(&34;read-contentj_readContent&39;)39;\\n&34;\\\\&34;.txt&34;正在抓取文章：&39;a&34;utf-8″)asf:\nf.write(nr)
我有话说
?
——女朋友就是私有变量，只有我这个类才能调用（纪念分手的第二周
emmm本来以前是录制过视频教程的，但是由于从上家公司离职后丢失了。在这里跟大伙说声抱歉。
但是文章的话是现写的，每篇文章我都会说得很细致，所以花费的时间比较久，一般都是两个小时以上，每篇文章达到五千字左右。
原创不易，再次谢谢大家的支持。
①2000多本Python电子书（主流和经典的书籍应该都有了）
②Python标准库资料（最全中文版）
③项目源码（四五十个有趣且经典的练手项目及源码）
④Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）
⑤Python学习路线图（告别不入流的学习）
私信小编01即可获取大量python学习资源
OK，本文到此结束，希望对大家有所帮助。