Python爬取小说网站下载小说

前言

这个小程序是用来爬取小说网站的小说的,一般的盗版小说网站都是很好爬取的

因为这种网站基本没有反爬虫机制的,所以可以直接爬取

该小程序以该网站http://www.126shu.com/15/下载全职法师为例

requests库

文档:http://www.python-requests.org/en/master/community/sponsors/

requests库非常得简单好用,他可以向网站发送请求,接收信息

最简单的一个例子即是

r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding

raise_for_status()的功能是若服务器发送404/502之类的错误码raise_for_status()便会抛出异常

r.encoding = r.apparent_encoding这一行语句用于调整编码,encoding为代码猜测出来的编码,可能并不准确

def get_html(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return " HTMLERROR "

BeautifulSoup库

BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找

文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc/

基本用法:

url_list=[]
soup = BeautifulSoup(html,'lxml')
lista = soup.find_all('dd')

找到dd元素的原因是通过F12开发者工具发现每个章节的链接都在该元素中存储

于是可以在每个元素中都可以找到该链接,然后把他放在要返回的列表中

    for Url in lista:
        try:
            url_list.append('http://www.126shu.com/'+Url.a['href'])
        except:
            print('获取连接失败')

获取内容

前两步处理完毕后获取了每个章节的链接,接下来就是对每个章节的内容进行处理

通过F12开发者工具我们同样可以发现文本在哪,标题在哪,于是可以写出代码,然后打开文件进行写入

def get_content(url):
    html = get_html(url).replace('<br/>','\n')
    soup = BeautifulSoup(html,'lxml')
    try:
        txt = soup.find('div',id='content').text
        title = soup.find('div','hh').text
        with open('全职法师.txt','a+',encoding = 'utf-8')as f:
            f.write(title+'\n\n')
            f.write(txt)
    except:
        print('ERROR')

完整代码

由于我只是下载后面的章节,于是在main()函数中我设置了n变量进行判断

import requests
import time
from bs4 import BeautifulSoup

def get_html(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return " HTMLERROR "
def get_url(url):
    url_list=[]
    html = get_html(url)
    soup = BeautifulSoup(html,'lxml')
    lista = soup.find_all('dd')
    for Url in lista:
        try:
            url_list.append('http://www.126shu.com/'+Url.a['href'])
        except:
            print('获取连接失败')
    return url_list

def get_content(url):
    html = get_html(url).replace('<br/>','\n')
    soup = BeautifulSoup(html,'lxml')
    try:
        txt = soup.find('div',id='content').text
        title = soup.find('div','hh').text
        with open('全职法师.txt','a+',encoding = 'utf-8')as f:
            f.write(title+'\n\n')
            f.write(txt)
    except:
        print('ERROR')

def main(url):
    url_list=get_url(url)
    n = 1
    for Url in url_list:
        n = n + 1
        if n>1525:
            get_content(Url)
url = 'http://www.126shu.com/15/'
if __name__ =='__main__':
    main(url)