E站学习资料下载器(爬虫)

1. 概述

本程序用于批量从E站与Ex站下载学习资料，支持自动生成下载列表，列表内容自动化下载，定时下载，错误日志提醒，多线程下载的功能。

2.使用方法

重要 请在Doujinshi.py中配置cookie以访问Ex站，否则只能访问E站，同时确保电脑已经翻墙

2.1 修改config.ini文件中的下载目录，多线程下载的线程数，其余信息目前暂时用不到，可以忽略，下载地址不填则自动下载至程序所在目录的Download文件夹下，线程不填默认15。

2.2 将资料的网站填入download.txt文件中，一行写一个网址，否则会出错；或者使用gen_download_list函数，传入网站过滤后的页面的url，即可自动抓取所有资料的url并生成下载列表。

2.3 在PyCharm或其他IDE中运行main.py即可，错误与警告信息会写入log.txt文件夹下，也可通过将诸如'2021-01-20 20:00:00'的时间传入main函数，达到定时下载的目的。

备注

日志部分有3种警告级别：

1.INFO：如果该资料已经下载过(仅检测下载目录)，则不再下载，并输出INFO信息；

2.WARNING：如果一个资料中的某张图片下载出错，报警告，会打印出文件的网址与页码；

3.ERROR：如果资料本身存在问题（网址错误等）会报错误，打印资料的网址以供检查。

如果出现下载错误，可能是网络问题，请确保电脑可以翻墙，或在代码里加入代理。如果遇到个别资料下载错误，可以用浏览器打开，复制请求头中的cookie复制到代码的header中即可。