Python爬妹子图项目开源

/ 技术 / 无站内评论 / 713浏览

前言

爬取meizitu全站图片并下载到本地,可以根据配置定时爬取下载。 开源地址:https://gitee.com/SAnSAni/meizitu

meizitu

项目介绍

爬取meizitu全站图片并下载到本地,可以根据配置定时爬取下载。 配合linux定时任务Crontab,可以每天定时爬取图片~

安装教程

1.clone项目到本地

git clone https://gitee.com/SAnSAni/meizitu

2.执行python命令

Scrapy crawl meizitu

使用说明

  1. 设置下载路径 setting.py 文件下:
IMAGES_STORE = 'E:\PythonProject\\'
  1. 设置读取要爬取页数
    def readFile(self):
        //请本地自己创建一个文件名为page,文本为页数。默认1
        read=open("E:\PythonProject\page.txt")
        page=read.read()
        read.close()
        return page

    //爬取完后页数+1重写文件
    def writeFile(self,page):
        write = open("E:\PythonProject\page.txt",'w')
        write.write(page)
        write.close()

3.py目录下为py发送邮件脚本

可以在执行完毕爬虫任务后邮件通知自己~

4.task.sh linux shell脚本 Crontab定时任务执行task.sh 在爬虫执行完毕后自动发送邮件,根据自身项目修改里面的项目地址

/usr/local/myspider/project/meizitu/scrapy crawl meizitu
python /usr/local/myspider/project/shell/sendHTML.py

具体代码另一篇文章介绍 https://sanii.cn/article/225

总结

喜欢可以点个star哦~

召唤蕾姆
琼ICP备18000156号

鄂公网安备 42011502000211号