使用Python的Scrapy框架十分钟爬取|美女|图

简介

scrapy 是一个 python 下面功能丰富、使用快捷方便的爬虫框架。用 scrapy 可以快速的开发一个简单的爬虫，官方给出的一个简单例子足以证明其强大：

快速开发

下面开始10分钟倒计时：

当然开始前，可以先看看之前我们写过的 scrapy 入门文章 《零基础写python爬虫之使用Scrapy框架编写爬虫

1. 初始化项目

scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com

2. 添加 spider 代码：

定义 scrapy.Item ，添加 image_urls 和 images ，为下载图片做准备。

修改 start_urls 为初始页面, 添加 parse 用于处理列表页， 添加 parse_item 处理项目页面。

3. 修改配置文件：

DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录

4. 运行项目：

scrapy crawl meizitu

看，项目运行效果图

等待一会儿，就是收获的时候了

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流。

# scrapy 抓取图片  # scrapy递归抓取  # scrapy递归抓取网页  # python opencv通过按键采集图片源码  # 只用50行Python代码爬取网络美女高清图片  # Python使用爬虫抓取美女图片并保存到本地的方法【测试可用】  # Python制作爬虫抓取美女图  # python制作花瓣网美女图片爬虫  # Python爬虫入门案例之回车桌面壁纸网美女图片采集  # 是一个  # 这篇文章  # 写过  # 会儿  # 配置文件  # 倒计时  # 下载图片  # 有疑问  # py  # startproject  # pre  # brush  # class  # Scrapy  # strong  # color  # span  # style  # align  # center 

相关文章： 如何通过IIS搭建网站并配置访问权限？  上海网站制作网站建设公司,建筑电工证网上查询系统入口？  公司网站的制作公司,企业网站制作基本流程有哪些？  头像制作网站在线观看,除了站酷，还有哪些比较好的设计网站？  非常酷的网站设计制作软件,酷培ai教育官方网站？  做企业网站制作流程,企业网站制作基本流程有哪些？  建站之星后台搭建步骤解析：模板选择与产品管理实操指南  如何通过虚拟主机快速完成网站搭建？  成都网站制作价格表,现在成都广电的单独网络宽带有多少的，资费是什么情况呢？  上海网站制作开发公司,上海买房比较好的网站有哪些？  如何在腾讯云服务器上快速搭建个人网站？  如何选择长沙网站建站模板？H5响应式与品牌定制哪个更优？  简单实现Android文件上传  免费网站制作模板下载,除了易企秀之外还有什么H5平台可以制作H5长页面，最好是免费的？  如何用好域名打造高点击率的自主建站？  台州网站建设制作公司,浙江手机无犯罪记录证明怎么开？  建站之星图片链接生成指南：自助建站与智能设计教程  如何通过山东自助建站平台快速注册域名？  建站主机选虚拟主机还是云服务器更好？  建站之星微信建站一键生成小程序+多端营销系统  网站制作哪家好,cc、.co、.cm哪个域名更适合做网站？  制作电商网页,电商供应链怎么做？  如何选择可靠的免备案建站服务器？  如何在万网自助建站中设置域名及备案？  如何通过VPS建站实现广告与增值服务盈利？  建站IDE高效指南：快速搭建+SEO优化+自适应模板全解析  广州美橙建站如何快速搭建多端合一网站？  深圳网站制作案例,网页的相关名词有哪些？  保定网站制作方案定制,保定招聘的渠道有哪些？找工作的人一般都去哪里看招聘信息？  武汉网站制作费用多少,在武汉武昌，建面100平方左右的房子，想装暖气片，费用大概是多少啊？  网站制作大概多少钱一个,做一个平台网站大概多少钱？  家具网站制作软件,家具厂怎么跑业务？  如何选择CMS系统实现快速建站与SEO优化？  c++如何打印函数堆栈信息_c++ backtrace函数与符号名解析【方法】  实现点击下箭头变上箭头来回切换的两种方法【推荐】  官网自助建站系统：SEO优化+多语言支持，快速搭建专业网站  免费制作小说封面的网站有哪些,怎么接网站批量的封面单？  如何基于云服务器快速搭建个人网站？  创业网站制作流程,创业网站可靠吗？  专业型网站制作公司有哪些,我设计专业的，谁给推荐几个设计师兼职类的网站？  广平建站公司哪家专业可靠？如何选择？  如何用PHP快速搭建高效网站？分步指南  建站主机默认首页配置指南：核心功能与访问路径优化  海南网站制作公司有哪些,海口网是哪家的？  建站之星上传入口如何快速找到？  如何通过免费商城建站系统源码自定义网站主题与功能？  枣阳网站制作,阳新火车站打的到仙岛湖多少钱？  大型企业网站制作流程,做网站需要注册公司吗？  沈阳制作网站公司排名,沈阳装饰协会官方网站？  制作网站的公司有哪些,做一个公司网站要多少钱？