python利用urllib实现爬取京东网站商品图片的爬虫实例

本例程使用urlib实现的，基于python2.7版本，采用beautifulsoup进行网页分析，没有第三方库的应该安装上之后才能运行，我用的IDE是pycharm，闲话少说，直接上代码！

# -*- coding: utf-8 -*
import re
import os
import urllib
import urllib2
from bs4 import BeautifulSoup
def craw(url,page):
 html1=urllib2.urlopen(url).read()
 html1=str(html1)
 soup=BeautifulSoup(html1,'lxml')
 imagelist=soup.select('#J_goodsList > ul > li > div > div.p-img > a > img')
 namelist=soup.select('#J_goodsList > ul > li > div > div.p-name > a > em')
 #pricelist=soup.select('#plist > ul > li > div > div.p-price > strong')
 #print pricelist
 path = "E:/{}/".format(str(goods))
 if not os.path.exists(path):
  os.mkdir(path)
 for (imageurl,name) in zip(imagelist,namelist):
  name=name.get_text()
  imagename=path + name +".jpg"
  imgurl="http:"+str(imageurl.get('data-lazy-img'))
  if imgurl == 'http:None':
   imgurl = "http:" + str(imageurl.get('src'))
  try:
   urllib.urlretrieve(imgurl,filename=imagename)
  except:
   continue

'''
#J_goodsList > ul > li:nth-child(1) > div > div.p-img > a > img
#plist > ul > li:nth-child(1) > div > div.p-name.p-name-type3 > a > em
#plist > ul > li:nth-child(1) > div > div.p-price > strong:nth-child(1) > i
'''

if __name__ == "__main__":
 goods=raw_input('please input the goos you want:')
 pages=input('please input the pages you want:')
 count =0.0
 for i in range(1,int(pages+1),2):
  url="https://search.jd.com/Search?keyword={}&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.def.0.T06&wq=diann&page={}".format(str(goods),str(i))
  craw(url,i)
  count += 1
  print 'work completed {:.2f}%'.format(count/int(pages)*100)

图片的命名为商品的名称，京东商品图片地址的属性很可能会有所变动，所以大家进行编写的时候应该举一反三，灵活运用！ 
这是我下载下来的手机类图片文件的截图： 

我本地的爬取的速度很快，不到一分钟就能爬取100页上千个商品的图片！

以上这篇python利用urllib实现爬取京东网站商品图片的爬虫实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。

# 京东商品爬取  # python  # 如何利用python多线程爬取天气网站图片并保存  # Python爬取网站图片并保存的实现示例  # Python爬虫爬取网站图片  # 给大家  # 京东  # 就能  # 我用  # 这是我  # 希望能  # 很可能  # 这篇  # 第三方  # 命名为  # 装上  # 小编  # 少说  # 大家多多  # 例程  # select  # imagelist  # lxml  # ul  # gt 

相关文章： 北京建设网站制作公司,北京古代建筑博物馆预约官网？  企业微网站怎么做,公司网站和公众号有什么区别？  建站主机与虚拟主机有何区别？如何选择最优方案？  太原网站制作公司有哪些,网约车营运证查询官网？  建站主机与服务器功能差异如何区分？  商务网站制作工程师,从哪几个方面把握电子商务网站主页和页面的特色设计？  建站之星×万网：智能建站系统+自助建站平台一键生成  学校为何禁止电信移动建设网站？  如何通过wdcp面板快速创建网站？  如何用好域名打造高点击率的自主建站？  制作ppt免费网站有哪些,有哪些比较好的ppt模板下载网站？  网站制作的软件有哪些,制作微信公众号除了秀米还有哪些比较好用的平台？  如何高效完成自助建站业务培训？  在线ppt制作网站有哪些软件,如何把网页的内容做成ppt？  如何通过商城免费建站系统源码自定义网站主题？  网站网页制作电话怎么打,怎样安装和使用钉钉软件免费打电话？  青岛网站设计制作公司,查询青岛招聘信息的网站有哪些？  建站之星会员如何解锁更多建站功能？  建站VPS推荐：2025年高性能服务器配置指南  广州美橙建站如何快速搭建多端合一网站？  h5在线制作网站电脑版下载,h5网页制作软件？  小型网站制作HTML,*游戏网站怎么搭建？  如何在阿里云服务器自主搭建网站？  宝塔新建站点报错如何解决？  如何在VPS电脑上快速搭建网站？  如何高效搭建专业期货交易平台网站？  天河区网站制作公司,广州天河区如何办理身份证？需要什么资料有预约的网站吗？  如何在搬瓦工VPS快速搭建网站？  历史网站制作软件,华为如何找回被删除的网站？  如何快速搭建高效香港服务器网站？  如何选择靠谱的建站公司加盟品牌？  建站之星代理商如何保障技术支持与售后服务？  建站之星安装需要哪些步骤及注意事项？  如何规划企业建站流程的关键步骤？  定制建站哪家更专业可靠？推荐榜单揭晓  如何用PHP快速搭建CMS系统？  如何快速生成可下载的建站源码工具？  如何在景安云服务器上绑定域名并配置虚拟主机？  如何选择高效便捷的WAP商城建站系统？  如何在云主机上快速搭建网站？  教学网站制作软件,学习*后期制作的网站有哪些？  官网自助建站系统：SEO优化+多语言支持，快速搭建专业网站  做企业网站制作流程,企业网站制作基本流程有哪些？  c++23 std::expected怎么用 c++优雅处理函数错误返回【详解】  招商网站制作流程,网站招商广告语？  杭州银行网站设计制作流程,杭州银行怎么开通认证方式？  免费网站制作模板下载,除了易企秀之外还有什么H5平台可以制作H5长页面，最好是免费的？  实现虚拟支付需哪些建站技术支撑？  建站之星伪静态规则如何正确配置？  较简单的网站制作软件有哪些,手机版网页制作用什么软件？