Python实现爬取需要登录的网站完整示例

本文实例讲述了Python爬取需要登录的网站实现方法。分享给大家供大家参考，具体如下：

import requests
from lxml import html
# 创建 session 对象。这个对象会保存所有的登录会话请求。
session_requests = requests.session()
# 提取在登录时所使用的 csrf 标记
login_url = "https://bitbucket.org/account/signin/?next=/"
result = session_requests.get(login_url)
tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]
payload = {
  "username": "<你的用户名>",
  "password": "<你的密码>",
  "csrfmiddlewaretoken": authenticity_token # 在源代码中，有一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。
}
# 执行登录
result = session_requests.post(
  login_url,
  data = payload,
  headers = dict(referer=login_url)
)
# 已经登录成功了，然后从 bitbucket dashboard 页面上爬取内容。
url = 'https://bitbucket.org/dashboard/overview'
result = session_requests.get(
  url,
  headers = dict(referer = url)
)
# 测试爬取的内容
tree = html.fromstring(result.content)
bucket_elems = tree.findall(".//span[@class='repo-name']/")
bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]
print(bucket_names)

更多关于Python相关内容可查看本站专题：《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

# Python  # 爬取  # 登录  # 网站  # 用python登录带弱图片验证码的网站  # python中requests模拟登录的三种方式(携带cookie/session进行请求网站)  # python实现网站微信登录的示例代码  # python实现网站用户名密码自动登录功能  # 对python抓取需要登录网站数据的方法详解  # Python 登录网站详解及实例  # Python3使用requests登录人人影视网站的方法  # Python爬虫模拟登录带验证码网站  # python实现网站的模拟登录  # 使用Python中的cookielib模拟登录网站  # python 模拟网站登录——滑块验证码的识别  # 进阶  # 操作技巧  # 相关内容  # 数据结构  # 给大家  # 更多关于  # 所述  # 程序设计  # 源代码  # 使用技巧  # 有一个  # 编程技巧  # 讲述了  # org  # account  # signin  # login_url  # https  # bitbucket  # text 

相关文章： 如何通过智能用户系统一键生成高效建站方案？  python的本地网站制作,如何创建本地站点？  如何在云虚拟主机上快速搭建个人网站？  如何快速搭建二级域名独立网站？  如何通过虚拟主机快速搭建个人网站？  西安制作网站公司有哪些,西安货运司机用的最多的app或者网站是什么？  宁波免费建站如何选择可靠模板与平台？  C#如何使用XPathNavigator高效查询XML  平台云上自助建站如何快速打造专业网站？  标准网站视频模板制作软件,现在有哪个网站的视频编辑素材最齐全的，背景音乐、音效等？  广德云建站网站建设方案与建站流程优化指南  如何在IIS中新建站点并配置端口与IP地址？  ,如何利用word制作宣传手册？  购物网站制作公司有哪些,哪个购物网站比较好？  如何选择适配移动端的WAP自助建站平台？  建站之星如何通过成品分离优化网站效率？  海南网站制作公司有哪些,海口网是哪家的？  rsync同步时出现rsync: failed to set times on “xxxx”: Operation not permitted  制作网站的软件免费下载,免费制作app哪个平台好？  建站之星北京办公室：智能建站系统与小程序生成方案解析  大连网站制作公司哪家好一点,大连买房网站哪个好？  山东网站制作公司有哪些,山东大源集团官网？  宝塔建站助手安装配置与建站模板使用全流程解析  如何配置WinSCP新建站点的密钥验证步骤？  如何在IIS中新建站点并解决端口绑定冲突？  已有域名建站全流程解析：网站搭建步骤与建站工具选择  如何通过FTP服务器快速搭建网站？  建站之星各版本价格是多少？  定制建站平台哪家好？企业官网搭建与快速建站方案推荐  高端智能建站公司优选：品牌定制与SEO优化一站式服务  黑客入侵网站服务器的常见手法有哪些？  Avalonia如何实现跨窗口通信 Avalonia窗口间数据传递  建站之星手机一键生成：多端自适应+小程序开发快速建站指南  如何快速选择适合个人网站的云服务器配置？  制作无缝贴图网站有哪些,3dmax无缝贴图怎么调？  专业网站建设制作报价,网页设计制作要考什么证？  高防网站服务器：DDoS防御与BGP线路的AI智能防护方案  青岛网站设计制作公司,查询青岛招聘信息的网站有哪些？  网站视频制作书签怎么做,ie浏览器怎么将网站固定在书签工具栏？  黑客如何通过漏洞一步步攻陷网站服务器？  如何通过VPS建站无需域名直接访问？  制作表格网站有哪些,线上表格怎么弄？  微信h5制作网站有哪些,免费微信H5页面制作工具？  网站制作服务平台,有什么网站可以发布本地服务信息？  如何用已有域名快速搭建网站？  h5在线制作网站电脑版下载,h5网页制作软件？  胶州企业网站制作公司,青岛石头网络科技有限公司怎么样？  如何制作算命网站,怎么注册算命网站？  合肥做个网站多少钱,合肥本地有没有比较靠谱的交友平台？  网站制作价目表怎么做,珍爱网婚介费用多少？