Python实现视频下载功能

最近一两年短视频业务风生水起，各个视频网站都有各自特色的短视频内容。如果有这样一个程序，可以把各大视频网站的热门用户最新发布的视频都下载下来，不仅方便自己观看，还可以将没有版权的视频发布在个人社交网站上，增加自己的人气，岂不美哉？

parker就是这样一个项目（项目地址：https://github.com/LiuRoy/parker），它采用celery框架定时爬取用户视频列表，将最新发布的视频通过you-get异步下载，可以很方便地实现分布式部署。因为各个网站的页面布局和接口更新比较频繁，为了保证程序的高可用，特意增加了Statsd监控，方便及时发现出错。

代码架构

目前parker中只实现了B站和秒拍的下载，从框架图可以看出，针对每一类网站，需要实现两个异步接口：从用户视频主页解析发布视频的播放地址、根据播放地址下载视频。因此增加网站类型，不需要修改原来的代码，只需要添加新的解析和下载接口即可。针对视频下载完成之后的后续操作，我还没有实现，大家可以根据自己的需求自由的去实现。

在运行的时候，celery会将配置好的优质用户列表定时发送到对应网站的解析接口异步执行，筛选出最新发布的视频播放地址，交给对应的下载接口异步下载，下载完成之后再异步调用后续操作。因此需要启动一个celery beat进程发送定时任务，以及若干celery异步任务去执行解析和下载操作，对于比较大的视频，下载会相当耗时，建议根据任务列表的多少合理分配异步任务的个数。

程序运行

经验证，此程序可以在ubuntu和mac下正常运行， 由于本地windows下的celery无法正常启动，所以没有在windows环境做过验证。

依赖库安装

python版本为3.5，进入项目目录后，执行：

pip install -r requirements.txt

创建数据库表

提前在数据库中建好两张表（sql: https://github.com/LiuRoy/parker/blob/master/spider/models/tables.sql）

参数配置

config路径下的logging.yaml、params.yaml、sites.yaml分别对应日志配置、运行参数配置、热门用户配置。

日志配置

debug模式下日志会直接输出在标准输出流，release模式下会将日志内容输出到文件中，因此需要配置输出日志文件。

运行配置

• mode debug调试模式，此模式下日志指向标准输出，并且没有监控数据；release模式下，日志输出到制定文件，并且有监控数据。
• broker_url 对应于celery的BROKER_URL，可以配置为redis或者rabbitmq
• mysql_url 数据库地址，需要提前建好两张表
• download_path 视频下载路径
• statsd_address 监控地址
• video_number_per_page 每次从用户视频主页解析出多少条视频播放地址，因为大部分用户每次发布的视频个数很少，只需要设置成一个很小的值即可。在初次运行的时候，也不会下载大量久远的视频。
• download_timeout 视频下载的超时时间

热门用户配置

parker会根据此配置生成一份celery beat scheduler列表。

• name 规则是<网站类型>-<任务id>，parker会根据此作为scheduler任务名称
• url 用户的发布视频主页
• task 对应的celery解析异步任务
• minute 多少分钟检查一次用户视频列表

启动任务

进入项目目录，执行下面命令启动celery worker

celery -A spider worker

执行下面命令启动celery beat定时任务

celery -A spider beat

监控

强烈安利一个docker镜像 https://hub.docker.com/r/samuelebistoletti/docker-statsd-influxdb-grafana/，一分钟配好监控环境有木有。之后只需要添加执行成功和执行异常的打点数据，就可以方便的监控程序是否正常运行了。

以上所述是小编给大家介绍的Python实现视频下载功能，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！

# python  # 视频下载  # Python爬虫之App爬虫视频下载的实现  # python 使用tkinter+you-get实现视频下载器  # python动态视频下载器的实现方法  # 使用Python编写简单网络爬虫抓取视频下载资源  # python 视频下载神器(you-get)的具体使用  # 自己的  # 只需要  # 播放地址  # 模式下  # 这样一个  # 两张  # 会将  # 小编  # 正常运行  # 建好  # 都有  # 下载完成  # 我还  # 还可以  # 在此  # 不需要  # 两年  # 各大  # 给大家 

相关文章： 三星网站视频制作教程下载,三星w23网页如何全屏？  如何在Golang中引入测试模块_Golang测试包导入与使用实践  如何快速搭建支持数据库操作的智能建站平台？  杭州银行网站设计制作流程,杭州银行怎么开通认证方式？  公司门户网站制作公司有哪些,怎样使用wordpress制作一个企业网站？  佛山网站制作系统,佛山企业变更地址网上办理步骤？  文字头像制作网站推荐软件,醒图能自动配文字吗？  C#怎么创建控制台应用 C# Console App项目创建方法  html制作网站的步骤有哪些,iapp如何添加网页？  如何通过NAT技术实现内网高效建站？  制作营销网站公司,淘特是干什么用的？  如何通过商城免费建站系统源码自定义网站主题？  网站代码制作软件有哪些,如何生成自己网站的代码？  教学论文网站制作软件有哪些,写论文用什么软件 ？  建站之星安装步骤有哪些常见问题？  电脑免费海报制作网站推荐,招聘海报哪个网站多？  详解免费开源的.NET多类型文件解压缩组件SharpZipLib（.NET组件介绍之七）  ,石家庄四十八中学官网？  建站主机选哪家性价比最高？  常州自助建站：操作简便模板丰富，企业个人快速搭建网站  高端企业智能建站程序：SEO优化与响应式模板定制开发  如何用5美元大硬盘VPS安全高效搭建个人网站？  建站之星免费模板：自助建站系统与智能响应式一键生成  如何挑选优质建站一级代理提升网站排名？  如何在Golang中指定模块版本_使用go.mod控制版本号  如何通过建站之星自助学习解决操作问题？  ,如何利用word制作宣传手册？  ,交易猫的商品怎么发布到网站上去？  巅云智能建站系统：可视化拖拽+多端适配+免费模板一键生成  表情包在线制作网站免费,表情包怎么弄？  如何快速搭建高效简练网站？  如何通过山东自助建站平台快速注册域名？  SQL查询语句优化的实用方法总结  常州自助建站费用包含哪些项目？  小程序网站制作需要准备什么资料,如何制作小程序？  如何优化Golang Web性能_Golang HTTP服务器性能提升方法  家族网站制作贴纸教程视频,用豆子做粘帖画怎么制作？  公司网站制作需要多少钱,找人做公司网站需要多少钱？  如何生成腾讯云建站专用兑换码？  官网建站费用明细查询_企业建站套餐价格及收费标准指南  长沙做网站要多少钱,长沙国安网络怎么样？  如何选择适配移动端的WAP自助建站平台？  制作ppt免费网站有哪些,有哪些比较好的ppt模板下载网站？  如何快速上传自定义模板至建站之星？  香港服务器建站指南：外贸独立站搭建与跨境电商配置流程  小建面朝正北，A点实际方位是否存在偏差？  Android自定义控件实现温度旋转按钮效果  如何用AWS免费套餐快速搭建高效网站？  宠物网站制作html代码,有没有专门介绍宠物如何养的网站啊？  Android使用GridView实现日历的简单功能