Apache下通过shell脚本提交网站404死链的方法

网站运营人员对于死链这个概念一定不陌生，网站的一些数据删除或页面改版等都容易制造死链，影响用户体验不说，过多的死链还会影响到网站的整体权重或排名。

百度站长平台提供的死链提交工具,可将网站存在的死链(协议死链、404页面)进行提交,可快速删除死链,帮助网站SEO优化。在提交死链的文件中逐个手动填写死链的话太麻烦，工作中我们提倡复杂自动化，所以本文我们一起交流分享Apache服务中通过shell脚本整理网站死链，便于我们提交。

、

1.配置Apache记录搜索引擎

Apache是目前网站建设最为主流的web服务，但是apache的日志文件默认是不记录百度、谷歌等各大搜索引擎的爬取程序的，所以首先需要我们设置Apache的配置文件。

找到Apache的配置文件httpd.conf，在配置文件中找到下面两行：

CustomLog "logs/access_log" common
 #CustomLog "logs/access_log" combined

默认采用的是common，这里我们只需要将common这一行前面加#注释掉,然后将combined这一行前的#去掉即可。然后保存重启Apache服务。

注：如果你的服务器上添加了多个站点，每个站点有单独的配置文件，则我们只需要在相应站点的配置文件中设置CustomLog项即可，例如：

vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf
 ServerAdmin [email protected] DocumentRoot "/data/wwwroot/www.chanzhi.org"
 ServerName www.chanzhi.org
 ServerAlias chanzhi.org
 ErrorLog "/data/wwwlogs/www.chanzhi.org_error_apache.log"
 CustomLog "/data/wwwlogs/www.chanzhi.org_apache.log" combined
 SetOutputFilter DEFLATE
 Options FollowSymLinks ExecCGI
 Require all granted
 AllowOverride All
 Order allow,deny
 Allow from all
 DirectoryIndex index.html index.php

下面是配置前后的网站日志记录格式：

配置前：

配置后：

2.编写shell脚本

我们通过shell脚本获取网站日志中指定爬虫的抓取记录，然后汇总到一个文件中，便于后期使用。代码如下，比如保存为deathlink.sh

#!/bin/bash
#初始化变量
#定义蜘蛛UA信息（默认是百度蜘蛛）
UA='+http://www.baidu.com/search/spider.html'
#前一天的日期（apache日志）
DATE=`date +%Y%m%d -d "1 day ago"`
#定义日志路径
logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${DATE}.log
#定义死链文件存放路径
deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt
#定义网站访问地址
website=http://www.chanzhi.org
#分析日志并保存死链数据
for url in `awk -v str="${UA}" '$9=="404" && $15~str {print $7}' ${logfile}`
do
 grep -q "$url" ${deathfile} || echo ${website}${url} >>${deathfile}
done

大家在使用该脚本时，根据自己服务器情况调整下路径和字段即可，然后执行脚本,：

bash deathlink.sh

3.提交死链

执行上面脚本时候，就会在指定目录下生成包含所有获取的404页面链接的文件，每个连接占一行。例如：

最后在站长平台提交死链页面中，填写自己的死链文件地址即可，例如：

百度在审核通过之后，会将已经收录的失效链接删除，以避免失效页面链接对网站造成不良的影响。

总结

以上所述是小编给大家介绍的Apache下通过shell脚本提交网站404死链的方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！

# apache  # shell  # 404  # 死链  # PHP+shell脚本操作Memcached和Apache Status的实例分享  # Ubuntu服务器配置apache2.4的限速功能shell脚本分享  # Shell脚本实现apache日志中的状态码分析  # Shell脚本实现分析apache日志中ip所在的地区  # Shell脚本判断Apache进程是否存在  # 智能监测自动重启Apache服务器的Shell脚本  # 网站建设  # 配置文件  # 只需  # 小编  # 这一行  # 自己的  # 的是  # 多个  # 在此  # 还会  # 会在  # 要在  # 各大  # 给大家  # 要将  # 影响到  # 可将  # 我们一起  # 重启 

相关文章： 如何在Golang中使用replace替换模块_指定本地或远程路径  个人网站制作流程图片大全,个人网站如何注销？  网站代码制作软件有哪些,如何生成自己网站的代码？  开源网站制作软件,开源网站什么意思？  Avalonia如何实现跨窗口通信 Avalonia窗口间数据传递  网站制作公司排行榜,抖音怎样做个人官方网站  西安制作网站公司有哪些,西安货运司机用的最多的app或者网站是什么？  建站之星如何配置系统实现高效建站？  小米网站链接制作教程,请问miui新增网页链接调用服务有什么用啊？  网站海报制作教学视频教程,有什么免费的高清可商用图片网站，用于海报设计？  智能起名网站制作软件有哪些,制作logo的软件？  如何在Golang中指定模块版本_使用go.mod控制版本号  家具网站制作软件,家具厂怎么跑业务？  制作企业网站建设方案,怎样建设一个公司网站？  公司网站的制作公司,企业网站制作基本流程有哪些？  建站之星安装需要哪些步骤及注意事项？  上海网站制作开发公司,上海买房比较好的网站有哪些？  已有域名和空间如何快速搭建网站？  如何在云虚拟主机上快速搭建个人网站？  建站之星如何修改网站生成路径？  如何快速登录WAP自助建站平台？  制作网站的公司有哪些,做一个公司网站要多少钱？  韩国服务器如何优化跨境访问实现高效连接？  教程网站设计制作软件,怎么创建自己的一个网站？  香港服务器租用费用高吗？如何避免常见误区？  网站制作模板下载什么软件,ppt模板免费下载网站？  网站好制作吗知乎,网站开发好学吗？有什么技巧？  建站主机解析：虚拟主机配置与服务器选择指南  利用JavaScript实现拖拽改变元素大小  广德云建站网站建设方案与建站流程优化指南  公司网站设计制作厂家,怎么创建自己的一个网站？  如何在建站主机中优化服务器配置？  在线制作视频网站免费,都有哪些好的动漫网站？  详解免费开源的DotNet二维码操作组件ThoughtWorks.QRCode（.NET组件介绍之四）  建站之星安装后如何自定义网站颜色与字体？  海南网站制作公司有哪些,海口网是哪家的？  高端建站如何打造兼具美学与转化的品牌官网？  大连网站制作费用,大连新青年网站，五年四班里的视频怎样下载啊？  中山网站推广排名,中山信息港登录入口？  内网网站制作软件,内网的网站如何发布到外网？  建站为何优先选择香港服务器？  如何通过主机屋免费建站教程十分钟搭建网站？  代刷网站制作软件,别人代刷火车票靠谱吗？  如何在宝塔面板中修改默认建站目录？  广州网站制作的公司,现在专门做网站的公司有没有哪几家是比较好的，性价比高，模板也多的？  建站之星后台管理如何实现高效配置？  建站之星五站合一营销型网站搭建攻略，流量入口全覆盖优化指南  武汉外贸网站制作公司,现在武汉外贸前景怎么样啊？  佛山企业网站制作公司有哪些,沟通100网上服务官网？  网站设计制作企业有哪些,抖音官网主页怎么设置？