首页/ 问题答疑/ 正文
关于禁止百度蜘蛛抓取问题

 2021年02月26日  阅读 111  评论 0

摘要:网友提问:Disallow: /域名/index.php?id=xkj76ckvnz.xml我想禁止这样的动态页面Disallow: /域名/index.php?id=*各位老哥这样对吗?热心网友回答:User-agent: *Disallow: /?禁止所有搜索引擎抓取网站全部动态链接如果只要禁止百度,在第一行:后面修改为Baiduspider如果要禁止干净可以再增加一项,然后修改为baiduspiderRobots 区别大小写字母朝阳群众回答:1、是否能成功,可以先设置下,去百度站长Robo

网友提问:

Disallow: /域名/index.php?id=xkj76ckvnz.xml

我想禁止这样的动态页面

Disallow: /域名/index.php?id=*

各位老哥这样对吗?

???.jpg

热心网友回答:

User-agent: *

Disallow: /?

禁止所有搜索引擎抓取网站全部动态链接

如果只要禁止百度,在第一行:

后面修改为Baiduspider

如果要禁止干净可以再增加一项,然后修改为baiduspider

Robots 区别大小写字母

朝阳群众回答:

1、是否能成功,可以先设置下,去百度站长Robots哪里测试,看是否封禁;

2、index?后面这种一般是站点被黑生成的大量页面;

3、你可以尝试操作下,看是否可操作,屏蔽操作不用特意写域名,屏蔽文件夹、屏蔽有规则的页面等;

4、如果你的这些页面是被黑页面,如果操作屏蔽抓取也不可行,建议还是提交死链,等待删除,蜘蛛抓取这些页面,返回码404,也是不会收录,也会主动去删除这些页面。

版权声明:本文为 “非凡SEO” 原创文章,转载请附上原文出处链接及本声明;

原文链接:http://www.ffseo.cn/25.html

标签: 网站排名 

发表评论:

关于我们
非凡SEO致力于网站优化快速排名,同时也是旧版曹操快排,使用我们的排名优化工具,轻松获取流量.
联系客服
客服曹操:22273305
客服美女:2380179480
加入群聊
SEO交流群:曹操seo交流群

快排资源群:曹操快速排名资源群
扫码关注
联系方式
全国服务热线:
地址:www.ffseo.cn
Email:22273305@qq.com
邮编:
Copyright www.ffseo.cn