为什么网站或智能小程序资源的内容非常优质，但是没有查询到百度蜘蛛抓取记录，或在百度搜索中没有得到收录和展现？有可能是部分网站或智能小程序存在封禁百度蜘蛛的情况，导致百度蜘蛛无法正常抓取，所以无法在百度搜索中正常收录和展现。常见的封禁行为包括robots封禁、封禁百度UA、封禁百度IP等。如何验证网站和智能小程序是否存在封禁百度蜘蛛的情况？快来按照以下方法自查吧~
1、自查robots.txt文件
首先， 开发者们先查看robots.txt文件，是否存在封禁记录。一般robots.txt文件放置在网站根目录下~
【建议方案】如果存在robots封禁的情况，请开发者们及时修改或者删除robots.txt文件。
2、自查是否封禁百度UA
curl--head--user-agent'Mozilla/5.0 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)'--request GET 'xxxxxxx'
xxxxxxx为网站域名，如：http://www.abc.com
注意：如果站点正常，不存在封禁百度UA的情况，则其返回码是200，如出现其他返回码为异常。
【建议方案】查看网站反爬虫策略，进行策略调整，解除百度UA封禁；或者针对百度UA添加策略白名单。
3、自查是否存在IP封禁
如果以上验证均无异常，开发者们则可以排查是否存在IP封禁的情况。
常见的IP封禁，源自网站的防火墙系统配置，需要查看防火墙配置系统后台，检查是否存在百度蜘蛛的IP级别封禁措施。
【建议方案】查看网站反爬虫策略，进行策略调整，解除百度IP封禁。
蒙公网安备 15010502000974号