来源:百度搜索资源平台 作者:软月互动 时间:2022-03-25 13:32:12 点击:0次
近期,小编经常收到开发者关于“哪些蜘蛛是百度搜索的”、“如何才能正确识别百度蜘蛛”的提问。
今日干货带你简单两步即可识别百度蜘蛛
一、查看UA信息
如果UA信息不对,可以直接判断该蜘蛛为非百度搜索的蜘蛛。
目前UA分为移动、PC、和小程序三个应用场景,分别如下:
【移动UA】
1、Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
2、Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
【PC UA】
1、Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
2、Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
【小程序UA】
Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)
二、双向DNS解析认证
第一步:DNS反查IP
开发者可以对日志中访问服务器的IP地址进行反向DNS查找,判断某只spider是否来自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即为冒充。
在Linux/Windows/OS三种平台下,验证方法分别如下:
1) 在Linux平台下,可以使用host IP命令反解IP来判断该抓取是否来自Baiduspider。
2) 在Windows平台或者IBM OS/2平台下,可以使用nslookup IP命令反解IP:打开命令处理器,输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析IP,判断该抓取是否来自Baiduspider。
3) 在macOS平台下,可以使用dig命令反解IP:打开命令处理器输入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析IP,判断该抓取是否来自Baiduspider。
第二步:对域名运行正向DNS查找
对第一步中通过命令检索到的域名运行正向DNS查找,验证该域名与日志中访问服务器的原始IP地址是否一致,IP地址一致可确认spider来自百度搜索引擎,IP地址不一致即为冒充。
【示例】
> host 111.206.198.69
69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.
>hostbaiduspider-111-206-198-69.crawl.baidu.com
baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69
以上就是识别百度蜘蛛的方法,有需要的同学速速收藏哦!
南京网站建设:在网站SEO优化时,长尾关键词起到的作用是比较关键且重要的。但往往也是比较容易,被一些刚入门的小白或是没有太多SEO优化基础经验的企业所忽视的。在...
南京网站建设:随着全球化进程的加速,越来越多的企业开始尝试拓展海外市场。自去年开始,软月承接的多个网站开发类项目中,多语言版本的开发需求明显要高于前几年。今年开...
南京网站建设:经常会碰到客户有这样的疑问,什么是ICP备案?网站为什么要做ICP备案?网站可以不做ICP备案吗?等等这样的问题,今天就简单跟大家聊聊相关的话题。...
南京网站建设:大家好,我是软月小森。前几天圈内好友给我发了一篇文章,来自知名博主卢松松写的一篇《2022年是SEO行业凋谢的一年》,看完后内心既凌乱又坚定。为什...
南京网站建设:哈喽,大家好!我是南京网站建设公司的小月月,国庆7天小长假呲溜一下就过去了,感觉一切美好规划还没开始就已经结束了~加上突如其来的疫情无形中又将假期...
南京网站建设:很多客户在保持一段时间更新网站文章后,都比较迷茫,似乎网站排名并没有多好的提升,坚持一段时间后,很多客户网站更新文章的频率就逐渐降低或者很少再去更...
南京网站建设:最近朋友圈都羊羊羊了,大家都要做好自我防护哦~哈喽,大家好,我是软月互动的小月月,很高兴还能健康的继续“战斗”。一个周末放假过来,公司已经有几个感...
南京网站建设:很长时间网站没有可更新的内容时,如何做好SEO优化呢?其实很多朋友都有这样的困惑,当很多新手接触网站优化时,被反复强调的工作就是更新网站内容,所以...