首页>>新闻资讯>>SEO优化

如何正确识别百度蜘蛛?只需要做这两点。

作者:  更新:2021-06-23 浏览量:42
许多SEO从业者在刚触碰这一领域的情况下,常常会问——百度蜘蛛是什么?我们可以了解为百度蜘蛛便是用于爬取网页链接的IP,我常常会听见百度蜘蛛来的太经常,网络服务器要被抓爆了,假如你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓 […]

许多SEO从业者在刚触碰这一领域的情况下,常常会问——百度蜘蛛是什么?我们可以了解为百度蜘蛛便是用于爬取网页链接的IP,我常常会听见百度蜘蛛来的太经常,网络服务器要被抓爆了,假如你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓爆的呢?也是有发生百度蜘蛛都不来了的状况,也有许多网站想要百度蜘蛛的IP段,想把IP添加授权管理,但无法识别百度搜索IP。

那怎样才能鉴别恰当的百度蜘蛛呢?来吧来吧,只需做着二点,就能恰当鉴别百度蜘蛛

一、查询UA,假如UA也不对,能够断定非网页搜索的搜索引擎蜘蛛,现阶段对外开放发布过的UA是:

挪动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; http://www.baidu.com/search/spider.html)

增加3D渲染UA:

挪动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; http://www.baidu.com/search/spider.html)

二、查取IP

网站站长能够根据DNS查取IP的方法分辨某只spider是不是来源于百度搜索百度搜索引擎。依据服务平台不一样认证方式不一样,如linux/windows/os三种服务平台下的认证方式各自以下:

正确识别百度蜘蛛

(1)、在linux服务平台下,您能够应用host ip命令反解ip来分辨是不是来源于Baiduspider的爬取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的文件格式取名,非 *.baidu.com 或 *.baidu.jp 即是假冒。

(2)、在windows服务平台或是IBM OS/2服务平台下,您能够应用nslookup ip命令反解ip来 分辨是不是来源于Baiduspider的爬取。开启指令CPU 键入nslookup xxx.xxx.xxx.xxx(IP地 址)就能分析ip, 来分辨是不是来源于Baiduspider的爬取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的文件格式取名,非 *.baidu.com 或 *.baidu.jp 即是假冒。

(3)、 在mac os平台下,您能够应用dig 指令反解ip来 分辨是不是来源于Baiduspider的爬取。开启指令CPU 键入dig xxx.xxx.xxx.xxx(IP地 址)就能分析ip, 来分辨是不是来源于Baiduspider的爬取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的文件格式取名,非 *.baidu.com 或 *.baidu.jp 即是假冒。

如何获取流量与咨询增长?立即获取免费报价

立即咨询