• 简书网微信公众号二维码
您当前的位置: 首页 > 网站建设 > 为啥提交百度不录入?robost文件检查了没?-seo-网站优化

为啥提交百度不录入?robost文件检查了没?-seo-网站优化

时间:2023-07-01 14:05 阅读数:35 人阅读 分类:网站建设

1、检查UA(User Agent中文名为用户署理,简称 UA),假如UA都不对,能够直接判别非百度查找的蜘蛛,现在对外发布过的UA是:
移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+
PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+
新增烘托UA:
移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +
PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +
2、反查IP
站长能够经过DNS反查IP的办法判别某只spider是否来自百度查找引擎。依据渠道不同验证办法不同,如linux/windows/os三种渠道下的验证办法别离如下:
1)、在linux渠道下,您能够运用host ip指令反解ip来判别是否来自Baiduspider的抓取。Baiduspider的hostname以*.baidu 或 *.baidu.jp 的格局命名,非 *.baidu 或 *.baidu.jp 即为假充。

2)、在windows渠道或许IBM OS/2渠道下,您能够运用nslookup ip指令反解ip来 判别是否来自Baiduspider的抓取。翻开指令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判别是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu或*.baidu.jp 的格局命名,非 *.baidu 或 *.baidu.jp 即为假充。
3)、 在mac os渠道下,您能够运用dig 指令反解ip来 判别是否来自Baiduspider的抓取。翻开指令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判别是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu 或*.baidu.jp 的格局命名,非 *.baidu 或 *.baidu.jp 即为假充。