古龙seo
登录
76
0
1

日志怎么看百度蜘蛛,如何识别

234g2025-04-07 19:01:46

查看UA信息

如果UA信息不对,可以直接判断该蜘蛛为非百度搜索的蜘蛛。

目前UA分为移动、PC、和小程序三个应用场景,分别如下:

【移动UA】

  1. Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; BAIduspider/2.0;+http://www.baidu.com/search/spider.html)

  2. Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

【PC UA】

  1. Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  2. Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

【小程序UA】

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

二、双向DNS解析认证

第一步:DNS反查IP

开发者可以对日志中访问服务器的IP地址进行反向DNS查找,判断某只spider是否来自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

在Linux/Windows/OS三种平台下,验证方法分别如下:

  1. 在Linux平台下,可以使用host IP命令反解IP来判断该抓取是否来自Baiduspider。

  2. 在Windows平台或者IBM OS/2平台下,可以使用nslookup IP命令反解IP:打开命令处理器,输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析IP,判断该抓取是否来自Baiduspider。

  3. 在macOS平台下,可以使用dig命令反解IP:打开命令处理器输入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析IP,判断该抓取是否来自Baiduspider。

第二步:对域名运行正向DNS查找

对第一步中通过命令检索到的域名运行正向DNS查找,验证该域名与日志中访问服务器的原始IP地址是否一致,IP地址一致可确认spider来自百度搜索引擎,IP地址不一致即为冒充。

【示例】

> host 111.206.198.69

69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.

>hostbaiduspider-111-206-198-69.crawl.baidu.com

baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69

本文来源:【百度搜索基础信息设置规范
思享SEO博客编辑转载,仅用于参考学习,如有侵权请联系本站修改删除!

猜你喜欢

  • 百度是怎么判断页面之类的

    在百度的搜索核心策略中,页面的质量度一直都是比较重要的指标之一。如果一个网站的页面没有做好那么不管是怎么优化也是不会有很大的效果。一般来说,页面被创建或存在都是有目的的。从用户角度,这个目的可能是好的...

    百度seo2025-04-09
  • 网站想获得排名要怎么做,避开那些错误

    如何让百度搜索选择我?网站的基本素质新站建立时适当交换外链,利于Spider爬取发现资源;同时开发者也可以前往百度搜索资源平台向百度搜索主动提交站点新增的高时效性资源,缩短爬虫发现网站资源的时间;首页...

    百度seo2025-04-07
  • 百度站长普通/快速收录、死链提交工具怎么用

    站点的提交配额迟迟没有上升;普通收录工具提交sitemap文件后一直提示“抓取失败”;通过死链提交工具提交了死链,但线上一直未删除链接;······朋友们,在使用搜索资源平台资源提交工具的时候,你是否...

    百度seo2025-04-07
  • 什么是百度快速收录,怎么获得权限

    什么是百度快速收录,怎么获得权限

    我们知道,过去收录有多种推送方式,主动推送、自动推送(已下线)、sitemap、手动提交。而快速收录是熊掌号下线后的又一种推送工具,其实跟主动推送差不多。但官方说明快速收录能缩短爬虫发现网站链接的时间...

    百度seo2025-04-07
  • 百度工程师:网站建设需要注意哪些问题

    前段时间,小编收到部分开发者关于建站相关的提问,于是特地让百度工程师为大家从网站的抓取建设、内容生产、死链处理3个方面总结了开发者经常遇到的问题,看到就是赚到!一、网站抓取建设Q1:百度搜索会对新网站...

    百度seo2025-04-07
  • 日志怎么看百度蜘蛛,如何识别

    查看UA信息如果UA信息不对,可以直接判断该蜘蛛为非百度搜索的蜘蛛。目前UA分为移动、PC、和小程序三个应用场景,分别如下:【移动UA】Mozilla/5.0(Linux;u;Android 4.2....

    百度seo2025-04-07
  • 百度搜索基础信息设置规范

    百度搜索基础信息设置规范

    对于开发者们而言,站点和智能小程序在搜索结果页的展现内容与形式,是吸引用户点击搜索结果访问站点的重要因素。百度搜索会基于网站和小程序的设置,提取对搜索用户有价值的信息展现在搜索结果页。为了帮助广大开发...

    百度seo2025-04-07
  • 怎么调整搜索引擎的抓取频次

    怎么调整搜索引擎的抓取频次

    我们有时候在交流的时候可以看到,搜索引擎的大量抓取是会对服务器造成一定压力的。因为我们需要通过调整抓取频次来减少搜索引擎的抓取,那么,在哪里调整呢?...

    百度seo2025-04-07
  • 百度搜索引擎网页质量白皮书

    百度搜索引擎网页质量白皮书

    网页质量是一个网页满足用户需求能力的衡量,是搜索引擎确定结果排序的重要依据。在网页资源内容与用户需求有相关性的基础上,内容是否完整、页面是否美观、对用户是否友好、来源是否权威专业等因素,共同决定着网页...

    百度seo2025-04-06
  • 百度搜索引擎优化指南2.0

    百度搜索引擎优化指南2.0

    需要指出的是,《百度搜索引擎优化指南2.0》发布于2014年12月12日(前言部分已省略),内容仅供参考,尤其是对于一些技术上暂时无法实现的问题,百度已然解决,如:对于https的支持。但大部分内容,...

    百度seo2025-04-06

网友评论