谷歌蜘蛛（爬虫）Googlebot 服务器 IP 段

小渣渣

需求：针对谷歌蜘蛛（爬虫）Googlebot 访问加入到白名单里面，不对该 IP 段进行限流。

查看 Google 搜索中心文档，可以查看抓取工具的 IP 地址段，Google 抓取工具分为三类：Googlebot、特殊情况下的抓取工具、用户触发的抓取器。

可以调用接口查询 IP 范围：

超链接登录可见。
超链接登录可见。
超链接登录可见。
超链接登录可见。



使用 .NET/C# 程序进行抓取汇总，代码如下：

登录可见。

如下图：



Googlebot：超链接登录可见。
验证 Googlebot 和其他 Google 抓取工具：超链接登录可见。

小渣渣

Bingbot 必应蜘蛛（爬虫）IP 段：超链接登录可见。
参考：超链接登录可见。

小渣渣

360蜘蛛IP：超链接登录可见。

180.153.232.0/24
180.153.234.0/24
180.153.236.0/24
180.163.220.0/24
42.236.101.0/24
42.236.102.0/24
42.236.103.0/24
42.236.10.0/24
42.236.12.0/24
42.236.13.0/24
42.236.14.0/24
42.236.15.0/24
42.236.16.0/24
42.236.17.0/24
42.236.46.0/24
42.236.48.0/24
42.236.49.0/24
42.236.50.0/24
42.236.51.0/24
42.236.52.0/24
42.236.53.0/24
42.236.54.0/24
42.236.55.0/24
42.236.99.0/24

小渣渣

搜索引擎爬虫：好机器人，坏机器人
蜘蛛机器人，又称网络蜘蛛或搜索引擎爬虫，是一种在互联网上自动执行重复任务的工具。它们会读取所抓取网页上的几乎所有内容。机器人收集的数据会以各种方式进行处理和利用，因此，机器人是一种双刃剑。它们可以带来极大的好处，增强互联网功能和业务运营，但也可能造成危害，带来安全风险和道德问题，具体取决于使用方式和目的。

众多网络爬虫和机器人，例如 Googlebot、Bingbot、百度机器人（Baiduspider）、Slurp 机器人（Yahoo 机器人）、Yandexbot、Sogou 机器人、Alexa 爬虫、DuckDuckBot、Slackbot、Facebook Bot、GPTBot 等，不断地搜索互联网。

防火墙中的白名单搜索引擎爬虫（机器人）：超链接登录可见。