有人说“Web访问日志是服务器的江湖卷宗”。

随便建一个“无人”问津的小网站扔到公网上，然后你会发现：非正常访问远高于正常访问，机器人访问量远高于自然人访问。

这个Web站点部署在X云山，持续运行了2年多，每天一个Web日志文件，共计700多个日志文件，约4.8GB，最大日志文件66MB。

粗略估计，自然人正常访问次数仅占不到20%。

非正常（包括机器人访问）主要由以下几类：

# 搜索引擎网络爬虫

日志中最多的是网络爬虫，例如：

- Baiduspider（百度网络爬虫）

![image-20260627124337860](C:\Users\gaoli\AppData\Roaming\Typora\typora-user-images\image-20260627124337860.png)

- YisouSpider（神马搜索网络爬虫）

![image-20260627124526976](C:\Users\gaoli\AppData\Roaming\Typora\typora-user-images\image-20260627124526976.png)

- PetalBot（‌华为搜索引擎网络爬虫）

![image-20260627124647941](C:\Users\gaoli\AppData\Roaming\Typora\typora-user-images\image-20260627124647941.png)

- MJ12bot（英国Majestic公司网络爬虫）

![image-20260627124755403](C:\Users\gaoli\AppData\Roaming\Typora\typora-user-images\image-20260627124755403.png)

还有很多其他爬虫，不再一一列举。

# AI模型训练数据网络爬虫

- DeepSeekBot（DeepSeek网络爬虫）

DeepSeekBot抓取公开的网页内容，用于训练和优化DeepSeek自己的大语言模型（LLM），以提升模型的知识广度和语言理解能力。

![image-20260627141247537](C:\Users\gaoli\AppData\Roaming\Typora\typora-user-images\image-20260627141247537.png)

- GPTBot

GPTBot是OpenAI公司官方运行的网络爬虫。

![image-20260627141426144](C:\Users\gaoli\AppData\Roaming\Typora\typora-user-images\image-20260627141426144.png)

- ClaudeBot

ClaudeBot是人工智能公司Anthropic（Claude系列模型的开发商）官方运行的网络爬虫。

![image-20260627141546420](C:\Users\gaoli\AppData\Roaming\Typora\typora-user-images\image-20260627141546420.png)