有人说“Web访问日志是服务器的江湖卷宗”。
随便建一个“无人”问津的小网站扔到公网上，然后你会发现：非正常访问远高于正常访问，机器人访问量远高于自然人访问。
这个Web站点部署在X云山，持续运行了2年多，每天一个Web日志文件，共计700多个日志文件，约4.8GB，最大日志文件66MB。
粗略估计，自然人正常访问次数仅占不到20%。
非正常（包括机器人访问）主要由以下几类：
搜索引擎网络爬虫
日志中最多的是网络爬虫，例如：
- Baiduspider（百度网络爬虫）
- YisouSpider（神马搜索网络爬虫）
- PetalBot（华为搜索引擎网络爬虫）
- MJ12bot（英国Majestic公司网络爬虫）
还有很多其他爬虫，不再一一列举。
AI模型训练数据网络爬虫
- DeepSeekBot（DeepSeek网络爬虫）
DeepSeekBot抓取公开的网页内容，用于训练和优化DeepSeek自己的大语言模型（LLM），以提升模型的知识广度和语言理解能力。
- GPTBot
GPTBot是OpenAI公司官方运行的网络爬虫。
- ClaudeBot
ClaudeBot是人工智能公司Anthropic（Claude系列模型的开发商）官方运行的网络爬虫。
