有人说“**Web访问日志是服务器的江湖卷宗**”。

随便建一个“无人”问津的小网站扔到公网上，然后你会发现：非正常访问记录远高于正常访问，机器人访问量远高于自然人访问。

这个Web站点部署在X云上，持续运行了2年多，每天一个Web日志文件，共计700多个日志文件，约4.8GB，最大日志文件66MB。

粗略估计，自然人正常访问次数仅占不到20%。

非正常（包括机器人访问）主要由以下几类：

# 搜索引擎网络爬虫

日志中最多的是网络爬虫（Web Crawler/Spider/Robot，Search Engine Bot），爬虫搜索引擎用于自动遍历互联网、抓取并索引网页内容的自动化程序，例如：

- Baiduspider（百度网络爬虫）

![image-20260627124337860](../../../../ff_internal_upload/img/2026/image-20260627124337860.png)

- YisouSpider（神马搜索网络爬虫）

![image-20260627124526976](../../../../ff_internal_upload/img/2026/image-20260627124526976.png)

- PetalBot（‌华为搜索引擎网络爬虫）

![image-20260627124647941](../../../../ff_internal_upload/img/2026/image-20260627124647941.png)

- MJ12bot（英国Majestic公司网络爬虫）

![image-20260627124755403](../../../../ff_internal_upload/img/2026/image-20260627124755403.png)

还有很多其他爬虫，不再一一列举。

# AI模型训练数据网络爬虫

专门面向AI训练场景的智能数据采集程序，是大语言模型获取海量公开网页训练素材的核心工具，区别于传统通用爬虫，它能适配AI训练对数据质量、多样性的特殊要求。

- DeepSeekBot（DeepSeek网络爬虫）

DeepSeekBot抓取公开的网页内容，用于训练和优化DeepSeek自己的大语言模型（LLM），以提升模型的知识广度和语言理解能力。

![image-20260627141247537](../../../../ff_internal_upload/img/2026/image-20260627141247537.png)

- GPTBot

GPTBot是OpenAI公司官方运行的网络爬虫。

![image-20260627141426144](../../../../ff_internal_upload/img/2026/image-20260627141426144.png)

- ClaudeBot

ClaudeBot是人工智能公司Anthropic（Claude系列模型的开发商）官方运行的网络爬虫。

![image-20260627141546420](../../../../ff_internal_upload/img/2026/image-20260627141546420.png)

# 恶意扫描

恶意扫描是黑客入侵Web系统前的典型前置探测行为，攻击者利用自动化工具批量向目标Web应用发送大量请求，以此探查系统漏洞、获取敏感信息，为后续SQL注入、非法入侵等攻击铺路。

![image-20260628095702424](../../../../ff_internal_upload/img/2026/image-20260628095702424.png)

# 跨站脚本（XSS）攻击

跨站脚本（Cross-site scripting，简称XSS）属于代码注入攻击，攻击者将恶意脚本注入正常网页，用户浏览时脚本会在其浏览器中执行，可窃取用户登录Cookie、劫持会话甚至控制用户浏览器。

![image-20260628123420793](../../../../ff_internal_upload/img/2026/image-20260628123420793.png)

# SQL注入攻击

SQL注入（SQL Injection）攻击‌是一种常见且高危的Web安全漏洞，攻击者将恶意SQL代码插入应用的输入字段中，利用程序未对用户输入做严格过滤、直接拼接进SQL语句的漏洞，诱使后台数据库执行非法指令，从而操控数据库操作。

![image-20260628133845528](../../../../ff_internal_upload/img/2026/image-20260628133845528.png)

# 服务器端请求伪造

服务器端请求伪造（SSRF，Server-Side Request Forgery），攻击者试图利用服务端对URL解析的漏洞，让服务器读取本地文件系统的内容，而不是正常的HTTP/HTTPS远程资源。

![image-20260628141521424](../../../../ff_internal_upload/img/2026/image-20260628141521424.png)

# 混合攻击

一次使用多种攻击方法组合，以下是路径遍历‌和‌SQL报错注入：

![image-20260628095405981](../../../../ff_internal_upload/img/2026/image-20260628095405981.png)

以上挑选了一些典型日志，仅供参考。

在看似风平浪静的网络宏海里，翻涌着滚滚暗流。我们日常浏览的网页、使用的APP看似平静，但针对网站和Web应用的攻击从未停歇，且正变得愈发汹涌和隐蔽。