有人说“Web访问日志是服务器的江湖卷宗”。

随便建一个“无人”问津的小网站扔到公网上,然后你会发现:非正常访问记录远高于正常访问,机器人访问量远高于自然人访问。

这个Web站点部署在X云上,持续运行了2年多,每天一个Web日志文件,共计700多个日志文件,约4.8GB,最大日志文件66MB。

粗略估计,自然人正常访问次数仅占不到20%。

非正常(包括机器人访问)主要由以下几类:

搜索引擎网络爬虫

日志中最多的是网络爬虫(Web Crawler/Spider/Robot,Search Engine Bot),爬虫搜索引擎用于自动遍历互联网、抓取并索引网页内容的自动化程序,例如:

image-20260627124337860

image-20260627124526976

image-20260627124647941

image-20260627124755403

还有很多其他爬虫,不再一一列举。

AI模型训练数据网络爬虫

专门面向AI训练场景的智能数据采集程序,是大语言模型获取海量公开网页训练素材的核心工具,区别于传统通用爬虫,它能适配AI训练对数据质量、多样性的特殊要求。

DeepSeekBot抓取公开的网页内容,用于训练和优化DeepSeek自己的大语言模型(LLM),以提升模型的知识广度和语言理解能力。

image-20260627141247537

GPTBot是OpenAI公司官方运行的网络爬虫。

image-20260627141426144

ClaudeBot是人工智能公司Anthropic(Claude系列模型的开发商)官方运行的网络爬虫。

image-20260627141546420

恶意扫描

恶意扫描是黑客入侵Web系统前的典型前置探测行为,攻击者利用自动化工具批量向目标Web应用发送大量请求,以此探查系统漏洞、获取敏感信息,为后续SQL注入、非法入侵等攻击铺路。

image-20260628095702424

跨站脚本(XSS)攻击

跨站脚本(Cross-site scripting,简称XSS)属于代码注入攻击,攻击者将恶意脚本注入正常网页,用户浏览时脚本会在其浏览器中执行,可窃取用户登录Cookie、劫持会话甚至控制用户浏览器。

image-20260628123420793

SQL注入攻击

SQL注入(SQL Injection)攻击‌是一种常见且高危的Web安全漏洞,攻击者将恶意SQL代码插入应用的输入字段中,利用程序未对用户输入做严格过滤、直接拼接进SQL语句的漏洞,诱使后台数据库执行非法指令,从而操控数据库操作。

image-20260628133845528

服务器端请求伪造

服务器端请求伪造(SSRF,Server-Side Request Forgery),攻击者试图利用服务端对URL解析的漏洞,让服务器读取本地文件系统的内容,而不是正常的HTTP/HTTPS远程资源。

image-20260628141521424

混合攻击

一次使用多种攻击方法组合,以下是路径遍历‌和‌SQL报错注入:

image-20260628095405981

以上挑选了一些典型日志,仅供参考。

在看似风平浪静的网络宏海里,翻涌着滚滚暗流。我们日常浏览的网页、使用的APP看似平静,但针对网站和Web应用的攻击从未停歇,且正变得愈发汹涌和隐蔽。