用大模型做安全审计，如何提高准确率？
前言：大模型做安全审计，为什么准确率总上不去？
用大模型辅助安全审计，听起来很美好，但实际跑起来常常出现幻觉、漏报或者误报。
根本原因不是模型不够强，而是输入数据质量差、提示设计粗糙、缺少校验闭环。
本文从这三个方向入手，讲清楚如何提高用大模型做安全审计的准确率。
一、准备条件：搭建基础环境
你需要以下环境才能跟上后面的操作：
- Python 3.8+ 和
openai或transformers库（按你选用的模型类型） - 安全审计原始数据：例如 auth.log、访问日志、Web 防火墙告警（至少 200 条以上真实样本）
- 一个审查集：人工标注好的 50 条数据（用于验证准确率）
- 推荐使用 ChatGPT API 或本地部署的 LLaMA 系列模型（本文以 OpenAI API 为例）
安装依赖：
pip install openai pandas tqdm二、提高准确率的三个核心技巧
1. 数据清洗：先去掉80%的噪音
安全日志里常有大量重复扫描、健康检查等无意义请求。
大模型处理这些噪音会浪费上下文窗口，还容易产生幻觉。
操作步骤：
- 用
grep或 Python 过滤掉已知的监控 IP 和固定 User-Agent。 - 将多行日志合并为单条结构化 JSON，保留关键字段：时间、源 IP、请求路径、状态码、攻击特征。
示例 Python 过滤脚本：
import re
def clean_log(raw_line):
# 移除健康检查
if 'monitor.example.com' in raw_line:
return None
# 保留 4xx、5xx 和包含 SQL/XSS 关键字的记录
if re.search(r'\b(4[0-9]{2}|5[0-9]{2}|select|union|script)\b', raw_line, re.I):
return raw_line
return None2. 提示设计：告诉模型“你是谁，该怎么做”
很多用户直接问“这条日志是否异常”，模型容易随意猜测。
正确的做法是给出角色、上下文和输出格式。
推荐提示模板：
你是一名资深安全审计工程师。以下是 Web 访问日志的 JSON 记录：
{日志数据}
请判断该请求是否存在攻击行为。
- 如果存在，输出“攻击类型: X”，并给出理由。
- 如果正常，输出“正常”。
- 如果不确定，输出“可疑: 需人工复核”。
不要输出其他内容。关键点： 限制输出格式，便于后续自动解析。
使用“给出理由”能让模型更谨慎，减少幻觉。
3. 结果校验：用规则兜底，用抽样算准确率
大模型回答后，千万别直接信。
建议做两层校验：
第一层：规则过滤。 如果日志里明显包含 1=1、
机房迁移升级通知
尊敬的用户：
IP 段 103.23.148.x、156.224.29.x 原香港一区线路波动、攻击频繁，平台定于 7 月 5 日凌晨分批迁移至香港 GIA 机房，硬件升级 AMD 铂金机型。
迁移均在凌晨操作，最大程度降低业务影响，迁移期间服务器临时关机；
升级后配置不降低、费用不涨价，数据默认同步迁移；
迁移后 IP 全部更换，请及时修改域名解析、防火墙白名单；
建议提前备份重要数据，有问题可联系在线客服。
感谢理解与支持！
泽御云科技 2026.06.30 