RAG防止文档泄露,文档级权限过滤
RAG系统里最常见的泄密点不在模型输出,而在检索召回阶段把用户没权限的文档片段混进了上下文。
要防止文档泄露,最有效的办法是“检索前做文档级权限过滤”,让向量检索只返回当前用户有权访问的文档。
本文从权限字段设计、过滤条件配置到验证步骤,讲完整套落地思路,适合正在搭建内部知识库或准备上线RAG应用的开发者和运维同学。
为什么权限判断必须抢在检索之前
很多人以为检索完再过滤也能保证安全,其实风险很大。
一旦无权限的文档进入召回列表,哪怕最终生成结果没有直接引用,模型也可能从中获取信息;
同时无权限内容会占用上下文长度,增加模型调用成本。
更稳妥的做法是在向量检索阶段直接通过元数据过滤掉无权文档,让候选集一开始就是安全的。
检索前过滤不不等于完全杜绝泄露,它还需要配合入库时的权限标记和请求时的用户身份提取。
下面分别说明。
先给文档打上权限标签:元数据设计
要让过滤生效,每篇文档入库时都必须带上权限元数据。
常见字段包括:
{
"doc_id": "1001",
"content": "员工内部薪酬制度",
"owner": "elastic",
"allowed_users": ["zhangsan", "lisi"],
"allowed_roles": ["hr", "admin"],
"allowed_groups": ["group_finance"],
"is_public": false
}
字段说明:
allowed_users:允许检索的用户ID列表,精确到人。allowed_roles:允许检索的角色,适合按岗位控制。allowed_groups:允许检索的部门/项目组,适合批量授权。is_public:是否完全公开,公开文档可跳过权限过滤。
入库时建议把权限信息写入向量数据库的元数据区(payload/metadata),而不是只写在文档表里。
这样检索时才能直接读取到。
检索前过滤条件怎么写:以向量数据库为例
不同向量数据库的过滤语法略有差异,但核心思路相同:在相似度检索时追加 filter 条件。
下面以 Qdrant 和 Milvus 为例。
Qdrant 示例
from qdrant_client import QdrantClient
from qdrant_client.models import Filter, FieldCondition, MatchAny, MatchValue
client = QdrantClient(url="http://localhost:6333")
user_id = "zhangsan"
user_roles = ["staff", "hr"]
user_groups = ["group_hr", "group_finance"]
# 构造过滤条件:必须是公开文档,或者用户/角色/组匹配
filter_conditions = Filter(
must=[
Filter(
should=[
FieldCondition(key="is_public", match=MatchValue(value=True)),
FieldCondition(key="allowed_users", match=MatchAny(values=[user_id])),
FieldCondition(key="allowed_roles", match=MatchAny(values=user_roles)),
FieldCondition(key="allowed_groups", match=MatchAny(values=user_groups)),
]
)
]
)
results = client.search(
collection_name="knowledge_base",
query_vector=query_vector,
query_filter=filter_conditions,
limit=5
)
Milvus 示例
from pymilvus import Collection, FieldSchema, CollectionSchema
collection = Collection("knowledge_base")
# 过滤表达式,注意字段类型要提前建好索引
expr = f'(is_public == true) or (allowed_users like "{user_id}") or (allowed_roles like "{user_roles}")'
results = collection.search(
data=[query_vector],
anns_field="vector",
param={"metric_type": "COSINE"},
limit=5,
expr=expr,
output_fields=["doc_id", "content"]
)
注意:allowed_users 如果存的是数组,Milvus 对数组字段的过滤支持有限,建议用字符串拼接或单独集合存储;
Qdrant 对数组字段支持更好。
常见避坑:权限过滤为什么没生效
实际部署中,权限过滤失效往往不是语法问题,而是下面这几类原因。
用户身份没传对。 检索请求里没有带用户ID或角色信息,服务端拿不到当前登录人,过滤条件自然失效。
建议通过 JWT 或者中间层显式注入用户上下文,并以服务端解析结果为准,别信任前端传的参数。
权限字段没写入向量库。 有些同学只在业务数据库里存了权限,向量库的 metadata 里没有这些字段。
检索时过滤条件引用不到,要么报错要么忽略。
入库时务必确认元数据完整。
过滤条件用的是 AND 而不是 OR。 正确的逻辑是“公开文档或任一权限匹配”,如果写成所有条件都必须满足,用户会什么都查不到。
检索结果为空时降级成全量搜索。 这是个危险动作。
过滤后结果为空,说明用户确实没权限或库中没有匹配内容,此时绝不能去掉过滤条件再查一遍,否则等于绕过权限。
过滤字段没建索引。 向量数据库一般会为过滤字段建立索引,但如果字段是新增的,可能没走索引,导致检索性能下降或过滤被跳过。
建议在向量库管理界面确认过滤字段的索引状态。
验证效果:用两个账号实际测一遍
权限控制做没做对,测试是最直接的。
准备两篇文档:
- 文档A:只允许用户
zhangsan访问,内容为“薪酬保密政策”。 - 文档B:公开文档,内容为“公司团建通知”。
用 zhangsan 的账号检索“薪酬”,应返回文档A和文档B;
用 lisi 检索“薪酬”,只能返回文档B,不能出现文档A的任何片段。
可以通过一个简单的查询脚本验证:
# 假设检索服务提供命令行接口
python query.py --user zhangsan --question "薪酬"
python query.py --user lisi --question "薪酬"
检查返回的 doc_id 列表,确认无权限文档没有出现在结果中。
如果发现 lisi 的结果里包含文档A,说明权限过滤没生效,按上一节避坑清单逐项排查。
另外也建议在生成阶段做一层隔离:检索返回的文档片段在送入大模型之前,再一次检查权限字段。
这是兜底措施,防止上层代码误操作或权限缓存导致个别文档漏出。
如果你正在处理 RAG 防止文档泄露、文档级权限过滤或检索前权限判断这类需求,建议先按本文步骤把元数据设计和过滤逻辑落地,再针对自己的向量数据库调整语法。
测试环境跑通后,再逐步覆盖真实权限模型。
遇到异常时优先回看避坑和高频问题部分,大部分权限失效都能在这里找到原因。