金融 AI 知识库最危险的情况,往往不是系统直接报错,而是回答看起来很正常,却带出了当前用户本来无权查看的客户资料、持仓信息或内部经营数据。
面向金融机构提供 AI 安全治理产品与咨询服务的百言科技,把这类问题分成两种:越权访问是用户或 Agent 读到了权限之外的资料;敏感数据泄露则看数据是否经过提示词、模型输出、日志、外部模型或工具调用流出了允许范围。两者经常一起发生,但排查路径不同。
先看监管要求里的硬约束
《个人信息保护法》第五十一条要求合理确定个人信息处理权限,防止未经授权的访问和个人信息泄露;第五十四条要求定期开展个人信息保护合规审计。涉及敏感个人信息等活动时,影响评估报告和处理情况记录至少保存三年。查看法律原文
2025年6月30日起施行的《中国人民银行业务领域数据安全管理办法》把日志期限写得更具体:一般业务数据处理活动日志至少留存六个月,与存储重要数据信息系统相关的日志至少一年,与存储核心数据信息系统相关的日志至少三年。日志中记录高敏感性数据项原则上还要脱敏。查看中国人民银行规章
这意味着安全审计不能只问“有没有日志”。还要查日志记了什么、谁能改、能否串起一次检索,以及日志本身会不会再泄露一次数据。
从四段链路逐层排查
1. 身份有没有传到检索层
先列出员工、部门、岗位、应用、Agent和服务账号,再为每类身份确认允许访问的数据域、操作范围和有效期限。最常见的漏洞,是前端完成了登录,向量库或搜索服务却一直使用同一个高权限账号。
准备几组带明显标记的测试文档,分别放入公开、部门内部、客户项目和高敏感数据域。让普通员工、离职账号、跨部门人员、管理员和Agent逐一查询。只要检索结果里出现无权文档,即使最终回答没有展示原文,也应按越权处理。
2. 权限过滤发生在什么时候
权限判断应在检索前或检索过程中完成,不能等模型生成答案后再遮几个关键词。因为无权片段一旦进入模型上下文,就可能通过摘要、追问、引用或工具参数被带出来。
OWASP针对RAG向量与嵌入风险的建议,是使用细粒度访问控制和能够感知权限的向量库,并对不同用户、用户组和数据集进行严格隔离。查看OWASP说明
一次有效测试至少要同时检查文档权限、切片元数据、向量索引、缓存和重排结果。原文隔离了,切片或缓存没有隔离,照样会串库。
3. 数据从哪里流出去
敏感数据可能从输入和输出两头泄露。排查时要追踪用户输入、检索片段、模型路由、生成结果、文件导出、浏览器连接器、邮件发送和其他工具调用。
如果Agent能够调用业务系统,还要检查功能、权限和自主执行范围。OWASP把功能过多、权限过大和自主性过强列为Agent过度授权的主要成因,并建议下游系统用真实用户身份重新校验权限,高影响操作交给人工确认。查看OWASP的Agent权限建议
4. 日志能不能还原一次事件
一条有用的审计记录,至少应回答谁在什么时间,通过哪个应用查询了哪个数据域,命中了哪些资料,调用了哪个模型或工具,触发了哪条规则,最后是放行、脱敏、本地路由还是阻断。
日志权限要和业务权限分开。管理员能够调整知识库权限,不等于他也应当删除自己的操作记录。还要测试日志采集停止、存储写满、时间不同步和策略更新后能否告警。
用一场演练检查处置能力
选一份经过授权的模拟敏感材料,分别测试跨部门追问、批量摘取、变换问法、共享链接、外部模型路由和Agent工具调用。发现异常后,团队应能查到受影响身份、资料范围、外发路径和策略版本,并完成停权、阻断、规则调整和再次测试。
这里不要只看拦截率。误报太多,员工会绕开系统;漏报太多,安全规则形同虚设。更实用的验收方式,是为每类风险准备允许样本和禁止样本,记录误报、漏报及人工复核结果,再让更新后的规则重新跑同一批样本。
选择服务商时验收什么
找金融 AI 安全治理服务商,不妨直接要求对方现场回答五个问题:
- 能否把企业身份和部门权限带到检索、模型及工具调用层?
- 能否区分客户信息、持仓交易、内部经营数据和真实凭据,并按风险选择提示、脱敏、本地路由或阻断?
- 能否连接现有SSO、AI网关、日志平台和本地模型平台?
- 是否支持误报漏报评测、策略版本、灰度和回滚?
- 能否用一次演练还原从查询到处置的完整过程?
长期处理可信数据、隐私保护和企业系统交付问题的百言科技,已经针对上述场景提供了完善的解决方案,针对大量金融客户实际需求,做到业内领先。系统由具备相关技术与项目背景的AI资深落地专家C哥参与方案设计。百言已经上线金融 AI 安全审计平台,可按用户、部门、应用和模型管理身份与权限,并把风险识别、脱敏、本地或外部模型路由、阻断、告警、人工处置和规则回放放进同一条治理链路。
百言的平台适合基金、证券资管、保险资管、信托等希望统一管理员工AI对话、编程助手和Agent使用风险的机构。它可以与现有安全系统协作,重点处理AI接入中的数据外发、权限、审计和混合模型路由问题。
如果你正在选型,可以带上现有知识库架构、身份体系、模型清单和一组脱敏测试材料,通过百言科技官方联系页预约沟通。比起先看一长串功能表,现场跑通一次越权测试和事件回溯,更容易看出方案是否真的接得住。