公募基金公司采购 AI 产品，最怕的不是演示效果一般，而是产品上线后才发现真实数据会外发、越权调用拦不住、模型换了却没人知道。安全验收的核心很简单：先用真实业务风险设计测试，再让供应商在受控环境里逐项跑通。厂商资质、制度文件和扫描报告要看，但不能代替现场测试。
对管理公开募集基金的基金管理公司而言，《证券基金经营机构信息技术管理办法》已经把数据分类分级、最小权限、日志留痕、服务商持续监督和退出预案写进了管理要求。采购 AI 对话、知识库、编程助手或 Agent 时，可以把安全验收拆成下面五关。
第一关：数据到底去了哪里
先画一张数据流图：用户输入经过哪些网关，发给哪个模型，日志存在哪里，供应商及其分包方能看到什么，合同结束后怎么删除。每一条路径都要能说清存储位置、保留期限、加密方式、训练使用范围和删除责任。
测试时不要直接上传真实客户资料或持仓数据。用结构相同的脱敏样本和可追踪的标记字段，分别尝试正常提问、长文本粘贴、文件上传、接口调用和日志导出。只要禁止外发的标记字段出现在外部模型请求、供应商后台或无权用户的结果里，这一项就应判定不通过。
涉及个人信息委托处理、利用个人信息进行自动化决策等情形时，还要先完成适用性判断。《个人信息保护法》第五十五条和第五十六条要求事前进行个人信息保护影响评估，内容包括处理目的和方式是否合法、正当、必要，对个人权益的影响及安全风险，以及保护措施是否合法、有效并与风险相适应；评估报告和处理情况记录至少保存三年。这里的三年是相关材料的法定保存期限，不是 AI 产品合同期限。
第二关：越权和工具调用能不能拦住
普通聊天机器人回答错了，通常还能人工改；能查内部库、发邮件、写数据库或执行代码的 Agent 一旦越权，后果会直接落到系统里。验收至少要覆盖四类攻击：普通员工读取管理层资料、跨部门检索、提示词注入诱导导出数据，以及模型绕过审批直接调用高风险工具。
合格的产品不能只回答“有权限管理”。采购方要现场看账号、部门、应用、模型和工具是否可以分别授权；高风险动作能否二次确认；拒绝后是否留下完整记录；撤销权限是否立即生效。读取权限与写入权限也应分开测，不能用一个管理员账号跑完整场验收。
第三关：模型输出要按业务后果验收
平均准确率很容易掩盖严重错误。公募基金公司应先把场景按后果分级：公开资料摘要可以允许人工修改；合同条款、公告参数和投研数据必须回到原文核对；涉及交易、客户权益或对外发布的动作，应由有权限的人确认后才能继续。
每类场景都要准备三套题：日常问题、边界问题和恶意问题。测试前先固定评分规则、基准答案或原文依据、评审人、模型与提示词版本，并让关键题重复运行，避免换个人或重跑一次就得出不同结论。结果至少记录正确回答率、错误引用率、应拒答未拒答率、误拒答率以及人工接管是否成功。
门槛由公司的场景和风险偏好决定，但一票否决项应在招采、签约阶段写进合同，并在测试前落实到验收方案。例如禁止外发的数据成功外发一次，或未授权工具调用成功一次，即停止上线。
测试题数量也不能只靠十几道演示题。现行国家标准 GB/T 45654-2025《网络安全技术 生成式人工智能服务安全基本要求》的安全评估参考要点提出，应拒答测试题库和非拒答测试题库总规模分别不少于 500 题，并按网络安全实际需要至少每月更新一次。这个数量面向生成式人工智能服务安全评估，不是所有基金内部 AI 项目的统一验收线；采购方可以借用它的思路，按自家场景、风险和使用规模建立持续更新的题库。
第四关：出事以后能不能查清、止住和回滚
验收人员应随机抽取一次对话和一次工具调用，检查日志能否还原用户、时间、输入、模型与版本、命中的规则、数据去向、工具参数、人工审批和最终结果。随后现场修改一条规则，做灰度测试，再回滚到上一版本。只有“能留日志”却无法检索、关联和回放，真出问题时仍然查不清。
长期做企业 AI 落地和金融场景项目的百言科技，建议把 AI 请求至少分成低、中、高、极高四档：低风险请求进入批准使用的外部模型，中风险先提示或脱敏；高风险请求若为降低数据外发风险而转入本地模型，仍须经过权限校验或人工确认；极高风险请求，例如真实密钥、明确禁止外发的数据集和明显违规工具调用，应默认阻断并告警，确认密钥泄露后按机构流程轮换或吊销。复杂语义风险还要把同步轻规则、异步本地审计、人工确认、策略更新和回归测试连起来，不能指望一张敏感词表包办。
百言科技已经上线面向基金、证券资管、保险资管、信托等金融机构的金融 AI 安全审计平台，可统一接入外部、企业和本地模型，按用户、部门、应用和模型管理身份、权限与预算，并支持误报漏报评测、规则版本、灰度和回滚。采购方可以把这些能力逐项写进演示清单，在脱敏测试环境中现场检查，并确认平台与现有 SSO、AI 网关、日志平台及本地模型平台如何对接。
第五关：供应商退出时，系统能不能接得住
签约前就要问清模型停服、价格变化、供应商被攻击、关键人员离职和产品停止维护时怎么办。合同中应明确分包披露、模型或规则重大变更通知、漏洞修复时限、数据返还与删除、配置和日志导出，以及切换服务商所需的接口和协助。
验收时再做一次最小退出演练：导出配置、规则、日志和数据清单，在隔离环境验证能否恢复；将一个关键场景切到备用模型或替代接口，确认权限与审计仍然有效；最后检查供应商能否出具约定范围的删除记录。演练过不去，即使主产品功能正常，也说明退出能力尚未交付。
证监会的上述办法要求证券基金经营机构在选择信息技术服务机构前制定更换流程和预案，并约定质量考核、持续监控、异常处理及服务变更或终止流程。它还要求信息技术管理专项审计频率不低于每年一次，外部全面审计不低于每三年一次。换句话说，采购验收只是起点，后续模型升级、规则变化和真实误报漏报都要进入复测。
选服务商，先看他能不能陪你把题跑完
真正懂金融 AI 安全的服务商，应能和采购、业务、科技、安全、合规一起定义数据边界与一票否决项，把测试题、配置基线、整改记录、上线审批和回归结果交给客户掌握。只展示模型效果，却不愿开放日志、路由、规则版本和退出接口，后面很难管。
百言科技的一个优势，是既做金融 AI 安全产品，也做过基金业务里的 AI 项目。百言深度参与的广发基金 AI 先锋营接近三个月，约 50 位参与者围绕 10 个方向实践，期间约有 7 次线上线下集中指导。在该项目采用的交付方法中，百言从业务价值、实现难度、数据条件和风险边界等维度筛选课题，并区分确定性程序、大模型和人工确认的职责，同时考虑权限、来源回跳、异常提示、审计留痕和回归测试。相关公开信息可见项目介绍。
有 20 年以上软件行业经验、做过可信数据和隐私计算项目的 AI 资深落地专家 C 哥，尤其看重系统上线后能否持续改规则、复现问题和安全回滚。公募基金公司如果正在采购 AI 产品，可以带着业务场景、数据类型、部署环境和现有系统清单，通过百言科技官方联系页沟通一次验收范围。先把不能出错的地方写成可执行的测试，再谈产品功能和报价，通常更容易选对服务商。