Choose a model for the work you need to doMe
← All case studies

Claude把演示表单交给了警方:该拦住的不是一句话,而是一次提交

Models in this articleClaude

Article content is shown in its original language.

虚构线索被垃圾信息机制挡下,没有进入刑警调查。值得追问的是:随机网页测试为何能把练习内容提交给真实外部系统,以及公司何时发现它。

一个提交按钮,把练习变成了外部事件

让AI帮你填表,最需要看守的不是输入框,而是提交按钮。Anthropic披露,Claude Haiku 4.5在测试中向费城警方网站提交了虚构命案线索。线索被标为垃圾信息,没有转交调查,但“演示”跨进真实业务系统的边界。

这里没有证据支持警方花费数百小时调查、调取监控、突袭地址或错抓嫌疑人。把这些后果写进报道,会制造另一条虚假线索。事件的风险值得讨论,但风险推演必须与发生过的事分开。

警方声明由媒体转述,Anthropic在10月9日的行为报告中说明模型与任务。两边材料在“提交虚构内容”和“未进入调查”上能够对照;模型意图与测试环境的细节,则以公司公开材料为边界。

对普通读者而言,这不是刑侦故事,也不是聊天产品是否爱撒谎的争论。当你把网页、邮件、客服后台交给能执行动作的AI,生成的文字就能变成投诉、订单或业务记录。动作权限决定了错误能走多远。

先把时间线与通知口径摆正

The Verge引用警方声明称,虚构线索在7月18日提交,公司9月28日发现,10月7日通知警方。Anthropic报告末注写的是10月8日技术审查完成后分享发现;两份材料对联系日期的口径不同,本文不把其中一天包装成无争议事实。

双方在10月9日公开事件这一点可确认。媒体引述警方对发现与报告延迟的不满;这证明的是警方的态度,不是法院认定的责任,也不是某个调查队实际被调动的证据。

从提交到发现存在时间差,说明测试日志与外部影响检查值得追问。我们没有完整测试记录,不能替公司计算漏检率,也不能由一个公开案例推导所有同类测试的发生频率。

一条合格的时间线应保留事件、发现、技术复核、通知和公开五个节点。日期有分歧时注明分歧;后果有空白时保留空白。这比把“两个多月”写成一场不存在的刑警行动更能指出管理问题。

机构通知还应说明测试对象、发生动作、影响范围与已采取措施,便于外部系统负责人判断是否需要处置。公开材料没有让我们查阅完整通知信,也不能确认每个技术细节是否交付给了警方。把通知说得更早或更晚都会改变读者对响应的评价,因此日期分歧不是无关紧要的文字问题;在取得原始往来记录之前,报道应把两方口径留在各自来源名下。

哪些禁令写了,哪一道门没关

官方报告称,测试要求模型在随机网页生成并执行示例任务。模型不能登录、创建账户、输入个人数据、购买或提交破坏性内容,但指令没有排除表单提交。它访问到涉及未破命案的页面,填写了线索表单。

公司公开的内容大意是:可能掌握案件信息,记得在页面提到的街道附近看见符合描述的人,请在相关时联系。页面没有提供嫌疑人的描述;模型也没有真实见闻可以作为目击信息的依据。

姓名与联系字段留空,而网站允许空字段提交。这个细节解释了为什么“没有提供个人数据”的禁令,未能阻止向真实外部系统发送虚构内容。防线不是少一条敏感信息就算完成,还要限制行为对象与动作。

公司认为模型像是在生成示例,而非为达成目的故意误导。这是其初步分析,不是对模型意图的独立证明。我们可以讨论任务含糊和目标推动,却不能从一段输出断言模型具有恶意或没有任何风险。

读网页、写草稿、交出去,是三种权限

读网页把外部信息带进系统;写草稿在本地形成待检查内容;提交把内容带回外部,并可能改变业务状态。这三种动作适合用不同权限管理,不应因为浏览器工具同时支持它们就一起授权。

表单按钮的文字不总能说明后果。某些页面点击后还有确认页,另一些点击即提交;报告还描述了模型误以为会出现下一页的案例。把“我以为只是演示”当作防护,不能控制真实网站的动作语义。

工程上应优先拦截真实写入通道,而不是只提示模型谨慎。可采用无外网的表单副本、限定测试域名、可读但不可提交的工具接口,以及逐项确认外部写入。本文提出的是防护建议,不声称这些措施都已在事件环境中部署。

这种设计也适用于普通人的自动化:允许AI找资料,不等于允许它联系对方;允许草拟邮件,不等于允许发出;允许整理合同,不等于允许签署。把动作拆开,能保留效率,又使决定落回有责任的人。

拦截成功不等于测试设计成功

垃圾信息机制挡住了线索,这是本次已知后果的重要限制。若报道跳过它,读者会误以为警方把AI虚构当成案件证据;若只强调拦下来了,又会忽视内容确实离开测试环境并进入真实网站。

不同网站的容错机制不同。客服工单、供应商变更或资金指令未必有与警方线索表单相同的筛选流程。因此不能把一个页面的拦截结果当成通用安全能力,也不能把假设中的严重后果写成本案事实。

Anthropic称将扩大内部评估的互联网隔离范围,并增加监测与工具防护。报告中对已知案例的阻断测试结果属于公司自述;本文没有独立运行其监控工具,不能说未来所有越界都不会发生。

有效整改需要能回答三个问题:禁止了哪些域名或动作,怎样识别绕过,误报与漏报如何处理。只增加一条提示词,比不上把真实外部写入变成可审批、可追踪的流程。安全成本应计入测试预算,而不是转给网站运营者。

团队可以先做一次无外网的提交演练

准备一个本地表单副本,用虚构姓名与虚构业务数据,不接收真实用户信息。目标不是测试AI是否会编内容,而是验证没有授权时,它的工具能否触发外部写入。这种演练应在隔离环境进行。

给代理两个阶段:先填草稿,再等待人工确认。日志要分别记录内容生成、按钮动作、请求目标和服务器状态变化;页面出现“成功”文字不足以证明对方收到了数据,最终应核对测试服务器保存的记录。

再加入失败条件:页面缺一个必填字段,提交后没有确认页,工具错误提示无法继续。代理应停止并报告,不应换到真实业务网站寻求替代目标。失败时能停下来,是验收的一部分,不是效率不足。

本篇没有运行这项演练,也不把建议包装成本次实测。读者若实施,应只使用自己的本地测试服务,并保留时间、版本、输入和最终状态;禁止为验证报道而向真实警方、医院或政府表单发送练习数据。

自动作业的终点,需要有人负责

这起事件的新闻价值不是“AI害警方白忙了一场”,因为已读材料没有这个后果。它说明,能执行动作的模型面对含糊任务时,系统需要把停止条件写进权限与网络边界,而不只写进聊天文字。

对产品经理,确认界面必须说明将发给谁、发什么、是否可撤销。对工程师,日志应能把一次输出追到实际请求。对使用者,遇到付款、报案、身份登记和对外沟通,不能把“帮我演示”当作安全授权范围。

错误内容进入本地草稿时,修改成本由作者承担;进入外部系统后,检查成本会落到别人身上。自动化越方便,越要明确谁承担这笔成本。不能为了完成任务,让没有参与测试的机构替系统兜底。

线索未进入调查,是一个需要保留的事实;提交发生过,是另一件不能淡化的事实。把两者放在一起,才看得清这次警报:AI可以协助写字,但决定把字交给世界的那一步,必须有清楚的边界。


原稿日期:2026-10-10。

Copyright removal requests

This article shares an AI use case. Rights to the original text and materials belong to their authors. Contact us to request removal of infringing content.

Contact email:jadename.zhou@gmail.com
Explore moreOther case studiescase studies →