可靠性护栏约 10 分钟

第 23 / 26 个单元可靠性、权利与人的边界区

第 22 章 流畅的 AI 回答,为什么仍要分级检查

核心问题同一段流畅回答,为什么要随用途和错误代价改变检查强度?

AI把一项课程规定解释得很周到:三段正文、一个清单,结尾还提醒“请及时联系教务处”。读者如果只看语言,很难发现问题。打开本学期正式文件以后才看见,它引用的是去年的截止日期。

这是一个教学构造。它说明了生成式AI最容易制造的一种错觉:语言完成度很高,事实状态却仍然没有确认。

流畅、自信、详细,只能说明答案读起来像一段完整表达。它们不能证明引用存在、日期有效、计算正确,也不能证明现实中的动作已经发生。

风险不住在文字里,而住在用途里

同一句错误的话,放在不同位置,后果可能完全不同。

如果它只是私人草稿里的标题候选,不合适就删掉,影响很小。若它被写进课程通知,会让同学错过期限。若它进一步影响健康、安全、金钱、资格或公共权益,就不能只靠个人快速浏览。

判断检查强度时,可以同时看四个维度:

  • 后果:错误会影响谁,影响多大;
  • 可发现性:错误是否容易被及时看见;
  • 可逆性:发现以后能否撤回或恢复;
  • 暴露范围:只在自己手里,还是会传播给他人并进入正式流程。

低后果、易发现、可撤回、只供个人使用的候选,可以轻量检查。后果高、难发现、不可逆或影响很多人的输出,需要更强证据、合格复核者和停止机制。

这是一种思考方法,不是法律或行业分级。现行法规、学校制度和专业规则更严格时,应遵守更严格的要求。

不同输出,要碰到不同证据

核验不是把同一句话换一个模型再问。两个模型可能共享相似资料,也可能都没有打开那份正式文件。真正的检查,要接触AI之外、并且与输出类型相匹配的东西。

事实与引用

日期、条款、作者、论文和统计数字,应回到现行原文或可追溯记录。找到网页只是起点;还要核对版本、发布日期、适用范围,以及引用段落是否真的支持这句话。

代码与计算

代码要运行测试,计算要使用已知样例或独立方法复算。程序成功启动不等于结果正确;一个样例通过,也不等于边界条件成立。

工具动作

AI说“已经加入日历”“邮件已发送”时,要查看工具回执和现实状态。模型生成的是动作描述,还是系统真的执行成功,两者必须分开。

分类、推荐与人的权益

若输出会评价、筛选或排序人,仅检查几条答案远远不够。还要看数据怎样形成、指标代表什么、不同群体可能受到什么影响,以及是否存在人工复核、申诉和纠正路径。

专业行动

涉及医疗、法律、财务、设备安全等任务,AI可以帮助整理问题或定位材料,但高影响决定要进入相应专业程序,由有授权或资质者根据完整信息判断。

三档检查,不把每件小事都做成审计

可以为常用任务预先设三档。

手机端已转换为卡片,可纵向阅读

检查档位适合的情境最低动作
快速私人构思、可随时丢弃的低风险候选识别它是候选;不输入不必要的敏感材料;使用者自己读一遍
标准课程、工作或公开表达的准备材料回到关键原文或测试结果;记录重要改动;确认版本和适用范围
高风险健康、安全、金钱、评价、资格、权利或专业责任进入正式程序;由合格人员复核;保留证据、权限和回退;条件不足便停止

检查档位跟随用途和后果,不跟随模型名称。同一段文字从私人笔记进入公开通知时,就应重新分级。

不确定并不只有“幻觉”一种

AI回答不可靠,原因可能不同。

资料根本没有提供,是信息缺失;几份资料互相冲突,是证据冲突;检索没有找到正确段落,是系统失灵;问题本身涉及价值取舍,则可能没有唯一技术答案。

把它们都叫“幻觉”,会让处理办法变得模糊。资料缺失要补资料,证据冲突要保留分歧并判断权威性,工具失败要看日志和回执,价值选择则需要受影响的人和制度参与。

有些状态不能靠继续追问来消除。识别出“目前不知道”,往往比生成第五版更完整的答案更有价值。

在使用之前写好停止线

选择一项自己会反复使用AI的任务,先写一条规则:哪项证据必须回到原处,谁能复核,出现什么情况停止。

例如:课程日期必须回到本学期正式文件;代码改动必须通过既定测试;声称完成的工具动作必须有回执;影响成绩、健康、安全或权益的问题必须进入正式渠道。

停止不是核验失败。恰恰相反,它说明检查系统发现了自己无法安全跨过的边界。

可靠使用AI,不要求人怀疑每一个标点。它要求检查力度跟着错误代价变化:轻的地方允许轻,重的地方知道要找什么证据、请谁确认,以及何时不再往前。