防范 AI 幻觉：在医疗、法律与教育场景中的应用安全实践

近年来，生成式人工智能（AIGC）如ChatGPT等“大语言模型”在各行业展现了巨大的潜力。但在为我们带来便利的同时，这些模型也存在一个突出问题：AI 幻觉（hallucination）。简单来说，AI 幻觉指的是模型生成了看似合理但实际上不真实或无依据的内容。这种现象在普通对话中可能只是闹笑话，但如果发生在医疗、法律、教育等高风险场景，后果就不容小觑。

本文将围绕 医疗诊断报告生成、法律合同条款生成 和 教育领域历史问答 三个场景，深入探讨AI幻觉的机制、案例以及如何在开发和治理层面 防范AI幻觉，确保应用的安全可靠。

什么是 AI 幻觉？为什么会产生？

AI幻觉是指人工智能模型生成了与事实不符或无根据的输出。在自然语言处理中，幻觉通常被定义为“模型生成的内容相对于提供的源内容是荒谬或不真实的” 。也就是说，模型给出的回答可能听上去逻辑自洽，却完全是模型“瞎编”出来的，与真实世界知识或上下文不符 。

产生幻觉的技术原因，归根结底在于大语言模型的工作原理。这类模型（如GPT系列）通过在海量语料上训练，学会了根据已见过的模式来预测下一句该如何组织 。模型并没有内置的“事实核对”能力，也不懂真伪，只管拟合训练数据。当遇到训练数据缺失或模型知识盲区的问题时，它往往会根据统计相关性进行知识外推：换句话说，模型会“猜测”一个看似合理的答案。有时这种猜测碰巧正确，但很多时候就变成了臆造。随着模型变得更强大，这种自信却不准确的输出反而更具迷惑性——用户更难分辨其内容是真是假 。

值得一提的是，OpenAI的研究者将幻觉分为两类：

• 上下文内幻觉：模型应该严格依据给定的上下文内容回答，如果输出与提供的资料不一致，就是出现了幻觉。
• 外在幻觉：模型输出应该基于它的世界知识（预训练知识）。当模型给出超出其知识范围且无法被现实验证的内容时，就是外在幻觉。例如模型不知道某个事实却不承认“不知道”，而是编造一个答案。

总之，AI幻觉是大模型当前的固有缺陷之一。下面我们将结合具体场景，看看幻觉在高风险领域会造成什么问题，以及如何应对。

场景一：医疗诊断报告生成系统

场景特点：医疗领域对准确性要求极高，AI若在此产生幻觉，可能直接影响患者诊疗安全。假设一家医院使用大模型生成体检或诊断报告，总结患者的症状、检查结果并给出诊断建议。如果模型因为幻觉编造了不存在的症状或误判检查结果，医生若未察觉就可能基于错误信息做出误诊。

幻觉案例：在医疗文本处理中已经观察到模型幻觉的真实例子。例如，有研究让GPT-4模型对50份详细病历生成摘要，结果发现GPT-4生成的摘要中有42%（21份）包含错误的医学信息 。另一个案例是一款医疗语音转录工具集成了OpenAI的Whisper模型。研究者发现Whisper在约1.4%的转录结果中出现“胡编乱造”的内容：有时凭空插入整句无关的话，甚至编出危险内容 。例如，Whisper曾在医生与病人的对话记录中凭空生成了子虚乌有的药物名称“hyperactivated antibiotics”（超活性抗生素） ！这类幻觉显然可能误导医护人员，对患者造成潜在危险。

后果分析： 医疗AI一旦出现幻觉且未被及时发现，后果是严重的。误写一项关键化验指标，可能让医生漏诊重要疾病；编造不存在的药物，可能导致用药错误。患者安全与生命健康受到直接威胁。此外，从业人员对AI工具的信任也会降低。如果医生知道AI报告经常“瞎说”，就不敢再用，创新成果也就失去价值。因此，在医疗报告生成中防范幻觉是重中之重，需要多层把关（模型+医生双重审阅）来确保万无一失。

场景二：法律合同条款自动生成器

场景特点：法律文件要求措辞精确、严谨，一字之差可能导致法律效力天壤之别。如果AI在起草合同时产生幻觉，可能会虚构法律条款、扭曲原意或模棱两可，给用户带来法律风险。

幻觉案例：一个典型例子发生在2023年，美国纽约有律师尝试用ChatGPT撰写法律诉状，结果ChatGPT在文件中引述了六个完全不存在的虚假判例作为参考 。这些案例名字听起来有模有样，但经对方律师和法官检索，发现根本查无此案——换言之，这些判例都是ChatGPT凭空捏造的！最终相关律师因为提交了含虚假引用的文件，被法官处以5000美元罚款 。另有法律评论指出，ChatGPT在法律问答时可能会“一本正经”地编造子虚乌有的法律条文来回答问题，普通用户如果缺乏专业知识，很容易被这种看似权威的回应误导 。

后果分析：法律AI幻觉的危害包括：合同条款若有臆造内容，可能导致合同无效或法律漏洞，引发纠纷甚至诉讼；律师使用AI生成的文件而不经核查，就可能重演上述惨痛案例，被指不当行为或遭处罚。不仅如此，法律从业者对AI工具产生不信任后，将阻碍这类工具在法律领域的采用。另外，从客户或公众角度，一旦因AI错误导致权益受损，谁来担责也会成为棘手问题——这在后文的治理部分我们还将讨论。

场景三：教育领域历史知识问答系统

场景特点： 在教育场景中，AI常被用作智能问答助手，回答学生的提问或辅助教师备课。对于历史这类知识型问答，准确性和可靠性同样至关重要。AI如果输出错误信息，可能直接误导学生，对知识传递造成负面影响。

幻觉案例：大型语言模型在百科知识问答时出现谬误的情况并不罕见。例如，Google 的 Bard 模型在一次公开演示中被问及天文学史，结果回答“詹姆斯·韦伯太空望远镜拍摄了首张系外行星照片”，而实际上第一张系外行星照片早在它发射前16年就已拍摄 。这个张冠李戴的错误当时引发了轩然大波，甚至导致谷歌股价在第二天重挫7.7%（市值蒸发近1000亿美元） 。可见即使是大厂的顶尖模型，在知识问答上也会犯常识性错误。另外，在课堂上也出现过AI幻觉的离谱事件：美国一位大学教师用ChatGPT检查学生论文是否为AI创作时，ChatGPT竟不负责任地回答“是”，导致这位老师误以为全班作弊，给所有学生打了零分 ！事后证明这些论文都是学生原创，ChatGPT的判断完全是无依据的瞎说，酿成了教育乌龙。

后果分析：教育领域的AI幻觉可能带来多方面影响：对学生而言，获取了错误历史知识，轻则影响作业和考试表现，重则形成长期错误认知，扭曲他们对历史事件的理解；对教师而言，倘若依赖错误的AI内容来备课，可能将谬误带进课堂，影响教学质量。一旦类似“错判学生作弊”这样的事件发生，更会破坏师生互信，引起教育伦理争议。归根结底，在教育场景使用AI，必须确保内容真实可靠，否则“AI助教”就可能变成传播谬误的扩音器，适得其反。

减少幻觉风险的技术实践

面对AI幻觉风险，开发者和产品设计者可以从技术上采取多种措施加以防范。以下是几项关键的实践方法：

• 提示设计优化：精心设计Prompt（提示）可以在一定程度上缓解幻觉。首先，应提供尽可能明确和详细的指令，避免模型因理解不清而乱猜。例如，与其问：“这位患者是什么病？”，不如提示：“你是一位专业内科医生，请根据以下病历分析可能的诊断。如遇不确定的信息，请说明无法确定而非编造结论。” 通过在提示中明确要求真实性、拒绝捏造，模型会倾向于谨慎作答。另外，可以利用少样本示例（Few-shot）引导模型学习回答格式，包括如何在不知道时坦诚告知。对于复杂任务，分步提示（让模型逐步思考）也有助于减少直接幻觉式的回答。下面是一个简单的提示改写示例：

不良提示： 病人描述胸痛和头晕，给出诊断报告。

改进提示： 你是一名心脏科医生。请根据以下病人信息撰写诊断报告，
包含症状分析、可能的诊断及建议的检查。
注意：如依据不足，请标明“不确定”而不要编造结论。
患者信息：男性，45岁，持续胸痛2小时，伴随头晕...

可以看到，改进后的提示明确了身份和任务，并强调了不允许胡乱编造，从而降低幻觉的可能性。

• 模型微调与知识注入：通过微调（Fine-tuning）模型或注入权威知识，可以让模型的输出更加可信。在高风险领域，开发者可以收集领域数据（如医学病例、法律法规文本、权威百科资料）对预训练模型进行微调，让模型熟悉专业术语和正确的结论表达。这相当于给模型补课，减少它“不懂装懂”的几率。同时可以采用知识注入的手段，例如将专家审核过的知识库融入模型，或者在模型架构中接入符号知识图谱。当模型生成时，可以参考这些内置知识，从而约束输出不偏离事实。需要注意的是，微调数据必须高质量且准确无误，否则反而可能将错误“教”给模型。尽管微调和知识注入不能百分百消除幻觉，但在关键领域下经过专门调教的模型确实更不容易张口就来。
• 检索增强生成（RAG）：目前公认行之有效的办法是采用Retrieval-Augmented Generation（检索增强生成）架构 。其核心思想是：不让模型闭门造车，而是先查资料。实现上，系统会在模型生成答案前，依据用户提问从外部知识库或搜索引擎检索相关可信资料，把检索结果提供给模型作为辅助信息来源。模型随后基于检索到的内容来构成回答。这样一来，模型的每一句话都有据可依，大大降低了瞎编的空间。例如，一个法律问答系统接到用户提问时，先检索法律法规/判例数据库获取相关条款，由模型根据这些真实文本起草回答并引用来源。这种方式下，模型如试图编造一些不在资料里的东西，反而会降低输出的连贯性和可信度，因此被抑制。此外，RAG还能确保模型回答包含最新信息（尤其对于知识经常更新的领域），避免因为训练语料过时而产生幻觉。需要工程实践的话，可以利用开源工具库（如LangChain等）构建RAG管道。在RAG模式下，模型更像一个“阅读理解”系统：先查再答，而非凭空生成。
• 结果置信度评估与人类审校：对于高风险场景，绝不能让AI给出结果就直接用于决策，增加结果的评估与审核环节是必要的。开发者可以尝试让模型对自己的回答给出一个置信度评分或列出支撑其回答的依据。如果模型对某部分内容缺乏把握，那么可标记出来提示人工复核。此外，还可以引入第二阶段模型或规则，对第一阶段输出进行事实一致性检查。例如，用另一个模型来交叉询问：“上述回答基于哪些事实？有没有不确定之处？” 来发现潜在幻觉。另外最重要的是“人类把关”：在医疗和法律这样的关键领域，AI生成的报告或合同必须由专业人士最终审阅签字。将AI视为辅助起草工具，而不是替代决策者。当人类专家参与审核时，即使模型产生了幻觉内容，也有机会被发现和纠正，避免不良后果。很多实际应用已采用“AI + 人”的模式，例如医院让AI先写出报告草稿，再由医生修改确认；律所让律师审核AI起草的合同并承担责任。这样的机制能将幻觉风险降到最低。

AI治理与伦理：责任划分与透明度

在技术之外，治理和伦理框架同样是高风险AI应用中不可或缺的一环。首先是责任划分问题：当AI提供错误信息导致损害时，谁来承担责任？一般认为，最终责任应由使用决策的人类专家承担，因为AI目前被定位为辅助工具而非独立主体。例如医生借助AI诊断出错，依法仍由医生负责；AI律师助手出错，则执业律师有责任把关。当然，这并不意味着开发者和提供商可以撇清义务。相反，开发者有责任确保模型经过充分测试和风险评估，在已知高风险情况下提供必要的安全机制（如上文提及的人机校对环节）。提供AI服务的企业也应明确告知用户模型的局限性，包括可能出现幻觉，并在服务协议中说明不当使用的风险和各方责任。

其次是透明度的建立。在医疗、法律、教育场景中，引入AI系统应该是一个透明的决策。相关利益方（患者、客户、学生）有权知情：他们面对的是AI生成的内容。实践中，可以通过标识和解释来增强透明度。比如医疗报告中注明“本报告由AI辅助生成，已由某医生审核”；在AI给出的答案旁边列出其参考资料或依据（这也是RAG的好处之一，让用户看到AI引用了哪些文本）。透明度还意味着出现事故时可以追溯和审查：系统应该记录AI输出和相应的人类修改，便于事后分析是哪个环节出的问题，以改进系统或明确责任。

伦理审查也是必不可少的。在部署AI于高风险领域前，相关机构应进行伦理评估，确保模型输出符合行业规范，不会引入偏见或不当内容。同时建立反馈机制，鼓励用户报告AI输出中的错误和幻觉，以便持续改进模型。监管层面，各国也在制定针对生成式AI的规则：例如要求提供事实准确性保障、内容水印标识、定期审计模型输出质量等。这些治理举措的目的都是为了降低AI幻觉引发的危害，在鼓励创新的同时守住安全底线。

总结

AI幻觉是当前大语言模型的一大挑战，尤其在医疗、法律、教育这类容错率极低的场景下，我们必须慎之又慎。本文剖析了幻觉产生的技术原因，并通过真实案例展示了幻觉在不同领域可能造成的严重后果。好消息是，我们并非束手无策：通过优化提示、微调模型、引入检索机制以及加强结果校验等技术手段，可以大幅降低模型胡编乱造的概率；同时配合明确的责任划分和透明治理，就能将残余的风险控制在可接受范围内。

对开发者来说，防范AI幻觉既是技术挑战，也是社会责任。在实践中不断总结经验、完善模型，让AI更“诚实”地服务于人，是我们迈向可靠AI应用的重要一步。只有当AI输出可被信任，我们才能放心地在高风险行业拥抱这些新技术，真正发挥AI赋能的价值。正如一句话所言：“AI再强大，也不能替代人的判断；但人有了AI的助力，可以做出更明智的判断。”通过技术和治理双管齐下，我们有望既享受AI的效率提升，又不被它的幻觉所拖累，在医疗、法律、教育等关键领域走出一条安全应用AI的康庄大道。