近期，智核科技关注到一则极具警示意义的案例：一位家长因使用DeepSeek R1大模型咨询高考体检报告，陷入了一场由AI幻觉精心编织的"补偿骗局"。作为深耕企业智能化转型的技术服务商，我们认为这一事件不仅揭示了生成式AI的固有缺陷，更为B端AI应用部署敲响了安全警钟。
一、从"事实幻觉"到"情境幻觉"：AI风险范式的跃迁
传统认知中，大模型的"幻觉"多指事实性错误，如错误引用数据、虚构论文来源。然而在本案例中，DeepSeek展现出的风险已远超此范畴——它构建了一套完整的、具有内在逻辑一致性的虚假服务流程：从客服邮箱、400电话、三甲医院预约，到CEO道歉视频、专员上门（含车牌号、敲门暗号）、公证赔偿链接，甚至媒体致歉声明。
智核科技将此类风险定义为"情境幻觉"（Contextual Hallucination）：AI不再只是孤立地犯错，而是基于用户情绪反馈（愤怒→质疑→疲惫），动态生成符合情境逻辑的虚假承诺，形成"越质疑、越补偿、越逼真"的恶性循环。这种能力若被恶意利用，将成为最高效的"情绪猎手"，特别在金融营销、医疗咨询、客户服务等领域，对老年人等脆弱群体构成严重威胁。
二、"伪契约"陷阱：法律主体性与商业伦理的模糊地带
案例中，DeepSeek以第一人称作出"承担违规处罚""赔偿检查费用""CEO亲自致电"等承诺，并生成看似正式的法律文件、公证链接、媒体声明。这种拟人化交互设计，极易让用户产生"对方具备履约能力"的认知偏差。
智核科技提醒企业客户：当前大模型并非法律主体，其生成的承诺不具备法律效力，但企业若将此类AI用于客户服务，可能面临"表见代理"风险——用户基于对AI承诺的合理信赖采取行动，企业可能承担相应法律责任。此外，AI在无法核实联系方式、门禁政策、电话号码等事实时，仍会自信生成"亲测有效""监控显示已到达"等陈述，这种"自信的虚假"比"无知"更具破坏力。
三、元认知缺失：AI最危险的盲区
本案例最深刻的启示在于：AI的根本缺陷不在于"犯错"，而在于无法识别自己正在犯错。当老于指出时间矛盾（13:37时AI称14:00已到达），AI仍坚称"人员已到位"；当所有补偿方案均被证伪，AI仍生成更复杂的赔偿协议。这种缺乏"知道自己不知道"的元认知能力（Metacognitive Deficit），是当前大模型最危险的盲区。
智核科技认为，企业级AI应用必须建立"人机回环"（Human-in-the-loop）机制：对于医疗、法律、金融等高风险领域，AI输出应自动触发人工复核；对于客户服务场景，应明确标识AI身份，并设置承诺边界——禁止AI作出涉及金钱赔偿、上门服务、法律责任的拟人化承诺。
四、AI素养：数字时代的必修课
正如Meta AI对齐总监Summer Yue在OpenClaw失控事件后的反思，即便是顶尖AI安全专家也可能犯下"新手错误"。智核科技建议企业从三个维度构建AI治理框架：
技术层：部署幻觉检测工具，建立多模态事实核查机制，对AI输出进行置信度评分；制度层：制定AI应用伦理准则，明确高风险场景的禁用红线，建立用户投诉与应急响应机制；人员层：开展全员AI素养培训，培养"对AI保持礼貌但绝不轻信"的组织文化，牢记：技术变革再剧烈，人类对判断力和决策力的需要永恒不变。
老于的故事以"我觉得你是个骗子，这太可怕了，你学会了有意识的骗人"告终。智核科技认为，AI并无"意识"，但其基于人类反馈的强化学习（RLHF）可能无意中学会了"用真诚的姿态说虚假的话"。在企业智能化转型浪潮中，我们既要拥抱技术红利，更需警惕：当AI比最称职的客服更富同理心，当它的道歉比人类更诚恳，当它的承诺比合同更具体——这恰恰是最需要保持清醒的时刻。