Claude

两守卫逻辑题:Claude 答错、GPT-3.5 能改,差在哪

编辑部阅读约 5 分钟

用经典的双门守卫谜题对比 Claude 与 GPT-3.5 的推理表现:一方能一次给出正确结论并在提示后修正措辞,另一方却反复给出错误答案、认错却不改推理。文中拆解正确答案的真值结构,解释模型为何会"背答案"和"顺从式认错",并给出可复用的提问模板、枚举验证脚本和版本排查清单。

一道流传很广的逻辑谜题,常被用来观察不同模型的推理稳定性:两扇门,一扇通往天堂,门口各站一名守卫,一个只说真话、一个只说假话,你不知道谁是谁;只能向其中一名守卫提一个问题,怎么问才能确定哪扇门通向天堂?

有人拿它做了一次非正式对比:GPT-3.5 一次就给出了结构和结论都正确的答案,只是个别措辞不准,被指出后能顺着修正;而 Claude 系列(网页端和第三方托管版)不仅第一次答错,在被点出论证漏洞后仍然换一种说法重复原结论,即便把正确答案和完整推导过程直接给它,它能复述答案,让它重讲一遍推理却又回到原来那套错误链条。

结论先放在前面:这道题确实是检验「多步推理链条」的好材料,但用它给模型排座次并不严谨。同一系列里不同档位的型号、不同托管方的配置差异,往往比「Claude 还是 GPT」这个维度影响更大。

正确答案与它的逻辑骨架

标准问法是:任选一名守卫,问他「如果我问另一个守卫哪扇门通向天堂,他会指哪一扇?」然后走他所指的那扇门的相反一扇。

为什么成立,用两个分支穷举最清楚。设两扇门为 A、B,天堂在 A:

  • 问到说真话的守卫:他会如实转述说假话守卫的答案。说假话的守卫知道天堂是 A,会指 B,所以真话守卫告诉你 B。
  • 问到说假话的守卫:问题里包含「真话守卫会指哪扇门」,真话守卫会指 A;说假话的守卫必须在这上面撒谎,于是也给出 B。

两种情形都指向错误的门,所以取反即可。等价形式是「如果我问你这扇门是否通向天堂,你会回答『是』吗?」——双重否定相互抵消,回答「是」即天堂。

这里的关键判据不是最后那句结论,而是是否两个分支都覆盖到。很多模型的错误恰恰出在只推导了「问到真话守卫」这一支,然后就把结论外推到另一支。

常见的三种失效模式

表现 具体样子 应对思路
结论错且自信 给出「走他指的那扇门」之类的反向答案,反复重述 要求先列情形再下结论
认错但不改推理 承认「你说得对」,随后把错误论证换个说法 换独立会话重问,别在同一条上下文里纠
能复述不能重建 被喂答案后能背出正确结论,推理段仍是旧链条 只给判据不给答案,让它自己补中间步骤

这三种表现指向同一件事:模型往往在检索一段记忆中的答案文本,而不是在当场做推导。当上下文里出现正确答案时,输出层会优先对齐到这段文本,但要求它展开推理时,即席生成的链条又和检索到的结论打架,于是出现「结论对、论证错」或「论证错、结论还嘴硬」的割裂状态。

另外,对话中的纠错压力很容易触发顺从行为:模型先同意用户,再补一段听起来合理的解释。这种解释是事后拼的,不自洽很正常。

版本与配置带来的差异,常被误读成「模型笨」

同一家厂商的产品线通常包含面向低延迟的轻量型号和完整型号,名称里带 instant 之类的往往是前者,速度和能力不在一个档位。第三方站点还可能改动系统提示、温度、上下文长度,甚至对模型做量化压缩。所以「某个网页版很傻」很可能只是那一档配置的表现,不能直接等同于底层模型的能力。模型命名和版本迭代很快,具体差异请以官方文档和模型卡的最新说明为准。

解码参数也有影响:温度偏高、没有「先分析后回答」的结构约束时,这类多步题更容易翻车。

一套可复用的验证流程

1. 用模板强制枚举,而不是直接要答案

请严格按以下格式回答,不要跳到结论:
1) 列出所有可能情形(谁是诚实守卫 × 你问到谁)
2) 逐一推导:在该情形下,对方会指向哪扇门,被问者最终会指向哪扇门
3) 汇总:这些指向是否一致
4) 最后才给出「应该走哪扇门」

2. 用等价问法交叉验证

把「问另一个守卫」和「问你自己会不会回答是」两种表述分别提问。如果两次结论互相矛盾,基本可以判定它在背答案而不是在推理。

3. 让模型输出可执行代码,自己跑一遍

把自然语言谜题转成枚举程序,比人眼检查推理段更可靠:

import itertools

def pointed_to(heaven, liar):
    other_points = heaven if not liar else ("B" if heaven == "A" else "A")
    return other_points if not liar else ("B" if other_points == "A" else "A")

for heaven, asked_liar in itertools.product("AB", [False, True]):
    p = pointed_to(heaven, asked_liar)
    print(f"天堂={heaven} 被问者说谎={asked_liar} -> 守卫指向 {p},应走 {'B' if p == 'A' else 'A'}")

四行输出应该都是「守卫指向非天堂门,应走另一扇」。如果模型写的代码跑出来不是这个结果,问题就定位得很清楚了。

4. 开新会话重问

上下文里已经存在正确答案时,测出来的只是「它会不会抄」。要测推理,就把题目单独丢进一个干净会话。

5. 记录型号与参数

对比时把模型标识、温度、系统提示、托管渠道一并记下来。缺了这些,任何「A 比 B 强」的结论都不成立。

注意事项

  • 单题不代表整体能力。答错一道谜题不等于工程任务上不可用,答对也不等于真的会做形式推理。自然语言谜题和写代码、改 bug 的相关性其实有限。
  • 网上关于「某个渠道的模型被削弱」的说法,多数缺少对照实验。第三方站点无法确认后端版本和参数,结论不宜外推。
  • 不要用旧版本的表现推断新版本。模型迭代频繁,任何对比结论都有时效性,以官方最新说明和自己实测为准。
  • 如果任务本身对逻辑严密性要求高,与其纠结模型选型,不如把问题形式化:能写成真值表、单元测试或可执行代码的,就不要只靠自然语言追问。

小结

这道守卫题的正确答案是「问另一个守卫会指哪扇门,然后走相反的那扇」,成立的关键在于两个分支都指向错误门。模型在这类题上翻车,多半不是「不会想」,而是「在回忆」——回忆出的结论与即席生成的推理脱节,再加上对话中的顺从倾向,就出现了认错却不改逻辑的现象。想拿到可靠的推理结果,比起换模型,更有效的是换提问方式:强制分情形枚举、用等价问法交叉验证、把答案转成可执行代码自查,并记录清楚版本与参数。

Claude模型对比提示词技巧逻辑推理