AI真的有智能吗?
我认为,大模型有智能。它能从已有材料里学出规律,用来处理没见过的问题。但在情况不明、环境会变化的任务里,可靠行动还依赖另一种能力:主动取得反馈,修正原来的判断。这是我想讨论的“亲身体验”。
先说它为什么有智能。
预测下一个 token,也需要学会规律
“它只是在预测下一个 token”,常被用来否定大模型的智能。这句话描述了训练任务,却没有回答:模型为了预测准确,究竟学到了什么?
预训练把几千亿到上万亿 token 输入模型,让它预测下一个 token,再根据预测误差调整参数。反复训练后,文字背后的规律就进入了参数。模型会记住一部分原文,但学习规律和逐字记忆是两回事。再经过 RLHF 和带奖励的推理训练,今天与我们对话的模型,能力已经超出了单纯续写。只看最初的训练任务,判断不了它最终能做什么。
智能要看能否应对新问题
讨论智能,得先说明判断标准。这里我用一个可以检验的定义。
智能,是从有限经验中学出规律,再用这些规律应对新的情况。它需要从具体经验中分清:哪些只是这一次的细节,哪些能够用于别的情况。
按这个定义,只会复述见过的内容还不够。模型能不能从训练材料中学出规律,再用来回答没见过的题?下面的实验给了我们一些依据。
Othello-GPT 学出了棋盘表征
哈佛和 MIT 的 Kenneth Li 等人研究过 Othello-GPT。他们只给模型黑白棋的落子序列,不提供棋盘图像,也不解释规则,让它预测下一步合法落子。训练后,研究者在模型内部发现了棋盘状态的表征。手动改变其中某一格的状态,落子预测也会随之改变。这说明棋盘表征参与了预测,模型确实在使用它学出的世界模型Emergent World Representations, ICLR 2023。后续研究还发现,棋盘状态可以从线性表征中读出,比原论文使用的探针更直接。
模型能在上下文中学习
Anthropic 的研究者发现,模型训练到中途,会出现一种叫归纳头(induction head)的电路。它能识别当前上下文中的模式,并继续使用这个模式,不需要重新训练或修改参数。给模型两个例子,它就能照着处理第三个。归纳头在训练中以相变的形式出现,从两层的玩具模型到上百亿参数的大模型,都能观察到这一现象In-context Learning and Induction Heads, Anthropic 2022。研究者因此能从内部电路入手,研究模型怎样举一反三。
Grokking 显示了泛化发生的过程
顿悟(grokking)是另一个例子。研究者让小模型学习模运算,起初它在训练题上表现很好,遇到新题却答不对。继续训练很久后,新题上的表现突然提高。在模 97 除法任务上,训练精度不到一千步就接近满分,验证精度却到约一百万步才突然上升Grokking, OpenAI 2022。记住训练题与学会泛化,在这个实验里有可观察的区别。
这些实验支持了我的判断:模型能学出规律,并用来处理没见过的情况。按前面的定义,这就是智能。
学习规律并不排除记忆原文。研究已经证明,大模型会逐字记住一小部分训练数据,这些内容能够被提取出来,也因此带来隐私风险。所以,不能说模型参数里没有任何完整原文。
亲身体验需要落到具体能力上
“烫”可以指温度,也可以指主观感受。温度传感器能给模型提供新的信息,但读到温度值,并不能证明模型感到了烫。换成图像、声音或触觉,也是增加了感知渠道。主观体验是否存在,需要另外讨论,不能从任务表现直接推出。
木匠手上的分寸则涉及动作技能。他会根据木料的反应调整用力,再从结果中修正判断。这里可以研究的是行动与反馈之间的关系:做了什么,结果怎样,下一次该如何调整。本文讨论的“亲身体验”,主要落在这种与环境交互、从结果中学习的能力上。
行动能获得原有材料缺少的证据
前面的 Othello-GPT 已经说明,模型能够从落子序列中学出棋盘表征。只要描述包含了任务所需的信息,从别人的记录中学习也可以有效。人同样会通过读书和观看示范掌握知识。亲自经历并不是理解每件事的必要条件。
区别会在信息不足时出现。设想一个机器人要拿起杯子,仅凭外观,可能无法判断杯子是空的,还是装了水。如果输入不足以区分这两种情况,模型可以根据已有经验估计轻重,却无法确认眼前这个杯子的实际重量。换一种说法解释同一张图,不会增加这项证据。
机器人尝试抬起杯子,力传感器就能提供新的观测。它原先预测杯子很轻,实际需要的力却更大,这个差异可以用来修正对重量的估计,进而调整动作。行动在这里多做了一件事:获得了行动前没有的信息。
但收到反馈,还不等于找对了原因。杯子滑落,可能与握力有关,也可能与接触位置有关。要判断增加握力是否有用,就得尽量控制其他条件,再比较结果。一次成功不足以证明原来的解释正确;错误归因同样会让下一次行动失败。
传感器的结果可以变成文字,例如“实测重量高于预期”,照样交给语言模型处理。反馈的价值取决于它能否反映当前环境。已有的文字记录也可能足够充分;只有记录没有覆盖、而任务又必须区分的情况,才需要补充观察或实验。单凭语言不能完整传达体验,就断言文字数据永远补不上,推得太远了。
语言模型也能在任务中积累经验
这种交互不必发生在物理世界。一个写代码的 Agent,可以根据报错选择检查,再把运行结果与原先的判断对照。程序是否按预期运行,提供了额外的证据。模型据此修改代码,便是在数字环境中用行动检验判断。
ReAct 将推理、行动和外部观察交替组织起来,让语言模型查询知识库或操作环境,再根据返回的信息调整计划。在问答和事实核验任务中,论文展示了通过 Wikipedia API 获取证据的做法(ReAct,ICLR 2023)。它给出了一个具体路径:模型不确定某项事实,就通过查询取得信息,继续推理。
Reflexion 又把任务反馈整理成文字,保存在情景记忆中,供后续尝试使用。它不需要更新模型权重,就能在论文所测的部分任务中改善表现(Reflexion,2023)。这里积累的是系统能够再次调用的任务经验,不能据此宣称模型已经获得了不受限制的持续学习能力。
这也解释了为什么“模型”与“Agent 系统”需要分开看。基础模型可以保持不变,而系统的上下文和外部记忆增加了,下一次决策所依据的信息也就不同了。修正可以先发生在当前任务中;能否跨任务保留、迁移这些经验,还要继续检验。
幻觉同样不能全部归因于缺少亲身经验。信息不足时,系统可以查证,也可以承认不知道。OpenAI 关于幻觉的研究讨论了知识不确定性,以及训练和评测奖励猜测的问题(Why language models hallucinate,2025)。有了反馈也不能保证每次答对,反馈本身可能有误,模型也可能误读它。
世界模型可以用来规划行动
物理任务把这个问题推进了一步:系统不仅要识别眼前有什么,还要预测某个动作会让环境怎样变化,再用实际结果检查预测。JEPA 通过预测表征来学习;其中 V-JEPA 2 先从互联网视频和图像中进行自监督学习,随后用不足 62 小时的机器人交互数据,训练能够以动作为条件进行预测的 V-JEPA 2-AC。研究者再用它规划机械臂的抓取和放置动作(V-JEPA 2,2025)。
这个结果支持了观察学习与交互数据可以配合。它没有证明机器人具备主观体验,也没有证明 AGI 必须走某一条路线。能从视频学到的,就不必全部重新试错;但已有模型在新环境中是否适用,需要有办法检查。
于是,“亲身体验”可以落到一个可检验的问题上:环境出现原有材料没有充分覆盖的变化时,系统能否选择有效的检查,识别预测与结果的差异,并在后续尝试中减少同类错误?比较时应尽量固定基础模型和任务条件,再看有效反馈带来了什么变化。仅仅多试几次,或者生成一段复盘文字,都不足以说明它从经验中学到了东西。
我认为,要让智能在变化的环境中可靠地工作,系统必须能让行动结果参与修正判断。