AI 记忆死结:为何大模型能记全人类知识,却忘了'昨天'?
核心要点
从Atari游戏到LLM,AI面临静态知识与动态记忆的矛盾。本文解析DQN四帧机制及感知混淆,揭示算力约束下智能体如何提炼核心状态以跨越时间。
据 Woofun AI 消息,人工智能在跨越时间进行连续决策时,始终面临着一个根本性的物理矛盾:模型能够轻易容纳人类既有的海量静态知识,但在动态交互环境中,却无法将过去的全部细节无损随身携带。这是《机器中的记忆、遗忘与自我》系列第 3 期探讨的核心议题。在有限算力与上下文窗口的硬约束下,如何在压缩过去的同时准确提炼决定未来的核心状态,不仅是解决'感知混淆'的技术突破口,更是当下自主智能体迈向真正持久记忆的底层逻辑。
试图在任何一帧画面定格经典的 Pong 弹球游戏,画面中仅存两只球拍、一个球及当下比分,此时若要求判断球的飞行方向,无论是人类还是机器均无法作答。学者 与 在 2015 年关于学习玩 游戏的智能体论文中明确指出:'当前的单帧屏幕只能揭示球拍和球的位置,却无法揭示球的速度。' 他们进一步阐释了这一缺失的关键性:'获知球的移动方向,是决定球拍最佳位置的关键要素。
' 尽管定格画面精准无误,每一处细节皆在其位,但仅凭单帧切片仍不足以支撑游戏决策。传感器在当下瞬间捕获的仅为'观测值(Observation)',而智能体行动所依赖的真实全局则是'系统状态(State)'。在 Pong 游戏中,观测值与系统状态在单帧上彼此割裂,因为球的移动方向关乎过去几个瞬间的事实,孤立瞬间无法单独包含它。当即时输入无法满足决策时,系统必须从过去向当下承载信息,但这并非完整过去,而是一份摘要,其取舍完全取决于下一步需要预测什么。任何被摘要遗漏的细节,后续时刻将永远无法基于其做出反应。
Woofun AI 整理数据显示,Hausknecht 与 Stone 所回应的系统,正是 DeepMind 的 等人于 2015 年在 Nature 杂志发表的 智能体。DQN 能纯粹通过屏幕画面学会玩数十款 Atari 游戏,但研发初期即遭遇定格画面困境。论文方法部分写道:'由于智能体只能观察到当前的屏幕,该任务属于部分可观察状态,许多仿真器状态在感知上存在混淆(Perceptually Aliased)。' 换言之,仅靠当前屏幕无法告知智能体完整处境。
'感知混淆'精准描述了日常困扰:两个截然不同的情境(如球飞向球拍或飞离球拍),在静态画面中产生完全相同图像。仅看图像的系统被迫将其视为同一种情境,若需执行相反操作,系统必在其中一种情况下出错。补救方法直接有效:网络不再只接收一张屏幕画面,而是将最近几帧画面叠放作为输入。默认设定取值为 4 帧,尽管算法对 3 帧或 5 帧同样具备适应性。四帧画面并置后,球的运动直接显现为位置变化,运动方向不再是需要抽象记忆的概念,而是转化为可直接看见的视觉属性。论文未将堆叠画面称为记忆,其本质仅是比单一时刻更宽的输入通道。
这种输入宽度有着极其坚硬的物理边界,Hausknecht 与 Stone 精准描述了该边界所在。他们指出:因为 DQN 使用由智能体最近经历的四个状态构成的输入进行训练,'如果某款游戏要求玩家记住超过过去四屏画面更久远的事件,DQN 将无法掌握这款游戏。' 对于 DQN 而言,倒数第五屏画面之后的历史,根本不存在于其输入范围之内。
这种基于固定滑动窗口的机制,直接揭示了机器智能在时间序列处理上的核心矛盾:无论窗口如何拓宽,边界之外的信息都会被物理抹去。这不仅是算法设计的局限,更是当前大模型在处理长序列依赖时难以逾越的结构性障碍,预示着未来智能体需在状态压缩与长期记忆之间寻找新的平衡点。

评论
暂无评论