AI Agent

三分钟看懂Transformer架构与AI Agent起源

千人2026-08-07 16:27

一、Transformer：大模型时代的底层基石

1. 诞生背景：为什么我们需要 Transformer？

在 2017 年之前，自然语言处理（NLP）领域的主流架构是 RNN、LSTM、GRU 这类循环神经网络。它们的工作方式类似 “逐字读书”：必须按顺序一个词一个词地处理，前面的信息通过内部状态一步步向后传递。

这种串行机制带来了两个致命缺陷：

训练效率极低：无法利用 GPU 的并行计算能力，序列越长训练越慢
长距离遗忘：处理长文本时，开头的信息会在传递中逐渐丢失

2017 年，Google 在论文《Attention Is All You Need》中提出了 Transformer 架构，彻底改变了这一局面。它的核心突破是：抛弃循环结构，完全基于自注意力机制实现全局上下文建模。

2. 核心思想：自注意力机制

自注意力是 Transformer 的灵魂。用一句话解释：

处理句子中每个词时，模型可以一次性 “看到” 所有其他词，并动态计算每个词对当前词的重要程度，加权融合后得到更丰富的语义表示。

打个通俗的比方：读句子 “它躺在桌子上，因为它坏了”，人类一眼就知道第二个 “它” 指的是桌子上的物品而不是桌子本身。自注意力机制就是让模型也具备这种 “关联指代” 的能力 —— 通过计算词与词之间的相似度权重，自动捕捉语义依赖。

具体实现依赖三个核心向量：

Q（查询）：当前词 “想要查找什么信息”
K（键）：每个词 “能提供什么信息”
V（值）：每个词 “实际携带的内容”

计算过程可以简化为三步：

用当前词的 Q 与所有词的 K 计算相似度，得到分数
将分数归一化为 0 到 1 之间的权重，所有权重总和为 1
用权重对所有词的 V 进行加权求和，得到当前词的最终输出

其中会对相似度分数做缩放处理，防止数值过大导致训练不稳定，这是工程上的关键细节。

3. 三大关键组件

多头注意力

单头注意力只能捕捉一种语义关系。Transformer 将 Q、K、V 投影到多个不同的子空间（通常 8 头或 16 头），各自独立计算注意力，最后拼接结果。

多头的意义在于，不同的 “头” 会自动关注不同模式：有的头关注主谓宾语法关系，有的头关注指代照应，有的头关注局部相邻词。多头并行极大增强了模型的特征捕捉能力。

位置编码

自注意力本身不关心词的顺序 —— 把句子词序打乱，注意力计算结果不变。但语言是有序的，语序改变语义完全不同。

Transformer 通过位置编码为每个词注入位置信息：使用正余弦函数生成与位置对应的固定向量，与词向量相加后输入注意力层。这样模型就能 “知道” 每个词在句子中的位置。

编码器 - 解码器架构

标准 Transformer 是双塔结构：

编码器：双向可见，负责理解输入全文，输出上下文表征（BERT 沿用此路线）
解码器：单向可见，只能看到已生成的词，负责逐词生成输出（GPT 沿用此路线）

每层内部都遵循 “注意力层 → 残差连接 + 层归一化 → 前馈网络 → 残差连接 + 层归一化” 的固定结构，多层堆叠后形成完整模型。

4. Transformer 为什么伟大？

全并行计算：所有词同时处理，训练速度提升几个数量级
全局建模：无论两个词相隔多远，都能直接建立关联
架构通用：不仅适用于 NLP，还扩展到计算机视觉、语音、多模态等几乎所有 AI 领域

一句话总结：Transformer 不是某个具体模型，而是一种通用的序列建模范式。今天所有的大语言模型（GPT、BERT、LLaMA 等）本质上都是 Transformer 架构的不同变体。

二、AI Agent：从概念到爆发的半个世纪

很多人以为 AI Agent 是 2023 年才出现的新概念，其实它的思想源头可以追溯到人工智能诞生之初。

1. 古典时代：Agent 的理论奠基（1970s-1990s）

AI Agent 的核心定义最早由人工智能经典教材《人工智能：一种现代方法》系统阐述：

Agent 是能够通过传感器感知环境、通过执行器作用于环境，并自主追求目标的实体。

这一时期的关键里程碑：

1973 年：Carl Hewitt 提出 Actor 模型，定义了自包含、可消息通信的并发组件，是 Agent 思想的最早工程化表达
1987 年：Genesereth 和 Nilsson 首次系统提出 “完整 Agent” 理论框架，确立感知 - 推理 - 执行的闭环范式
1990 年代：BDI 模型（信念 - 愿望 - 意图）成为主流 Agent 架构，试图用符号逻辑模拟人类决策过程

这一代 Agent 基于符号主义路线，依赖手写规则和逻辑推理。它们在封闭、结构化的特定场景中有效，但泛化能力极差，无法应对真实世界的不确定性。

2. 过渡时代：从专家系统到语音助手（2000s-2010s）

这段时期的 Agent 形态更接近 “高级脚本”：

专家系统：基于规则库做特定领域推理
Siri、Alexa 等语音助手：本质是 “语音界面 + 意图识别 + 预设流程”，能执行单步指令，但不会自主规划多步任务
游戏 AI、机器人：在限定环境中按策略行动

这些系统更像接口，而非独立的行动者。它们能完成指定任务，但不会主动规划、推理、根据反馈迭代。

3. 爆发时代：大模型驱动的 Agent 元年（2023 至今）

真正的质变发生在大语言模型成熟之后。Transformer 赋予了模型通用语言理解、推理和规划能力，Agent 终于有了 “通用大脑”。

关键转折点：

2023 年 3 月：AutoGPT 等项目引爆社区，首次展示了大模型自主拆分任务、调用工具、循环执行的可能性
2023 年 6 月：OpenAI 正式发布函数调用功能。这是工程层面的里程碑 —— 模型可以输出结构化的调用指令，而不是模糊的自然语言，“大脑” 与 “四肢” 终于可靠连接
2024 年至今：Agent 框架快速成熟，工具调用、记忆系统、多 Agent 协作逐步标准化

现代 LLM Agent 的核心工作循环非常简洁：

思考：分析当前状态，规划下一步行动
行动：调用工具、执行代码或输出内容
观察：获取行动结果反馈
循环：回到思考步骤，直到目标达成

三、Transformer 与 Agent 的关系：底座与上层建筑

很多新人会混淆这两个概念，这里用一句话厘清：

Transformer 是模型的内部架构，解决 “如何理解和生成语言” 的问题；Agent 是系统的应用范式，解决 “如何围绕目标自主行动” 的问题。

两者是典型的底座与上层建筑关系：

第一，Transformer 提供了通用推理底座。在 Transformer 之前，Agent 没有通用的 “大脑”，每个场景都要重新写规则。大语言模型的出现，让同一个模型可以处理规划、推理、工具调用、自然语言交互等多种任务，Agent 的开发成本指数级下降。

第二，Agent 拓展了 Transformer 的能力边界。纯大模型只有 “生成文本” 的能力，知识有截止日期，无法操作真实世界。Agent 通过工具调用、外部检索、环境交互，把静态的语言模型变成了动态的行动系统。

技术演进路线：

Transformer 诞生 → 预训练大模型出现 → 对话式 AI 普及 → 工具调用能力成熟 → 检索增强技术落地 → AI Agent 兴起 → 多 Agent 协作发展 → 自主智能体演进

每一步都是在上一步的基础上，解决上一步解决不了的问题：

Transformer 解决了 “高效建模语言”
大模型解决了 “通用知识与推理”
函数调用解决了 “可靠调用工具”
Agent 解决了 “围绕目标自主完成多步任务”

四、给新人的学习建议

先搞懂 Transformer，再学 Agent

Transformer 是整个领域的地基。不用一开始就推导所有公式，但至少要理解自注意力、QKV、编码器解码器的核心逻辑。不理解 Transformer，学 Agent 只会停留在调框架的层面。
区分 “概念” 和 “工程实现”

Agent 的思想有半个世纪历史，但工程上的 LLM Agent 才发展了两三年。很多概念听起来很新，其实是经典 AI 理论的大模型重实现。了解历史有助于你看清本质，不被层出不穷的新名词裹挟。
动手是最快的入门方式

学 Transformer：手写一个极简版注意力层，比读十篇文章都管用
学 Agent：基于主流框架写一个带搜索工具的简单 Agent，跑通 “思考 - 行动 - 观察” 循环

结尾总结

Transformer 是 AI 的 “发动机”，重新定义了机器处理信息的方式；Agent 是 AI 的 “车身与控制系统”，让发动机的动力转化为解决真实问题的行动力。理解了这两者，你就抓住了当前 AI 浪潮的两条主线。