📌 开头

视频来源：每日AI评论《为什么大模型几乎都是 Decoder-only？》，约 7 分钟，2025-08-02 发布

链接：https://v.douyin.com/6xMyFDerTU8/

核心一句话：从 Transformer 架构演进出发，解释为什么 GPT、LLaMA 等几乎所有大模型都选择 Decoder-only（因果语言模型）架构，而非 Encoder-Decoder 或 Encoder-only。

核心问题

  • 背景：GPT-2/3/4、LLaMA、ChatGPT 等主流大模型几乎都采用 Decoder-only 架构（仅解码器），但传统 seq2seq 任务（翻译、摘要）使用 Encoder-Decoder 架构，为何大模型不沿用？
  • 核心问题：Decoder-only 架构为何成为 LLM 的主流选择？其背后的工程实践与理论依据是什么？

Transformer 架构的三种形态

理解 Decoder-only 先要理解 Transformer 的三种架构形态（对应三种注意力机制）：

1. Encoder-only（仅编码器）

代表：BERT（2018）。双向注意力（Bidirectional Attention），每个 token 可以看到上下文所有其他 token。适合理解任务：分类、实体识别、阅读理解。

特点：输入序列全部可见，输出为句子/词级别的表示（用于分类）。无法自回归生成。

2. Encoder-Decoder（编码器-解码器）

代表：原版 Transformer（2017）、《Attention Is All You Need》提出的架构、T5（2019）。编码器处理源序列（双向注意力），解码器生成目标序列（仅能看到之前的输出，即 Casual Mask）。

特点：适合有两个独立输入输出的任务（翻译、摘要、问答）。需要大量参数训练两个模块。

3. Decoder-only（仅解码器）

代表：GPT 系列、LLaMA、ChatGPT、Claude 等几乎所有主流 LLM。将所有任务统一为「给定上文，预测下一个 token」的自回归生成任务。

特点：Casual（因果）注意力——每个 token 只能看到自己和之前的 token。只需训练一个模块，架构简洁。

Decoder-only 胜出的七大原因

原因一：工程实践的巨大简化——一份参数打天下

Encoder-Decoder 需要同时训练 encoder 和 decoder 两套权重，且两者的表达能力可能存在浪费（编码器和解码器不一定需要相同容量）。Decoder-only 只用一套参数，训练和部署都更简单。

更重要的是：所有任务（翻译、摘要、对话、代码生成）统一为「下一个 token 预测」，无需为每种任务设计专门的解码策略。

原因二：In-Context Learning 的能力基础

大模型最核心的能力之一是 In-Context Learning（上下文学习）——不给示例，只给提示，模型就能理解任务。Decoder-only 架构天然支持这一点：把所有历史上下文（system prompt + examples + query）全部作为输入，让模型自回归生成答案。

Encoder-Decoder 架构在做 seq2seq 任务时，需要专门设计 prompt 格式来模拟「Encoder 输入 → Decoder 输出」的关系，不够自然。

原因三：Scaling Law 的红利全归 Decoder-only

GPT-3 的论文《Language Models are Few-Shot Learners》证明：当模型参数量超过 100B，Decoder-only 的 in-context 学习能力会急剧提升，无需微调就能泛化到各类任务。这种 scaling 红利在 Encoder-Decoder 架构上并不明显——编码器侧的任务特定能力并不能随参数增加而等比例提升。

原因四：预训练效率——Causal Mask 比双向注意力更易并行化

Decoder-only 的 Causal Mask（三角注意力矩阵）比 Encoder-Decoder 的混合注意力更容易在 GPU/TPU 上高效并行。Encoder 的双向注意力需要所有 token 两两交互，而 Causal Mask 可以通过优化过的 Flash Attention 等技术高效实现。

原因五：Attention Degeneration 问题——Decoder-only 反而成了优势

论文《Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder》（arXiv:2304.04052）发现了一个关键问题——Attention Degeneration（注意力退化）：随着生成步数增加，解码器对源序列（encoder output）的注意力会逐渐衰减，导致长序列生成质量下降。

这个发现很重要：Encoder-Decoder 架构在生成任务上的这个固有缺陷，恰恰让「只保留 decoder」的 Decoder-only 方案反而避开了这个问题——因为它根本不依赖 encoder。

原因六：Prompt 控制能力更强

在 Decoder-only 中，整个对话历史（包括 system prompt、few-shot examples）都是模型「看到的上文」，模型可以在生成过程中随时利用这些信息进行动态控制。

Encoder-Decoder 的 encoder 是一次性处理输入，decoder 只能在生成过程中逐步读取——这种分离限制了 prompt 的动态控制能力。

原因七：生态与先发优势——OpenAI 趟出了一条路

GPT-2/3/ChatGPT 的成功形成了强大的路径依赖。OpenAI 在 Decoder-only 路线上积累了大量工程经验、最佳实践和预训练语料处理方法，后续玩家（LLaMA、Claude、Gemini 等）纷纷跟进。生态惯性进一步巩固了 Decoder-only 的主流地位。

Decoder-only 的局限与例外

Decoder-only 并非万能：一些任务（如精确的词级别标注、序列到序列的精确映射）理论上 Encoder-Decoder 更有优势。此外，Google 的 UL2 和 T5 仍采用 Encoder-Decoder 并在某些任务上表现优异。

但整体趋势是：即便 Google 自己的 PaLM、LLaMA、Claude、Gemini 也都选择了 Decoder-only 或混合架构，传统的 Encoder-Decoder 在大模型时代已不再是主角。

关键洞察

洞察一：架构选择是工程实践驱动的，而非理论最优

Decoder-only 之所以成为主流，不是因为理论上它一定最优，而是因为它在大规模训练场景下更易优化、更易 scaling、更易统一多任务。这与互联网行业「先跑通再迭代」的产品哲学一致——先让系统 work，再研究 why。

洞察二：Causal Attention 是 LLM 智能涌现的物理基础

自回归生成（AR Generation）的「顺序性」迫使模型在生成每个 token 时都必须依赖完整的历史信息。这种约束反而让模型学会了隐式的因果推理——要预测下一个词，就必须理解「是什么导致了现在的语境」。这可能是 LLM 涌现能力（Emergent Abilities）的重要来源之一。

洞察三：Attention Degeneration 的发现对 Agent 系统设计有直接影响

长对话系统（如 Agent 长期记忆）面临的 Context 膨胀问题，本质上也是 Attention Degeneration 的体现——随着 context 变长，模型对早期关键信息的注意力衰减。这解释了为什么 OpenClaw 等 Agent 框架需要记忆管理、摘要压缩等机制，而非单纯增加 Context Window。

引发思考

Decoder-only 的成功隐含一个更大的规律：在 AI 领域，有时候「限制」反而是进步的阶梯。自回归生成的顺序约束迫使模型学会因果推理；Causal Attention 的限制让 scaling 更容易。这对于 AI 系统设计有启发——不要一味追求能力上限，而是找到「约束」与「表达」之间的最优平衡点。

对于从业者而言，理解 Decoder-only 的本质也意味着理解 LLM 的能力边界：它擅长基于上下文的流畅生成，但在需要精确词级别对齐的任务上仍有局限。知道这一点，才能在设计 Agent 工作流时正确归因——问题出在模型，还是出在 Prompt 架构设计。

相关阅读

  • 《Attention Is All You Need》（Transformer 原始论文，Google，2017）：https://arxiv.org/abs/1706.03762
  • 《Language Models are Few-Shot Learners》（GPT-3，2020）：https://arxiv.org/abs/2005.14165
  • 《Decoder-Only or Encoder-Decoder? Interpreting LM as a Regularized Encoder-Decoder》（2023）：https://arxiv.org/abs/2304.04052
  • 《Feedback Transformer: Addressing Limitations of Transformers》（2020）：https://arxiv.org/abs/2002.09402
  • 《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》（T5，2019）：https://arxiv.org/abs/1910.10683