1. Sequence to Sequence（序列到序列）#

• 输入：一排向量（如一个句子的词向量序列）
• 输出：另一排向量（如翻译后的句子）
• 典型任务：机器翻译、文本摘要
• 例子：“我爱机器学习” → “I love machine learning”

2. Sequence Labeling（序列标注）#

• 输入：一排向量

• 输出：同样长度的一排标签

• 典型任务：词性标注、命名实体识别、语音识别

• 例子：

  1
  输入: ["我", "爱", "机器", "学习"]
  2
  输出: [代词, 动词, 名词, 名词]

3. Sequence to One（序列到单值）#

• 输入：一排向量
• 输出：一个值或类别
• 典型任务：情感分类、文本分类
• 例子：“这部电影太棒了！” → 正面情感

1. 顺序处理的困境#

• 必须按顺序读：RNN像排队一样，必须处理完第1个词，才能处理第2个词，再处理第3个词…
• 无法并行：即使有多个GPU核心，也只能干等着，因为后面的词依赖前面的结果
• 训练慢：处理长文本时，训练时间会非常长

2. 长距离依赖的困难#

考虑这个句子：

“那只在公园里追逐蝴蝶的、毛色金黄的、看起来很开心的狗正在奔跑。”

• RNN处理到”奔跑”时，需要记住很久之前的”狗”
• 尽管LSTM/GRU有记忆机制，但信息经过多次传递后仍会衰减
• 就像传话游戏，传的人越多，信息失真越严重

3. 计算效率低#

• 现代GPU擅长并行计算，但RNN的顺序特性无法充分利用
• 就像有100个工人，却只能排队干活，而不能同时开工

核心思想：“天涯若比邻”#

• 并行处理：所有位置可以同时计算，不需要等待
• 直接连接：任意两个位置之间的距离都是O(1)，无论它们相隔多远
• 灵活关注：每个位置可以自主决定关注哪些位置，权重由相关性决定

形象比喻#

• RNN：像接力赛，信息一棒一棒传递，后面的人要等前面的人跑完
• Self-Attention：像群聊，所有人同时看到所有消息，可以直接回复任何人

加权求和的本质#

每个位置的输出 = 对整个序列的加权求和

• 权重由该位置与其他位置的相关性决定
• 相关性高的位置权重大，贡献更多信息
• 相关性低的位置权重小，几乎不贡献信息

直观理解：图书馆找书的过程#

想象你在图书馆找书：

1. Query（查询）：你脑海中想要查找的主题
   • 比如你想了解”深度学习”
   • 这是你的需求，你想要什么信息
2. Key（键）：每本书的标签/索引/目录
   • 每本书的封面、标题、关键词
   • 这是书籍的索引信息，用来判断是否匹配你的需求
3. Value（值）：书的实际内容
   • 书里面真正的知识和信息
   • 这是你最终要获取的实际内容
4. 注意力权重：Query与Key的匹配度
   • 如果一本书的标签与你的查询高度匹配，你会花更多时间读它（权重大）
   • 如果不匹配，你可能只是扫一眼就跳过（权重小）

在Self-Attention中的对应#

在处理序列”我 爱 机器 学习”时：

• 每个词都有三个角色：
  • 作为Query：当处理这个词时，它想要从其他词那里获取什么信息？
  • 作为Key：当其他词查询时，这个词提供什么索引信息？
  • 作为Value：这个词实际包含什么内容？
• 举例：处理”学习”这个词
  • Query(“学习”)：我想知道学习的是什么？
  • 与Key(“机器”)匹配度高 → 权重大
  • 与Key(“我”)、Key(“爱”)匹配度低 → 权重小
  • 最终输出 = 主要来自Value(“机器”)的信息 + 少量其他词的信息

关键洞察#

• Q、K、V都来自同一个输入，只是通过不同的权重矩阵投影得到
• Query决定”我要什么”，Key决定”我有什么”，Value决定”我给什么”
• 注意力权重 = Query和Key的相似度,决定了Value的贡献比例

示例：处理句子”机器 学习”#

假设我们要计算”学习”这个词的Self-Attention输出。

1
输入: ["机器", "学习"]
2

3
通过权重矩阵投影：
4
- "机器" → Q₁, K₁, V₁
5
- "学习" → Q₂, K₂, V₂

1
Query("学习") 与所有Key的点积：
2
- score("学习", "机器") = Q₂ · K₁ = 0.9  (高相关性)
3
- score("学习", "学习") = Q₂ · K₂ = 0.3  (自己对自己)

1
Softmax归一化：
2
- α("学习", "机器") = exp(0.9) / (exp(0.9) + exp(0.3)) = 0.73
3
- α("学习", "学习") = exp(0.3) / (exp(0.9) + exp(0.3)) = 0.27

1
输出("学习") = 0.73 × V₁ + 0.27 × V₂
2
            = 0.73 × Value("机器") + 0.27 × Value("学习")

核心洞察#

1. 每个词都会执行这个过程：不仅”学习”，“机器”也会计算自己的注意力输出
2. 并行计算：所有词的注意力可以同时计算，不需要等待
3. 动态权重：注意力权重是根据内容动态计算的，不是固定的
4. 信息融合：输出向量融合了整个序列的相关信息

1. 计算注意力分数#

对于位置$i$的Query和位置$j$的Key：

• $\pmb{q}_i$：位置$i$的Query向量
• $\pmb{k}_j$：位置$j$的Key向量
• $d_k$：Key向量的维度
• $\sqrt{d_k}$：缩放因子，防止点积过大

2. 计算注意力权重#

使用Softmax归一化，确保权重和为1

3. 计算输出#

输出是所有Value的加权和

矩阵形式#

从向量到矩阵#

假设输入序列有$n$个词，每个词的嵌入维度是$d$：

输入矩阵：

• 每一行是一个词的向量
• 例如：$n=4$（4个词），$d=512$（每个词512维）

第一步：生成Q、K、V矩阵#

通过三个权重矩阵，一次性将所有词转换为Q、K、V：

• $\pmb{W}^Q, \pmb{W}^K \in \mathbb{R}^{d \times d_k}$：Query和Key的投影矩阵
• $\pmb{W}^V \in \mathbb{R}^{d \times d_v}$：Value的投影矩阵
• 通常 $d_k = d_v = d$

关键点：一次矩阵乘法，所有词的Q、K、V同时计算完成！

第二步：计算注意力分数矩阵#

这一步的物理意义：

• $\pmb{Q} \pmb{K}^\top$：所有Query和所有Key的点积，一次性算出！
• 矩阵$\pmb{A}$的第$(i, j)$元素 = 第$i$个词的Query与第$j$个词的Key的相似度
• 例如：$\pmb{A}_{2,3}$表示第2个词对第3个词的注意力分数

可视化：

1
        K₁  K₂  K₃  K₄
2
Q₁  [ a₁₁ a₁₂ a₁₃ a₁₄ ]
3
Q₂  [ a₂₁ a₂₂ a₂₃ a₂₄ ]
4
Q₃  [ a₃₁ a₃₂ a₃₃ a₃₄ ]
5
Q₄  [ a₄₁ a₄₂ a₄₃ a₄₄ ]

• 第2行表示：词2对所有词的注意力分数
• 第3列表示：所有词对词3的注意力分数

第三步：Softmax归一化#

对矩阵$\pmb{A}$的每一行进行Softmax：

• 每一行的权重和为1
• 第$i$行表示：词$i$对所有词的注意力权重分布

第四步：加权求和得到输出#

物理意义：

• $\pmb{O}$的第$i$行 = 第$i$个词的输出向量
• 它是所有Value向量的加权和，权重由$\pmb{A}'$的第$i$行决定

完整的矩阵形式#

将上述步骤合并：

GPU加速的本质#

为什么矩阵运算这么重要？

1. 并行计算：
   • 矩阵乘法可以在GPU上高度并行
   • 所有词的注意力同时计算，不需要循环
2. 硬件优化：
   • 现代GPU针对矩阵乘法做了专门优化（如NVIDIA的Tensor Core）
   • 一次矩阵乘法比$n$次向量运算快得多
3. 计算复杂度：
   • 时间复杂度：$O(n^2 \cdot d)$
   • 空间复杂度：$O(n^2)$（存储注意力矩阵）
   • 虽然是$O(n^2)$，但可以充分利用GPU并行能力

我们不需要对每个词写循环，而是一次性通过矩阵乘法算出整个句子的注意力分布，这就是GPU加速的物理基础。

单头的局限性#

假设处理句子”那只在公园里奔跑的狗很可爱”：

• 单个注意力头可能只关注语法关系：“狗”和”奔跑”
• 但可能忽略修饰关系：“狗”和”可爱”
• 也可能忽略位置信息：“狗”和”公园”

多头的优势#

多头注意力让模型同时从多个角度理解：

• 头1：关注语法关系（主谓宾）
• 头2：关注修饰关系（形容词-名词）
• 头3：关注位置关系（地点-动作）
• 头4：关注语义相似性

形象比喻：就像一个团队讨论问题，每个人负责不同的视角，最后综合所有人的意见做出决策。

深层原因：相关性的定义不止一种#

核心洞察：什么叫”相关”？这个问题没有唯一答案！

子空间投影的数学本质#

为什么多头能够学习不同的相关性？关键在于子空间投影。

1. 多个注意力头#

每个头使用不同的权重矩阵，学习不同的表示：

• $\pmb{W}_i^Q, \pmb{W}_i^K, \pmb{W}_i^V$：第$i$个头的投影矩阵（每个头都不同）
• 每个头独立计算注意力，关注不同的模式

2. 拼接与投影#

将所有头的输出拼接起来，再通过一个线性变换：

• $h$：注意力头的数量（通常为8或16）
• $\pmb{W}^O$：输出投影矩阵，将拼接后的向量映射回原始维度

3. 维度分配#

假设模型维度为512，使用8个头：

• 每个头的维度 = 512 / 8 = 64
• 8个头并行计算，每个头处理64维的子空间
• 拼接后恢复到512维

4. 分割与拼接的深层原理#

1
Head 1 输出: [第1-64维]   → 只包含"语法关系"信息
2
Head 2 输出: [第65-128维] → 只包含"位置关系"信息
3
Head 3 输出: [第129-192维] → 只包含"语义关系"信息
4
...
5
拼接结果: [第1-512维]

完整的计算流程总结#

结合以上理解，多头注意力的完整流程是：

1. 分割（投影到子空间）： $\text{head}_i = \text{Attention}(\pmb{Q}\pmb{W}_i^Q, \pmb{K}\pmb{W}_i^K, \pmb{V}\pmb{W}_i^V)$
   • 每个头独立工作在自己的64维子空间
   • 总参数量保持不变（守恒定律）
2. 并行计算：
   • 8个头同时计算注意力
   • 每个头关注不同的模式
3. 拼接： $\text{Concat}(\text{head}_1, ..., \text{head}_8) \in \mathbb{R}^{512}$
   • 简单地把8个64维向量排成一个512维向量
4. 信息搅拌（W^O）： $\text{MultiHead}(\pmb{Q}, \pmb{K}, \pmb{V}) = \text{Concat}(\text{heads})\pmb{W}^O$
   • 让不同头的发现交互融合
   • 生成最终的512维输出

金句：多头注意力不是”做更多”，而是”做得更专注”——通过分工合作，让每个头在自己的子空间里成为专家。

头1：局部依赖#

• 关注相邻词之间的关系
• 例如：“机器 学习” → “机器”主要关注”学习”

头2：长距离依赖#

• 关注句子开头和结尾的呼应
• 例如：“如果…那么…” 结构

头3：语法关系#

• 关注主谓宾等语法结构
• 例如：“狗”关注”奔跑”（主语-谓语）

头4：语义相似性#

• 关注语义相关的词
• 例如：“深度”关注”学习”（构成专业术语）

关键洞察：这些模式不是人为设计的，而是模型在训练过程中自动学习出来的！

核心区别#

详细说明#

为什么两者都需要？#

多头注意力：

• 提供多样性：从不同角度理解输入
• 类似于”横向思维”：同时考虑多个可能性

多层注意力：

• 提供深度：逐层抽象，学习复杂模式
• 类似于”纵向思维”：从具体到抽象，层层递进

结合效果：

• 横向：每一层都有多个头，提供丰富的视角
• 纵向：多层堆叠，逐步提取高级特征
• 就像一个多层多头的金字塔，既宽又深

实际应用#

BERT（12层，12头）：

• 12个Transformer Block（纵向）
• 每个Block有12个注意力头（横向）
• 总共144个注意力计算单元

GPT-3（96层，96头）：

• 96个Transformer Block（纵向）
• 每个Block有96个注意力头（横向）
• 总共9216个注意力计算单元

关键洞察：多头和多层是正交的设计，分别从宽度和深度两个维度增强模型的表达能力。

位置无关性的问题#

考虑以下两个句子：

• “狗 咬 人”
• “人 咬 狗”

对于Self-Attention来说：

• 两个句子包含相同的词：{狗, 咬, 人}
• 计算注意力时，只看词与词之间的相关性
• 无论顺序如何，计算结果完全相同！

但显然，这两个句子的意思完全不同：

• “狗咬人”：狗是施动者
• “人咬狗”：人是施动者（这是新闻！）

为什么Self-Attention是位置无关的？#

回顾Self-Attention的计算过程：

1. 计算Q·K的相似度
2. 用Softmax归一化
3. 对V加权求和

关键问题：这个过程中，没有任何地方使用了位置信息！

• “狗”在第1个位置还是第3个位置，它的Q、K、V向量都一样
• 就像一个袋子里装着词，不管怎么摇晃，结果都不变（Bag of Words）

解决方案：位置编码#

既然Self-Attention不知道位置，我们就人为地告诉它！

核心思想：给每个位置添加一个独特的”位置标记”

• 位置1的词 = 原始词向量 + 位置1的编码
• 位置2的词 = 原始词向量 + 位置2的编码
• 位置3的词 = 原始词向量 + 位置3的编码

这样，即使是相同的词，在不同位置也会有不同的表示。

1. 正弦位置编码（Sinusoidal）#

Transformer原论文使用的方案，使用正弦和余弦函数：

参数说明：

• $pos$：位置索引（0, 1, 2, …）
• $i$：维度索引（0, 1, 2, …）
• $d$：模型维度（如512）

为什么用正弦/余弦？

• 不同位置产生不同的编码向量
• 可以处理任意长度的序列（不需要预先设定最大长度）
• 相对位置关系可以通过三角函数性质表示

2. 可学习位置编码#

另一种方案是将位置编码作为可训练参数：

• 为每个位置学习一个独特的向量
• 优点：更灵活，可以学习到最适合任务的位置表示
• 缺点：需要预先设定最大序列长度

关键洞察#

• 位置编码是必需的：没有它，Self-Attention就是一个”词袋模型”
• 加法而非拼接：位置编码通过加法融入词向量，而不是拼接
• 一次性添加：位置编码只在输入层添加一次，后续层会自动传播这个信息

直觉上的困惑#

拼接方案看起来更自然：

1
词向量:     [x₁, x₂, ..., x_d]        (d维)
2
位置编码:   [p₁, p₂, ..., p_d]        (d维)
3
拼接结果:   [x₁, x₂, ..., x_d, p₁, p₂, ..., p_d]  (2d维)

相加方案看起来很奇怪：

1
词向量:     [x₁, x₂, ..., x_d]        (d维)
2
位置编码:   [p₁, p₂, ..., p_d]        (d维)
3
相加结果:   [x₁+p₁, x₂+p₂, ..., x_d+p_d]  (d维)

疑问：相加会不会让词向量和位置编码混在一起，无法区分？

数学上的等价性#

关键洞察：在经过线性变换后，相加和拼接在数学上是等价的！

相加方案的优势#

既然数学上等价，为什么选择相加？

直觉理解#

高维空间的魔法：

• 在高维空间（如512维）中，两个向量相加后，原始信息并不会丢失
• 通过不同的投影矩阵（$\pmb{W}^Q, \pmb{W}^K, \pmb{W}^V$），模型可以提取出词向量和位置编码的不同组合
• 就像把两种颜料混合，虽然看起来是一种颜色，但通过光谱分析仍然可以分离出原始成分

形象比喻：

• 拼接：把两本书并排放在一起，左边是内容，右边是页码
• 相加：把页码直接印在每一页的内容上，内容和页码融为一体

虽然”相加”看起来会混淆信息，但在高维空间中，通过线性变换可以灵活地提取和组合信息，因此不会造成信息损失。

CNN是受限的Self-Attention#

核心观点：CNN可以看作是一种受限的Self-Attention，它只关注固定的局部窗口。

1
卷积核: [w₁, w₂, w₃]
2
输出 = w₁·x_{i-1} + w₂·x_i + w₃·x_{i+1}

1
注意力权重: [α₁, α₂, ..., αₙ]
2
输出 = α₁·v₁ + α₂·v₂ + ... + αₙ·vₙ

形象比喻#

• CNN：戴着固定焦距的眼镜，只能看清固定范围内的东西
• Self-Attention：拥有可变焦的镜头，可以自由选择关注远处还是近处

归纳偏置 vs 数据需求#

CNN的优势（归纳偏置强）：

• 内置了局部性和平移不变性的先验知识
• 参数量少，训练效率高
• 数据量少时表现更好

Self-Attention的优势（上限高）：

• 没有强制的归纳偏置，更灵活
• 可以学习到任意复杂的模式
• 数据量大时表现更好

实验结论（Vision Transformer）#

根据Vision Transformer（ViT）的研究：

• 小数据集（ImageNet）：CNN（如ResNet）表现更好
• 大数据集（JFT-300M）：Transformer超越CNN
• 关键因素：数据量是否足够让模型学习到有效的归纳偏置

金句：CNN是人类设计的归纳偏置，Self-Attention是数据驱动的归纳偏置。

Self-Attention就是全连接的GNN#

核心观点：Self-Attention可以看作是一个全连接图神经网络（Fully Connected GNN）。

适用场景#

GNN适合：

• 图结构已知且稀疏（如社交网络、知识图谱）
• 需要利用图的拓扑结构

Self-Attention适合：

• 图结构未知，需要模型自己学习
• 序列数据（可以看作全连接图）

统一视角#

三者的统一：

• CNN：局部连接的图（每个节点只连接邻居）
• GNN：稀疏连接的图（根据预定义结构连接）
• Self-Attention：全连接的图（所有节点互相连接）

灵活性递增：CNN < GNN < Self-Attention 计算复杂度递增：CNN < GNN < Self-Attention 数据需求递增：CNN < GNN < Self-Attention

为什么需要这些增强？#

Transformer Block的标准结构#

在Transformer中，一个标准的Self-Attention Block包含：

1
class TransformerBlock(nn.Module):
2
    def __init__(self, embed_dim, num_heads, ff_dim, dropout=0.1):
3
        super(TransformerBlock, self).__init__()
4

5
        # Multi-Head Self-Attention
6
        self.attention = MultiHeadAttention(embed_dim, num_heads)
7

8
        # Layer Normalization
9
        self.norm1 = nn.LayerNorm(embed_dim)
10
        self.norm2 = nn.LayerNorm(embed_dim)
11

12
        # Feed-Forward Network
13
        self.ffn = nn.Sequential(
14
            nn.Linear(embed_dim, ff_dim),
15
            nn.ReLU(),
16
            nn.Linear(ff_dim, embed_dim)
17
        )
18

19
        # Dropout
20
        self.dropout = nn.Dropout(dropout)
21

22
    def forward(self, x):
23
        # Self-Attention + 残差连接 + LayerNorm
24
        attn_output, _ = self.attention(x)
25
        x = self.norm1(x + self.dropout(attn_output))
26

27
        # Feed-Forward + 残差连接 + LayerNorm
28
        ffn_output = self.ffn(x)
29
        x = self.norm2(x + self.dropout(ffn_output))
30

31
        return x

关键点：

• Add & Norm：每个子层（Self-Attention、FFN）后都有残差连接和LayerNorm
• 顺序：有两种常见顺序
  • Post-LN：LayerNorm(x + Sublayer(x))（原始Transformer）
  • Pre-LN：x + Sublayer(LayerNorm(x))（更稳定，现代实现常用）

为什么这些不属于Self-Attention本身？#

• Self-Attention：核心的注意力机制，负责信息聚合
• 残差连接和LayerNorm：训练技巧，帮助深层网络优化
• 它们是正交的：Self-Attention可以单独使用，但在深层网络中需要这些技巧

类比：Self-Attention是引擎，残差连接和LayerNorm是润滑油和冷却系统，让引擎在高负荷下稳定运行。