位置编码相关#

理解Position Embedding的经典例子：”你爱我“ 和 ”我爱你“

为序列中的每个位置生成一个独特的向量

位置编码的设计原则

• 唯一性：每个位置应有唯一的编码。
• 相对位置的感知：编码应能反映词与词之间的相对距离（如相邻词的编码应相似）。
• 可扩展性：支持比训练时更长的序列（如Transformer原论文使用固定公式而非可学习参数）。

原论文使用正弦和余弦函数的组合生成位置编码：

$\text{PE}(pos, 2i) = \sin\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$

$\text{PE}(pos, 2i+1) = \cos\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$

其中：

• pos：词的位置
• i：编码向量的维度索引
• $d_{\text{model}}$：模型的隐藏层维度（与词向量维度相同，=512）

除了符合那几个原则，这种编码还有几个妙处：

• 捕捉了相对位置的线性关系：对任意固定的偏移量 k，存在线性变换矩阵 M，使得： $\text{PE}(pos + k) = M \cdot \text{PE}(pos)$

• 相邻词的距离为定值

• 多频率编码：不同维度对应不同波长，能捕捉不同粒度的位置信息（高频维度区分近距离，低频维度区分远距离）

TODO：Transformer-XL、旋转位置编码（RoPE）

基于transformer的预训练模型可以分为4类

编码器的

解码器的

seq2seq的

文本-视觉的

GPT#

Generative Pre-trained Transformer（GPT1），2018

Decoder-Only

后续发展 2020-GPT3，2022-ChatGPT，2023-GPT4，2024-GPTo1

GPT3 small参数的计算？

3b1b的视频是这么算的：

50257 tokens 每个词嵌入12288维 50257x12288

解嵌入 Matrix 50257x12288

温度即对softmax的调整

W_Q W_K 128x12288 = 1572864

Q K 128xL

QK^T LxL

W_V 12288x12288 实际并非如此多参数，是一个12288x128矩阵乘上一个128x12288的矩阵

V 12288xL

V·softmax(Q^KT) 12288xL

GPT3 96头 96层 总参数量12288x128x4x96x96=603,979,776

此外还要计算MLP的参数量，MLP每次先升维到49152再降回去

故MLP参数量（不算偏置项、Layer Norm）12288x49152x2x96

最终合起来是1750亿参数量

多头自注意力机制那里，

注意力机制 输入: 向量 $h_i$，形状为 $(n_{ctx}, d_{model})$ 输出: 向量 $h_{i+1}$ QKV 参数: 变换为 QKV 的参数矩阵，尺寸都为 $(d_{model}, d_{head})$，含义为（向量维度，注意力头维度） 有 $n_{head}$ 个 $QKV$ 头 转换到 $d_{head}$ 维度后，还有一个矩阵负责转换为 $d_{model}$：这个转换矩阵的维度为 $(n_{head} * d_{head}, d_{model})$ 总参数量: 一般而言，$n_{head} * d_{head} = d_{model}$，所以 $4n_{head} d_{head} d_{model} = 4d_{model}^2$

GPT 的预训练任务：自回归 / 因果语言建模（Auto-regressive / Causal Language Modeling, CLM）

模型在预训练阶段的目标是： 给定前面的所有词，预测下一个词

BERT#

Bidirectional Encoder Representation from Transformers，2018，Google

Encoder-Only，有强大的理解能力，但无法自主生成文本。

作者分别用12层（d=768）和24层（d=1024）Transformer Encoder组装了两套BERT模型，两套模型的参数总数分别为110M和340M。

BERT-Base的参数计算（未计算LayerNorm参数）

总参数量：约110M（1.1 亿）

1️⃣ Embedding 层（Token + Position + Segment）

• Token Embeddings: 30522 x 768
• Position Embeddings: 512 x 768
• Segment Embeddings: 2 x 768（只在做NSP的时候用）

• 词表大小（30522）
• 隐藏层维度（768）
• 最大序列长度（512）

总计 23.8M

2️⃣ Transformer 编码器层（共 12 层）

• Query、Key、Value 的权重矩阵：3 x 768 x 768
• 输出投影矩阵：768 × 768

前馈神经网络（Feed-Forward Network, FFN），也是先升维再降维，768x3072x2

总计 (4x768x768+768x3072x2)x12 = 84.9M

在 BERT 中，多头自注意力机制被用来允许模型在不同的表示子空间中并行地执行注意力操作。采用隐藏层维度 (H) 分割：对于每个注意力头，输入向量首先会被分割成较小的块（即降维），每个头处理输入向量的一个子集。例如，在 BERT-Base 中，隐藏层大小为 768 维，如果有 12 个注意力头，则每个头处理的是 (768 / 12 = 64) 维的子向量。

3️⃣ Pooler 层（用于 [CLS] 向量输出）

• 一个全连接层 768 × 768 = 0.59M

BERT是用了Transformer的encoder侧的网络，encoder中的Self-attention机制在编码一个token的时候同时利用了其上下文的token，此即为双向的体现，而并非想Bi-LSTM那样把句子倒序输入一遍。在BERT之前是GPT，GPT使用的是Transformer的decoder侧的网络，GPT是一个单向语言模型的预训练过程，更适用于文本生成，通过前文去预测当前的字。（就是那个mask与否的问题）

Embedding由三种Embedding直接求和而成：

• Token Embeddings是词向量，第一个单词是CLS标志，其对应的特征用于之后的分类任务

  （GPT uses a sentence separator ([SEP]) and classifier token ([CLS]) which are only introduced at fine-tuning time; BERT learns [SEP], [CLS] and sentence A/B embeddings during pre-training）

  playing 会切割成 play 和 ##ing，这叫做WordPiece tokenization。解决未登录词的常见方法，还使得Bert 在处理英文文本时只需要 30522 个词。

  Token Embeddings 层会将每个词转换成 768 维向量，例子中 11 个Token 会被转换成一个 (11, 768) 的矩阵或 (1, 11, 768) 的张量。

• Segment Embeddings用来区别两种句子，预训练除了LM，还需要做判断两个句子先后顺序之类的的分类任务。

  前一个句子的每个token都用0表示，后一个句子的每个token都用1表示。如”[CLS] my dog is cute [SEP] he likes play ##ing [SEP]“ 表示成”0 0 0 0 0 0 1 1 1 1 1“。 如果输入仅仅只有一个句子，那么它的segment embedding就是全0。 这也是一个(11, 768)维的张量。

• Position Embeddings和之前文章中的Transformer不一样，不是三角函数计算的而是学习出来的。

  BERT 中处理的最长序列是 512 个 Token，长度超过 512 会被截取，BERT 在各个位置上学习一个向量来表示序列顺序的信息编码进来，这意味着 Position Embeddings 实际上是一个 (512, 768) 的 lookup 表，表第一行是代表第一个序列的每个位置，第二行代表序列第二个位置。

以下为BERT使用的预训练任务：

• Task 1: Masked Language Model（MLM）

  在将单词序列输入给 BERT 之前，每个序列中有 15％ 的单词被 [MASK] token 替换。训练其对应输出是原单词。

  【后面有人提出SpanBERT，预测一个范围内的被MASK的文本】

• Task 2: Next Sentence Prediction（NSP）

  将两个句子A和B链接起来，预测原始文本中句子B是否排在句子A之后。

  具体训练的时候，50％的输入对在原始文档中是前后关系，另外50％中是从语料库中随机组成的，并且是与第一句断开的。最后用一个简单的分类层将[CLS]标记的输出变换为 2×1 形状的向量。

在训练BERT模型时，Masked LM和 Next Sentence Prediction 是一起训练的，目标就是要最小化两种策略的组合损失函数。

这个Task 2后续应用不多

BERT的微调（Fine-tunning）

• 对于不同的下游任务，我们仅需要对BERT不同位置的输出进行处理即可，或者直接将BERT不同位置的输出直接输入到下游模型当中。具体如下：

  • 对于情感分析等单句分类任务，可以直接输入单个句子（不需要[SEP]分隔双句），将[CLS]的输出直接输入到分类器进行分类
  • 对于句子对任务（句子关系判断任务），需要用[SEP]分隔两个句子输入到模型中，然后同样仅须将[CLS]的输出送到分类器进行分类
  • 对于问答任务，将问题与答案拼接输入到BERT模型中，然后接两个分类器分别输出答案开始和结束的位置
  • 对于命名实体识别任务，对每个位置的输出进行分类即可，如果将每个位置的输出作为特征输入到CRF将取得更好的效果。

  TODO: CRF 条件随机场

  • 对于常规分类任务，在 Transformer 的输出之上加一个分类层

T5#

Transfer Text-to-Text Transformer （2019）

Encoder-Decoder

把所有任务统一为text to text的任务

1. Prefix language modeling（前缀语言建模）：输入部分文本，目标是预测剩余的文本。例如，输入“Thank you for inviting”，目标是预测“me to your party last week”。
2. BERT-style（BERT风格）：MLM
3. Deshuffling（解乱序）：输入被打乱顺序的文本，目标是恢复原始顺序。例如，输入“party me for your to . last fun you inviting week Thank”，目标是恢复为“Thank you for inviting me to your party last week”。
4. I.i.d. noise, mask tokens（独立同分布噪声，掩码词）：随机掩码一些词，然后预测这些被掩码的词。例如，输入“Thank you me to your party week .”，目标是预测被掩码的词。
5. I.i.d. noise, replace spans（独立同分布噪声，替换片段）：随机替换一些片段，然后预测这些被替换的片段。例如，输入“Thank you me to your party week .”，目标是预测被替换的片段“ for inviting last ”。
6. I.i.d. noise, drop tokens（独立同分布噪声，删除词）：随机删除一些词，然后预测这些被删除的词。例如，输入“Thank you me to your party week .”，目标是预测被删除的词“for inviting last”。
7. Random spans（随机片段）：随机选择一些片段进行掩码或替换，然后预测这些被处理的片段。例如，输入“Thank you to week .”，目标是预测被处理的片段“ for inviting me your party last ”。

【T5在机器翻译效果不好？训练集问题】

BART#

Bidirectional and Auto-Regressive Transformers（2019，facebook AI）

建立在标准的seq2seq Transformer model的基础之上，旨在解决一系列文本生成任务。

不同于BERT仅关注理解型任务，BART设计了一个去噪自编码器，该编码器首先对输入文本进行部分破坏（例如删除、替换、重新排序等），然后训练模型尝试恢复原始文本。

XLNet#

Google Brain, CMU（卡内基梅隆大学） 2019

也是预训练语言模型，旨在结合自回归（AR）和自编码（AE）模型的优势，突破BERT等模型的局限性。

BERT属于自编码器(AE)语言模型。AE语言模型的优点是它可以在向前和向后两个方向上看到上下文。但是AE语言模型也有其不足之处。它在预训练中使用了[MASK]，但是这种人为的符号在finetune的时候在实际数据中时没有的，导致了pretraining — finetune的不一致。另一个缺点是它假设预测的(屏蔽的)tokens是相互独立的。

其核心创新包括：

1. 重排列语言建模（Permutation Language Modeling, PLM）：通过随机排列输入序列的顺序，使模型在自回归框架下捕获双向上下文信息，避免了BERT中因掩码（Mask）导致的预训练与微调不一致问题。

   核心机制：对输入序列的所有可能排列顺序进行采样，模型根据当前排列顺序预测每个位置的词。例如，序列[x1, x2, x3, x4]可能被排列为[x3, x2, x4, x1]，预测x2时仅能看到x3，而预测x1时能看到所有其他词。

2. 双流自注意力机制（Two-Stream Self-Attention）：分离内容流（Content Stream）和查询流（Query Stream），确保模型在预测时既能利用上下文信息，又不泄露当前位置的内容。

• 内容流：包含词的内容和位置信息，用于建模上下文，与传统Transformer类似。
• 查询流：仅包含位置信息，用于预测当前词时避免信息泄漏。例如，预测x3时，查询流仅利用其位置编码生成注意力权重，确保模型无法直接访问x3的内容。

3. Transformer-XL架构：引入长文本建模能力，通过分段循环机制（Segment Recurrence）和相对位置编码（Relative Positional Encoding）处理长序列依赖。

• 分段循环机制：缓存前一段的隐状态，解决长文本依赖的截断问题，使模型能跨段建模（如文档级任务）。
• 相对位置编码：用相对距离替代绝对位置编码，增强模型对位置关系的鲁棒性。

但这个模型后续评价不佳。

FFN相关#

原始的Transformer结构中，每一层包含multi-head self-attention block (MHSA) 和一个FFN。FFN的本质就是一个token-wise的升维-过激活-降回原来维度的MLP。其输入是MHSA输出的(n, d)维的序列表示x，其中n为序列中的token数目，d为隐藏层维度，设中间层维度为d’（通常大于d，常见实现中d’ = 4d），其权重为升维矩阵W₁ ∈ ℝᵈˣᵈ’ 和降维矩阵W₂ ∈ ℝᵈ’ˣᵈ，激活函数为σ。为简便起见忽略bias项。则FFN层的前向过程为：

$\text{FFN}(x) = \sigma(xW_1)W_2$

原始的Transformer和BERT模型中取$σ=GELU$，即$x \cdot \psi(x)$，其中ψ为标准正态分布的密度

InstructGPT中的RLHF#

自2021年起，OpenAI的InstructGPT和ChatGPT等项目将RLHF推向主流，证明了其在语言模型对齐中的有效性。通过这一方法，模型能够更好地理解和回应人类的需求和偏好。

其训练流程通常包括三个阶段：

1. 监督微调（Supervised Fine-tuning，SFT）

   雇佣40名标注人员完成prompt的标注。 此时的SFT模型在遵循指令/对话方面已经优于 GPT-3，但不一定符合人类偏好。

2. 奖励模型训练（Reward Model Training）：

   模型生成出若干结果（可以通过beam search等方法），通过人工为其排序，例如D>C>A=B，可以得到标注的排序pair；基于标注的排序结果，训练一个Reward Model（输出打分）

   具体来说，对多个排序结果，两两组合，形成多个训练数据对。RM模型接受一个输入，给出评价回答质量的分数。这样，对于一对训练数据，调节参数使得高质量回答的打分比低质量的打分要高。

3. 强化学习微调（PPO）

   使用强化学习（如PPO算法）让模型在生成回答时最大化奖励模型的打分，从而使得模型输出更符合人类喜好。

Adapter-Tuning#

最早是2019年提出

固定Transformer的全部参数，然后在Transformer的每一个Block里嵌入一些新初始化的Adapter Network。

Prefix-Tuning#

最早2021提出

Xiang Lisa Li and Percy Liang. 2021. Prefix-tuning: Optimizing continuous prompts for generation. In ACL/IJCNLP 2021, pages 4582–4597. Association for Computational Linguistics.

保持预训练语言模型参数固定（frozen），而只需要在task-specific vector（称为prefix）上进行优化。

这可以看作一种soft prompt。和固定模板文字的hard prompt相对。

以下为论文内容

微调是利用大型预训练语言模型执行下游任务的事实上的方法。然而，它修改了所有语言模型参数，因此需要为每个任务存储一个完整的副本。在本文中，我们提出了前缀微调，这是一种轻量级的替代微调方法，适用于自然语言生成任务，它保持语言模型参数不变，但优化了一个小的连续任务特定向量（称为前缀）。前缀微调从提示中汲取灵感，允许后续的标记关注这个前缀，就像它是“虚拟标记”一样。我们将前缀微调应用于GPT-2进行表格到文本的生成，并应用于BART进行摘要。我们发现，通过仅学习0.1%的参数，前缀微调在完整数据设置下获得可比的性能，在低数据设置下优于微调，并且对训练期间未见过的主题示例具有更好的外推能力。

BitFit#

最早2021年提出，ACL 2022

非常简单，其不需要对预训练模型做任何改动，只需要指定神经网络中的偏向（Bias）为可训练参数即可

LoRA#

Low-Rank Adaptation of Large Language Models（2021，ICLR）

传统微调在微调大型预训练模型（如GPT-3、T5）时，通常需要更新所有参数（全参数微调）。

能否仅更新少量参数即可适配下游任务？

背景：适配器方法

核心思想

低秩假设：模型在适配新任务时，参数变化量（ΔW）具有低秩性质（即ΔW可以被分解为两个小矩阵的乘积）。

冻结原始参数：保持预训练模型的权重矩阵 W 固定，仅训练一个低秩的适配器（Adapter）来近似ΔW。 $h = W x + \Delta W x = W x + B A x$ 其中 B ∈ ℝ^{d×r} 和 A ∈ ℝ^{r×k} 是低秩矩阵（r ≪ min(d,k)），r 是秩（rank）。

在Transformer中的应用

• 目标层：通常应用于Transformer中的 注意力投影矩阵（如Q、K、V的投影矩阵）和 前馈网络（FFN）的权重矩阵。

• 参数注入方式：

  • 对原始权重矩阵 W，添加旁路分支 B A。
  • 前向传播时，输出为原始权重结果与低秩适配结果的叠加： $h = W x + \alpha \cdot (B A x)$ 其中α是缩放系数（超参数），用于控制适配强度。

• 训练阶段：仅优化低秩矩阵 B 和 A，原始权重 W 保持冻结。

• 推理阶段：

  • 可将 W + B A 合并为一个新矩阵，不增加额外计算量。
  • 支持多任务适配：通过切换不同的 B A 组合适配不同任务。

超参数选择

• 秩（r）：控制低秩矩阵的维度（通常 r=8 或 r=16 已足够）。
• 适配位置：选择哪些层的权重矩阵添加LoRA（例如仅适配注意力层）。
• 缩放系数α：平衡原始权重与适配权重的贡献。

参数效率

假设对L个权重矩阵应用LoRA，每个矩阵维度为d×k，则总参数量为 L × r × (d + k)。对于GPT-3（175B参数），若对注意力层的96个矩阵应用LoRA（r=8），总训练参数量仅约 0.1M，是全参数量的一千万分之一。

优势

内存占用低、部署灵活、性能接近全微调

进阶技术

• QLoRA：结合量化（Quantization）与LoRA，进一步减少显存占用。
• AdaLoRA：动态调整秩（r）和适配位置，提升参数效率。
• 组合其他PEFT方法：与Prompt Tuning或Adapter结合，实现多级适配。

多模态扩展

• 图像-文本模型（如CLIP）：可对视觉编码器和文本编码器分别应用LoRA。
• 多任务学习：共享部分LoRA参数，同时适配多个任务。

Prompt-tuning#

参考资料：五万字综述！Prompt-Tuning：深度解读一种新的微调范式 - 知乎（部分内容并不正确）

1
Translate English to French:
2
sea → mer
3
sky → ciel
4
cheese → fromage
5
dog →

FLAN#

《Finetuned Language Models are Zero-shot Learners》

Finetuned Language Net，Google，2021

基于Instruction-Tuning

目标是改善GPT3的zero-shot效果

62个NLP任务转化为自然语言指令格式，进行多任务训练，每个任务都设计了Instruction，最后得到137B的大模型

CLIP#

Contrastive Language–Image Pretraining（2021，OpenAI）

预训练模型 多模态

核心

• 跨模态对齐：将图像和文本映射到共享的语义空间中，使得同一语义的图文对在嵌入空间中距离更近，不相关的图文对距离更远。

• 零样本能力：无需针对下游任务进行微调，直接通过自然语言描述完成图像分类、检索等任务。

CLIP由两部分组成：

1. 图像编码器（Image Encoder）
   • 使用CNN（如ResNet）或Vision Transformer（ViT）提取图像特征。
   • 将输入图像转换为固定维度的特征向量（例如512维）。
2. 文本编码器（Text Encoder）
   • 使用Transformer架构（类似BERT）处理文本。
   • 将文本序列转换为固定维度的特征向量（与图像编码器输出维度一致）。

CLIP的训练依赖于对比学习（Contrastive Learning），其核心思想是通过最大化正样本对的相似度、最小化负样本对的相似度来优化模型参数。

使用互联网上的大规模图文对数据（如OpenAI使用的4亿对数据）每个样本对包含一张图像和一段描述该图像的文本。

1. 特征提取

   • 图像编码器提取图像特征 $I \in \mathbb{R}^{D}$。
   • 文本编码器提取文本特征 $T \in \mathbb{R}^{D}$。

2. 相似度计算

   • 计算图像特征与文本特征的余弦相似度： $$\text{sim}(I, T) = \frac{I \cdot T}{\|I\| \|T\|}$$

3. 对比损失函数

   • 使用InfoNCE损失函数（Noise Contrastive Estimation的变体）：

     $$\mathcal{L} = -\log \frac{\exp(\text{sim}(I, T) / \tau)}{\sum_{i=1}^{N} \exp(\text{sim}(I, T_i) / \tau)}$$
     • $\tau$ 为温度参数（控制分布平滑程度）。
     • $N$ 为负样本数量（通常从其他文本或图像中随机选取）。

4. 双向优化

   • 同时优化图像到文本和文本到图像的匹配（双向交叉熵损失）。

CLIP最显著的特性是零样本分类（Zero-shot Classification）。其原理如下：

• 传统方法：需要针对每个类别进行有监督训练（如ImageNet分类任务需要标注数据）。

• CLIP的方法：

  1. 输入一张未见过的图像 $I$。

  2. 生成多个文本描述 $T_1, T_2, ..., T_k$（如“dog”、“cat”、“car”）。

  3. 计算图像与每个文本描述的相似度，选择相似度最高的文本作为预测类别。

     无需针对特定类别进行训练。可动态扩展类别（只需提供新的文本描述）。

开源项目：

• 官方实现：https://github.com/openai/CLIP
• 社区改进：如open_clip、clip-interrogator（图像到文本生成）。

复现CLIP

• 使用Hugging Face库加载预训练CLIP模型（如clip-vit-base-patch32）。
• 实现零样本分类任务（如对ImageNet子集进行测试）。

BLIP#

Bootstrapping Language-Image Pre-training（Saleforce Research，2022）

核心思想：通过数据增强、Bootstrapping解决噪声数据问题，同时支持理解与生成任务。

多模态混合编码器-解码器架构：包含图像编码器（ViT）、文本编码器（BERT）和文本解码器（GPT），支持灵活的任务切换（如视觉问答、图像描述生成）。

Caption Filtering & Rewriting：利用模型自身生成高质量图文对，清洗噪声数据，类似生物学中通过转录组筛选差异表达基因（DEGs）优化关键通路分析。

集成ITM（Image-Text Matching）、ITC（Image-Text Contrastive Learning）、MLM等任务，提升多任务泛化能力。

ALBEF#

Align Before Fuse（微软，2021）

强调模态对齐（Image-Text Contrastive Learning）作为多模态融合的前提，通过对比学习拉近图像与文本的嵌入空间距离，再通过跨模态注意力实现特征融合。

• 动量蒸馏：利用动量模型生成伪标签，缓解噪声数据（如网络爬取的图文对）对训练的干扰。
• 多任务联合训练：结合ITM、ITC、MLM
• 轻量级设计：仅需单流架构（ViT+BERT），计算效率高于双流模型。

Flamingo#

Flamingo（DeepMind, 2022）

首个支持少样本学习的多模态模型，通过冻结预训练视觉与语言模块，插入可训练交叉注意力层实现高效适配

• Perceiver Resampler：将视觉特征压缩为固定长度的token序列，解决多图像/视频输入的长序列问题。
• 上下文少样本学习：类似生物学中通过环境动态调控藻酸盐结构（如季节变化对M/G比例的影响），模型能根据少量示例动态调整输出策略。
• 大规模多模态预训练：融合45M图文对和30M视频文本数据，覆盖开放域任务。

多模态大模型的初步认识#

多模态大模型（Multimodal Large Language Model，MMLLM）