1.     

内容简介

2.     

该研究目标是创建一个与用户意图更符合的小型语言模型。通过应用蒸馏监督微调(distilled supervised fine-tuning, dSFT)和蒸馏直接偏好优化(distilled direct preference optimization, dDPO)以及利用AI反馈(AI Feedback, AIF)的偏好数据，研究者成功提升了模型的任务准确性和意图对齐度。ZEPHYR-7B模型以7B参数在聊天基准测试中创立了新标准，无需人工注释，且在MT-Bench测试中超过了之前的模型。此方法的优势包括较短的训练时间和无需额外采样，为开放大型语言模型(LLMs)的发展和微调提供了新方向。同时，研究未考虑模型安全性如可能产生有害输出等问题。

2. 核心算法

这个方法的目标是使一个开源的大型语言模型与用户的意图对齐。在这项工作中，研究者们假设可以访问一个更大的教师模型(Teacher Model)，该模型可以通过提示生成来查询。他们的目标是产生一个学生模型(Student Model)，并且他们的方法遵循与InstructGPT 类似的阶段，如图2所示。

这幅图描述了一个三步骤的方法来进一步训练和优化AI模型。以下是对每个步骤的详细解释：

这幅图描述了一个三步骤的方法来进一步训练和优化AI模型，以下是对每个步骤的详细解释：

1. dSFT (distilled supervised fine-tuning) 步骤:
① 生成多轮AI对话: 开始于从一个数据集中随机选择一个提示。
② 创建场景: 作为示例，AI被要求为一个关于太空探索的游戏创建一个场景。
③ LLM (Language Learning Model) 模拟多轮用户-助理交互: LLM对该场景进行多轮的对话生成，模拟真实的用户与助理之间的互动。
这些对话随后被用于监督式微调。

2. AIF (AI Feedback) 步骤:
① 响应生成和AI排序:  
- 从数据集中抽样得到一个提示，例如，“描述如何制作巧克力布朗尼”。
- 有4个不同的语言模型生成对此提示的响应。
- GPT-4（一个先进的语言模型）对这些响应进行评分和排序。

3. dDPO (distilled Direct Preference Optimization) 步骤:
① AI偏好的提炼:
- 对于同一个提示，例如，“描述如何制作巧克力布朗尼”，选择最佳响应和另一个随机响应。
- 这两个响应被用于直接偏好优化，其中模型会学习根据反馈数据优化其偏好。
- 在此步骤中，模型尝试理解哪一个响应更受偏好，并对其进行相应的调整。

这三个步骤结合起来形成了一个复杂的AI训练和优化方法。首先通过dSFT进行基础的模型训练，然后通过AIF收集反馈并对模型进行评分和排序，最后通过dDPO根据这些反馈优化模型的偏好。

2.1 蒸馏的有监督微调 Distilled Supervised Fine-Tuning (dSFT) 

2.1.1 传统方法

通过对一个高质量instructions和responses的数据集进行有监督的微调 (SFT) 来完成的。

2.1.2 新的方法

给定可以访问一个教师语言模型的能力，让模型生成instructions和responses，我们可以直接在这些数据集上进行训练。

① dSFT的方法遵循self-instruct协议，该协议要求构建一组种子提示(seed prompts)，这些提示代表了多种主题领域。
② 数据集是通过iterative self-prompting(迭代自我提示)来构建的，其中教师模型用于响应一个instruction并根据response优化这个instruction。
③ 对于每一个种子提示，首先从教师模型中抽样得到一个response，然后使用一个提示来进行精炼，并再次从教师模型中抽样得到一个新的instruction。
④ 最终的目标是得到一个数据集，该数据集包含instructions和responses的配对，例如：C = {(x1, y1), ..., (xj, yj)}
⑤ 最后，通过SFT方法进行蒸馏。

重点公式-1 ：偏好模型

公式的目的是在训练过程中最大化模型对给定数据集C中的instruction-response pair的对数似然。这有助于模型更好地学习如何回应用户的提示，从而提高其输出质量。

公式说明：（截图来自我准备的思维导图，微信公众号不支持LaTex语法）

2.1.3 举例说明（辅助理解dSFT的执行流程）

（1）背景
        假设我们正在训练一个简化的语言模型，该模型的任务是对天气相关的问题给出回答。我们想使用 dSFT 方法来进一步优化它。

（2）种子提示(seed prompt)
        我们从以下三个种子提示开始：1.  描述今天的天气。2. 明天会下雨吗？3. 本周的气温范围是多少？

（3）迭代自我提示

        第1步：我们使用已有的教师模型(假设是GPT-4)来响应这些种子提示，假设回答如下：

        1. 对于 "描述今天的天气。"，教师模型可能回应 "今天是晴天，温度约为25°C。"
        2. 对于 "明天会下雨吗？"，教师模型可能回应 "明天有60%的机会下雨。"
        3. 对于 "本周的气温范围是多少？"，教师模型可能回应 "本周的气温范围是20°C到30°C。"

        第2步：接下来，基于每一个种子提示和对应的回应，我们生成新的提示。

        1. 基于 "今天是晴天，温度约为25°C。"，新的提示可能是 "今天的最高和最低温度是多少？"
        2. 基于 "明天有60%的机会下雨。"，新的提示可能是 "明天的降雨量预测是多少？"
        3. 基于 "本周的气温范围是20°C到30°C。"，新的提示可能是 "本周哪一天最冷？"

        第3步：这些新提示再次被提供给教师模型，并生成对应的回应。这一过程可以反复进行，直到达到所需的数据集大小。

（4）最终数据集

在几轮迭代后，我们可能得到以下数据集：

        1. "描述今天的天气。", "今天是晴天，温度约为25°C。"
        2. "明天会下雨吗？", "明天有60%的机会下雨。"
        3. "本周的气温范围是多少？", "本周的气温范围是20°C到30°C。" 
       4. "今天的最高和最低温度是多少？", "最高温度为28°C，最低温度为22°C。"
        5. "明天的降雨量预测是多少？", "预计明天的降雨量为5mm。"

        6. "本周哪一天最冷？", "本周五最冷，预计最低温度为20°C。"

这就是 dSFT 数据集构建过程的一个简化示例。在实际应用中，种子提示、回应和新提示会更加多样化，而且可能涉及到更复杂的主题和领域。

2.2 基于偏好的AI反馈 AI Feedback through Preferences (AIF) 

2.2.1 传统方法

人类反馈 (Human feedback, HF) 可以为对LLM的对齐提供额外的信号，人们通常通过对LLM响应的偏好来给出反馈。

2.2.2 新的方法

对于蒸馏，我们使用教师模型(假设GPT-4)生成的输出的AI偏好。UltraFeedback方法，它使用教师模型为模型输出提供偏好。

2.2.3 AIF 具体步骤
（截图来自我准备的思维导图，微信公众号不支持LaTex语法）

这种方法基本上是为了通过模型的响应获取更好的教师模型反馈。通过对比多个模型的响应，并利用教师模型为这些响应评分，系统可以更好地理解哪些响应更受偏好。这样，模型可以更准确地学习人类的偏好，并据此进行训练和优化。

2.3 蒸馏的直接偏好优化 Distilled Direct Preference Optimization (dDPO) 

2.3.1 目标

dDPO的目标是优化一个特定的模型πdSFT，使其能够在一个称为"preference model 偏好模型"中更好地排名预期输出yw相对于其他输出yl。这其实是一个排序问题，我们希望模型能更频繁地选择yw而不是yl。

2.3.2 奖励函数

奖励函数定义为 r(x,y)，其决定了在给定输入x和输出y的情况下，模型的预测有多好。这个函数利用了一个称为"student language model"的模型。

2.3.3 Direct Preference Optimization (DPO)

传统的技术使用了一种RL方法，先训练奖励，然后采样来计算更新。但DPO采取了一个直接的方法：它直接从所谓的"静态数据"中优化偏好模型。静态数据 (Static Data)是指用户的历史行为数据、购买记录或其他信息，它们不随时间变化。

2.3.4 关键的观察与数学公式

DPO方法的核心是派生两种策略之间的关系：

策略-1: 最优LLM策略π∗

即在给定的条件下最可能导致用户满意的策略。

策略-2: 原始LLM策略πdSFT

这是一个基准策略，可能基于以前的数据或经验来制定。

给定上述策略，奖励函数：

2.3.5 目标函数

当我们将奖励函数插入到偏好模型中，我们可以得到以下的目标函数:

这个公式基本上表示：我们希望最大化在给定输入x时选择yw而不是yl的可能性。

2.3.6 训练过程

这部分描述了如何使用上述目标函数进行模型训练：

对于每一个 AIF三元组 (x, yw, yl)，计算过程如下：

① 在 dSFT 模型中计算 (x, yw) 和 (x, yl) 的概率；

② 在 dDPO 模型中计算 (x, yw) 和 (x, yl) 的概率；

根据上述的 目标函数(公式-1) 计算损失，并进行反向传播更新模型。

2.3.7 举例说明：（辅助理解PPO与DPO的区别）

假设我们正在训练一个电子游戏中的代理(Agent)，代理的任务是在迷宫中寻找宝藏。

（1）传统方法：PPO (Proximal Policy Optimization）

策略：

        PPO 通过迭代地优化代理的策略来使其更好地在迷宫中寻找宝藏

工作流程：

        ① 代理根据当前的策略在迷宫中行动，收集一系列的经验数据。
       ② 使用这些经验数据来更新策略，使得新策略不会偏离原策略太多（这就是“proximal”的意思）。
        ③  重复以上步骤，直到代理能够有效地找到宝藏。

（2）新的方法：DPO (Direct Preference Optimization)

策略：

            DPO 直接从已有的静态数据中优化代理的偏好模型。

工作流程：

            ① 假设我们已经有了一堆代理在迷宫中寻找宝藏的历史数据。这些数据包含了在给定状态下，代理的不同行动及其结果。
            ② DPO 不直接更新策略，而是更新一个偏好模型，这个模型会预测在给定状态下哪个行动更受代理的偏好（或者说哪个行动更有可能找到宝藏）。
            ③ 根据偏好模型，代理可以选择其认为最佳的行动。这种方法的优点是可以直接从静态数据中学习，不需要像 PPO 那样反复地与环境交互。

出自：https://mp.weixin.qq.com/s/RyfEC7u8O0wO6YyLr1lLlA