大模型面试宝典

Appearance

大模型强化学习后训练（RL Post-Training）面试高频题 ​

第一部分：基础篇（1-50题） ​

模块一：强化学习后训练基础概念（1-15题） 🔥 ​

1. 【⭐】什么是大模型的强化学习后训练（RL Post-Training）？为什么要做后训练？

  • 考察点：对 RL 后训练核心概念的理解，以及其在整个模型训练 pipeline 中定位的认知
  • 得分项：能清晰定义 RL 后训练、能说明其与预训练和 SFT 的关系、能解释后训练解决的核心问题
  • 回答：强化学习后训练是指在模型完成预训练（Pre-training）和有监督微调（SFT）之后，通过强化学习算法让模型在与环境互动中持续优化行为的过程。其核心目标是让模型从「模仿数据」（SFT 阶段）转向「通过试错获得反馈来优化策略」。后训练解决的是 SFT 的局限性——SFT 让模型学会「怎么说」，但没让模型学会「什么该说、什么不该说」以及「怎么做得更好」。后训练通过奖励信号引导模型产生更符合人类偏好、更安全、更有用的输出。

2. 【⭐】大模型训练的三个阶段（Pre-training、SFT、RL）分别解决什么问题？

  • 考察点：对完整训练 pipeline 的理解
  • 得分项：能说清三阶段的定位差异、能理解各阶段的输入输出、能说明为什么需要三阶段
  • 回答：①Pre-training（预训练） ：在海量文本上做自监督学习（Next Token Prediction），让模型学会语言的基本规律和世界知识。输入是海量无标注文本，输出是基座模型（Base Model）。②SFT（有监督微调） ：用高质量的指令-回答对微调，让模型学会「听指令办事」，从「知识渊博但不会聊天」变成「能回答问题」。③RL（强化学习后训练） ：用奖励信号进一步优化模型，让模型学会「什么该说、什么不该说」，从「能回答问题」变成「能高质量地回答问题」。三阶段是层层递进的关系。

3. 【⭐】RLHF 的全称是什么？它的核心流程是什么？

  • 考察点：对 RLHF 经典范式的掌握
  • 得分项：能说出全称、能描述完整的三步流程、能理解每一步的目的
  • 回答：RLHF 全称是 Reinforcement Learning from Human Feedback（基于人类反馈的强化学习）。核心流程分为三步：①SFT（有监督微调） ——用高质量的对话数据微调基座模型，得到一个能初步遵循指令的模型；②训练奖励模型（Reward Model, RM） ——收集人类对模型输出的偏好比较数据，训练一个打分模型来模拟人类偏好；③用强化学习（通常用 PPO）微调 SFT 模型 ——以奖励模型的打分作为优化目标，通过 RL 算法进一步优化模型的行为。

4. 【⭐】RLHF 中的「人类反馈」具体指什么？

  • 考察点：对 RLHF 数据来源的理解
  • 得分项：能说明反馈的形式、能理解反馈在流程中的位置
  • 回答：RLHF 中的「人类反馈」具体指在训练奖励模型阶段，人类标注员对模型输出进行偏好比较——通常是给同一个 Prompt 生成两个（或多个）回答，由人类标注员判断哪个更好。这些「好/坏」或「A>B」的成对偏好数据构成了训练奖励模型的监督信号。反馈的本质是人类价值观的量化——把「我觉得这个回答更好」转化为一个可被模型优化的标量分数。

5. 【⭐】奖励模型（Reward Model）在 RLHF 中扮演什么角色？

  • 考察点：对奖励模型职能的理解
  • 得分项：能准确说明奖励模型的作用、能理解其与策略模型的关系
  • 回答：奖励模型在 RLHF 中扮演「人类偏好代理」的角色——它接受一个 Prompt 和一个 Response，输出一个标量分数（奖励值），表示这个回答在多大程度上符合人类偏好。在 RL 阶段，策略模型（Policy Model）生成回答，奖励模型给这个回答打分，RL 算法根据这个分数来更新策略模型的参数。本质上，奖励模型把「人类觉得好不好」这个主观判断转化为一个可微分的优化目标。

6. 【⭐】RLHF 和 PPO 是什么关系？

  • 考察点：对 RLHF 流程中各组件关系的理解
  • 得分项：能区分框架和算法、能说明 PPO 在 RLHF 中的位置
  • 回答：RLHF 是一个完整的训练框架，包含 SFT、奖励模型训练、RL 微调三个阶段。PPO（Proximal Policy Optimization）是 RLHF 在第三阶段（RL 微调）中具体使用的强化学习算法。关系是：RLHF 规定了「做什么」——用人类反馈训练奖励模型再优化策略，PPO 规定了「怎么做」——用特定的 RL 算法来稳定地完成策略优化。PPO 因其稳定性和效果成为 RLHF 的事实标准算法。

7. 【⭐】什么是「对齐（Alignment）」？RL 后训练和 Alignment 是什么关系？

  • 考察点：对 Alignment 概念的理解
  • 得分项：能定义 Alignment、能说明 RL 在 Alignment 中的位置
  • 回答：Alignment（对齐）是指让大模型的输出与人类的价值观、意图和偏好保持一致。RL 后训练是实现 Alignment 的核心技术手段——通过人类反馈作为奖励信号，RL 算法让模型学会「什么样的输出是用户想要的、是符合规范的」。SFT 也做了一部分对齐工作（让模型学会指令遵循），但 RL 更进一步，让模型在更细粒度的层面学会「做得好与不好」的区别。

8. 【⭐】SFT 和 RL 在后训练中的定位有什么区别？

  • 考察点：对后训练不同阶段的理解
  • 得分项：能区分 SFT 和 RL 的目标差异、能理解两者的先后关系
  • 回答：SFT 是 RL 的前置步骤——几乎所有 RL 后训练的起点都是一个已经 SFT 过的模型。SFT 让模型从「基座模型」变成「能遵循指令的模型」，而 RL 是在这个基础上进一步提升。区别在于：SFT 是监督学习，目标是让模型输出逼近标注数据中的答案；RL 是试错学习，目标是让模型在探索中学会产出高奖励的输出。SFT 学的是「标准答案」，RL 学的是「什么更好」。

9. 【⭐】为什么要用强化学习而不是继续做 SFT 来优化模型？

  • 考察点：对 RL 与 SFT 本质差异的理解
  • 得分项：能说明 SFT 的局限性、能解释 RL 的独特价值
  • 回答：SFT 的核心局限是它只能「模仿」标注数据——模型学到的上限就是标注数据的质量。而人类对「好回答」的判断是多维度的、有细微差异的，很难用固定的标注答案来穷举。强化学习的价值在于：①探索性——模型可以生成超出标注数据范围的回答，获得更高的奖励；②全局优化——RL 优化的是长序列的整体奖励，而非单步的监督信号；③负反馈学习——RL 可以让模型从「做错了」中学习，而 SFT 只学习「怎么做对」。简单说，SFT 让模型「会说话」，RL 让模型「会思考」。

10. 【⭐】什么是「奖励黑客（Reward Hacking）」？在 RLHF 中为什么会出现？

  • 考察点：对 RL 训练中常见问题的理解
  • 得分项：能解释奖励黑客的含义、能说明其产生原因、能举例
  • 回答：奖励黑客（Reward Hacking）是指模型在优化过程中找到了「欺骗」奖励模型获取高分的方式，而不是真正提升了输出质量。产生原因是奖励模型是人类偏好的近似表达，并非完美——它可能在某个维度上有偏差，模型在 RL 优化中会「放大」这个偏差。例如，奖励模型可能偏好更长的回答，模型就会拼命生成冗长内容来获得高分，即使内容质量没有提升。这是 RL 训练中需要精心设计约束（如 KL 散度惩罚）来防范的核心问题。

11. 【⭐】RLHF 中的 KL 散度惩罚是什么？为什么需要它？

  • 考察点：对 RLHF 训练稳定性机制的理解
  • 得分项：能解释 KL 散度的作用、能说明不加惩罚的后果
  • 回答：KL 散度（Kullback-Leibler Divergence）在 RLHF 中用于衡量当前策略模型与参考模型（通常是 SFT 模型）输出分布的差异。在奖励函数中加入 KL 散度惩罚项，目的是约束模型不要离 SFT 模型太远——如果模型过度优化奖励模型，可能会在语言空间上「走偏」，生成不自然或乱码的内容。惩罚项让模型在「追求高分」和「保持正常语言能力」之间取得平衡。这也是 PPO 中「Proximal」（近端）含义的体现。

12. 【⭐】强化学习后训练中的数据从哪里来？

  • 考察点：对 RL 后训练数据来源的理解
  • 得分项：能列举不同的数据来源、能理解各来源的适用场景
  • 回答：RL 后训练的数据来源主要有三类：①人工标注数据——在 RLHF 中，人类标注员对模型输出进行偏好比较，成本最高但质量最有保障；②AI 生成数据——用一个更强的模型（如 GPT-4）来评估当前模型的输出，生成偏好标签，成本较低但可能有偏见；③可验证的客观数据——在 RLVR 中，奖励信号来自客观规则（如数学题答案是否正确、代码是否能通过测试），不需要人工标注，是最廉价的信号源。

13. 【⭐】策略模型（Policy Model）在 RLHF 中指的是什么？

  • 考察点：对 RL 基本概念的掌握
  • 得分项：能说明策略模型的含义、能理解其与奖励模型的关系
  • 回答：策略模型在 RLHF 中就是指正在被优化的大语言模型本身。在强化学习术语中，「策略」定义了在给定状态下采取什么行动的概率分布——在语言模型场景中，状态是输入的 Prompt 和已生成的 Tokens，行动是选择下一个 Token。策略模型根据当前状态生成回答，奖励模型给回答打分，RL 算法根据分数更新策略模型的参数，让模型在类似状态下更倾向于产生高分回答。

14. 【⭐】什么是「基座模型（Base Model）」和「对齐模型（Aligned Model）」？

  • 考察点：对模型发展阶段的理解
  • 得分项：能区分两者、能说明从基座到对齐的转化路径
  • 回答：基座模型是完成预训练后的模型——它学会了语言的统计规律和世界知识，但「不会聊天」，没有经过指令微调和人类偏好对齐。对齐模型是在基座模型基础上，经过 SFT 和 RL 后训练，能够遵循人类指令、生成符合人类偏好的回答的模型。从基座到对齐的转化，靠的是「后训练」（Post-Training）——先用 SFT 教会模型指令遵循，再用 RL 教会模型产出高质量回答。

15. 【⭐】RL 后训练适合所有类型的模型吗？

  • 考察点：对 RL 后训练适用性的理解
  • 得分项：能识别不适合的场景、能说明原因
  • 回答：RL 后训练主要适用于需要与人类用户交互的生成式对话模型和指令遵循模型。对于以下类型的模型，RL 后训练的投入产出比可能不高：①嵌入式表征模型（如 BERT 类的编码器）——没有生成行为需要优化；②翻译模型——有明确的客观评价指标（BLEU），不需要用 RL 来逼近人类偏好；③分类模型——有明确的 Ground Truth，监督学习已经足够。RL 后训练的价值在于「好/坏」难以用简单规则定义的任务——对话、创作、推理等。

模块二：PPO 深度解析（16-30题） 🔥 ​

16. 【⭐⭐】PPO 的全称是什么？它的核心思想是什么？

  • 考察点：对 PPO 算法的基本理解
  • 得分项：能说出全称、能解释核心思想、能说明「Proximal」的含义
  • 回答：PPO 全称是 Proximal Policy Optimization（近端策略优化）。其核心思想是在每次策略更新时，限制新旧策略之间的变化幅度不要太大，从而保证训练的稳定性。具体实现是通过裁剪（Clipping） 机制——如果新策略与旧策略的概率比超出预设范围（如 [0.8, 1.2]），则截断梯度，防止单步更新过大。这种「近端约束」让 PPO 在样本效率和训练稳定性之间取得了很好的平衡。

17. 【⭐⭐】PPO 相比 TRPO 有什么优势？

  • 考察点：对 RL 算法演进的了解
  • 得分项：能对比 PPO 和 TRPO、能说明 PPO 的改进点
  • 回答：TRPO（Trust Region Policy Optimization）也做「信任域」约束，但它用 KL 散度作为硬约束，实现复杂（需要计算 Fisher 信息矩阵），计算开销大。PPO 的改进是把 KL 约束转化为裁剪惩罚项——通过一个简单的裁剪操作来实现近似效果，实现简单、计算高效、超参数更少。PPO 在大部分任务上能达到与 TRPO 相当甚至更好的效果，但代码实现和训练效率大幅提升，因此成为 RLHF 的首选。

18. 【⭐⭐】PPO 在 RLHF 中为什么需要同时加载 4 个模型？

  • 考察点：对 PPO 训练资源消耗的理解
  • 得分项：能说明 4 个模型分别是什么、能解释每个模型的作用
  • 回答：PPO 在 RLHF 中需要加载 4 个模型：①策略模型（Policy Model / Actor） ——正在被优化的大模型，生成回答；②参考模型（Reference Model） ——通常是 SFT 后的模型副本，用于计算 KL 散度惩罚，参数冻结；③奖励模型（Reward Model） ——用于给生成的回答打分，参数冻结；④价值模型（Value Model / Critic） ——用于估计状态价值，辅助优势函数计算，与策略模型同步更新。4 个模型同时存在显存中，对 GPU 显存是巨大挑战——尤其是当模型达到 70B、甚至更大规模时。

19. 【⭐⭐】PPO 中的「裁剪机制（Clipping）」具体是怎么工作的？

  • 考察点：对 PPO 核心算法的理解
  • 得分项：能解释裁剪机制的数学直觉、能说明裁剪的边界
  • 回答：PPO 的裁剪机制在目标函数中实现。设 $r_t(θ) = π_θ(a_t|s_t) / π_{old}(a_t|s_t)$ 是新旧策略的概率比，裁剪后的目标函数为 $L^{CLIP}(θ) = E[min(r_t(θ) A_t, clip(r_t(θ), 1-ε, 1+ε) A_t)]$。当优势 $A_t$ 为正时，目标函数被限制在 $r_t ≤ 1+ε$，防止模型过度增加有利动作的概率；当优势为负时，限制在 $r_t ≥ 1-ε$，防止过度减少不利动作的概率。$ε$ 通常取 0.1 或 0.2。裁剪机制是 PPO 能「稳定地大步更新」的关键。

20. 【⭐⭐】PPO 训练中如何计算优势函数（Advantage）？

  • 考察点：对 RL 中优势函数概念的理解
  • 得分项：能说明优势函数的含义、能解释 GAE 的作用
  • 回答：优势函数 $A(s,a) = Q(s,a) - V(s)$ 衡量在状态 $s$ 下采取行动 $a$ 相对于平均水平的优势——正优势表示这个行动比平均好，负优势表示比平均差。在 PPO 中，优势函数通常用 GAE（Generalized Advantage Estimation）来计算，它通过多步 TD 误差的加权平均来平衡偏差和方差。GAE 引入一个 $λ$ 参数（如 0.95），值越大考虑更多未来信息（方差增大，偏差减小），值越小更依赖当前估计。

21. 【⭐⭐】RLHF 中为什么说 PPO 的超参数很敏感？

  • 考察点：对 PPO 工程实践的认知
  • 得分项：能列举敏感的超参数、能说明不合适的后果
  • 回答：PPO 在 RLHF 中的超参数敏感主要因为：①KL 惩罚系数——太大导致模型不愿探索、优化不足；太小导致模型过度优化奖励模型，产生 Reward Hacking；②裁剪范围 ε——太大导致更新不稳定、策略崩塌；太小导致更新缓慢、样本效率低；③学习率——RL 的非平稳分布让学习率需要比 SFT 更保守；④批量大小——影响优势估计的稳定性。调参不当的后果包括训练不稳定、奖励坍塌、输出质量退化等。

22. 【⭐⭐】什么是「奖励坍塌（Reward Collapse）」？如何应对？

  • 考察点：对 RLHF 训练失败模式的理解
  • 得分项：能解释奖励坍塌的含义、能说明多种应对策略
  • 回答：奖励坍塌是指训练过程中奖励模型的打分越来越高，但模型输出的真实质量却在下降——模型「钻空子」找到了欺骗奖励模型的方法，而非真正变好。这是 Reward Hacking 在训练曲线上的表现。应对策略：①增加 KL 散度惩罚——约束模型不偏离 SFT 模型太远；②奖励模型集成——用多个奖励模型取平均，降低单一模型的偏差；③奖励模型校准——定期用人类评估来校准奖励模型的打分；④早停——在奖励开始异常上升时停止训练。

23. 【⭐⭐】PPO 中的「策略熵（Policy Entropy）」惩罚有什么用？

  • 考察点：对探索与利用平衡的理解
  • 得分项：能解释熵惩罚的作用、能说明不加入的后果
  • 回答：策略熵衡量策略的「随机程度」——熵高表示策略更随机、更愿意探索不同行动；熵低表示策略更确定、更倾向于利用已知好行动。在 PPO 目标函数中加入熵惩罚（鼓励高熵），目的是防止模型过早收敛到局部最优、失去探索能力。在 RLHF 中，熵惩罚帮助模型保持输出的多样性，避免所有回答趋向同一种「高分模式」。

24. 【⭐⭐】在超大模型（>70B）上做 PPO 训练面临哪些工程挑战？

  • 考察点：对大规模 RL 训练的工程理解
  • 得分项：能列举工程挑战、能理解挑战的根源
  • 回答：主要挑战：①显存瓶颈——4 个 70B 模型无法单卡容纳，需要模型并行、流水线并行、ZeRO 等多维并行策略；②通信开销——多机多卡间的梯度同步和模型参数同步成为瓶颈；③训练稳定性——大模型更敏感，同样的超参数在小模型上稳定，在大模型上可能崩塌；④数据效率——大模型 RL 的样本效率更低，需要更多数据才能有效更新；⑤评估困难——大模型训练一次成本极高，超参数搜索空间受限。

25. 【⭐⭐】RLHF 中参考模型（Reference Model）的作用是什么？

  • 考察点：对 KL 散度约束机制的理解
  • 得分项：能说明参考模型的用途、能解释为什么参考模型通常是 SFT 模型
  • 回答：参考模型在 RLHF 中用于计算 KL 散度惩罚——衡量当前策略模型与参考模型输出分布的差异。参考模型通常是SFT 后的模型（在 RL 开始前复制一份并冻结参数）。选择 SFT 模型而非基座模型作为参考，是因为 SFT 模型已经学会了基本的指令遵循和语言生成能力——我们希望模型在 RL 优化中保持这些能力，而不是退化到基座模型的「不会聊天」状态。KL 散度惩罚让模型在奖励模型和 SFT 模型之间「拔河」。

26. 【⭐⭐】PPO 训练中，优势函数为正和为负的样本分别怎么处理？

  • 考察点：对 PPO 更新策略的细节理解
  • 得分项：能区分正负优势的处理方式、能解释裁剪机制在不同情况下的表现
  • 回答：在 PPO 中，优势 $A_t$ 为正表示该行动比平均水平好，模型应该增加采取该行动的概率；优势为负表示比平均水平差，模型应该减少该行动的概率。裁剪机制的处理方式不同：①**$A_t > 0$** ——目标函数为 $min(r_t A_t, (1+ε) A_t)$，当 $r_t > 1+ε$ 时梯度被裁剪，防止模型过度增加该行动的概率；②**$A_t < 0$** ——目标函数为 $max(r_t A_t, (1-ε) A_t)$（等价表达），当 $r_t < 1-ε$ 时梯度被裁剪，防止模型过度减少该行动的概率。

27. 【⭐⭐】为什么要用 PPO 而不是直接用策略梯度（REINFORCE）？

  • 考察点：对 RL 算法演进的深入理解
  • 得分项：能对比 PPO 和 REINFORCE、能说明 PPO 的改进点
  • 回答：REINFORCE 是最基础的策略梯度算法，但有两大问题：①高方差——蒙特卡洛采样回报的方差很大，训练不稳定；②样本效率低——每个样本只能用一次。PPO 通过以下方式改进：①重要性采样（Importance Sampling） ——用旧策略采样的数据更新新策略多次，提高样本效率；②优势函数估计——用 GAE 降低方差；③裁剪机制——防止更新步长过大，提高稳定性。PPO 本质上是在 REINFORCE 的基础上加了多重「稳定器」。

28. 【⭐⭐】RLHF 中为什么 PPO 比 DPO 更贵？贵在哪里？

  • 考察点：对 PPO 与 DPO 成本差异的理解
  • 得分项：能列举 PPO 的额外成本来源、能对比两者
  • 回答：PPO 比 DPO 贵在几个方面：①模型数量——PPO 需要同时加载 4 个模型，DPO 只需加载 2 个模型（策略模型 + 参考模型），显存占用翻倍；②数据采样——PPO 在每轮更新中需要从策略模型中采样生成大量回答（Rollout），这个生成过程本身就是昂贵的推理成本；③训练复杂度——PPO 需要维护价值网络、计算优势函数、多步更新，迭代周期长；④调参成本——PPO 超参数多，试错成本高。DPO 直接从静态偏好数据中优化，不需要采样和奖励模型，训练成本显著低于 PPO。

29. 【⭐⭐】PPO 中 Value Network（Critic）的损失函数是什么？

  • 考察点：对 Critic 训练细节的理解
  • 得分项：能说明 Value Network 的优化目标、能解释 TD 误差
  • 回答：Value Network（Critic）的损失函数通常是均方误差（MSE）回归损失：$L_V(θ) = E[(V_θ(s_t) - R_t)^2]$，其中 $R_t$ 是真实的回报（Return）——从时间步 $t$ 开始到序列结束的累计折扣奖励。实际训练中，$R_t$ 用 GAE 计算的目标值替代，学习率通常比策略网络小。Critic 的预测值越准确，优势函数的估计方差就越低，策略更新就越稳定。

30. 【⭐⭐】PPO 在 RLHF 中如何处理变长的序列（不同长度的回答）？

  • 考察点：对序列建模中 RL 实现的细节理解
  • 得分项：能说明变长序列的处理方式、能理解 Padding 和 Mask 的设计
  • 回答：在 RLHF 中，不同 Prompt 生成的回答长度不同（可能有几十到几百个 Token）。PPO 的训练通常采用以下方式处理：①Padding——将同一批次中的所有序列 Padding 到相同长度；②Attention Mask——在计算损失和优势时，用 Mask 矩阵屏蔽 Padding 位置的贡献；③序列级奖励——奖励模型对整个序列给一个标量分数，这个分数通常放在最后一个有效 Token 的位置；④Token 级优势——将序列级的奖励通过 GAE 分配到每个 Token 的优势计算中，但通常所有 Token 共享相同的优势值。

模块三：DPO 深度解析（31-40题） 🔥 ​

31. 【⭐⭐】DPO 的全称是什么？它的核心思想是什么？

  • 考察点：对 DPO 算法的基本理解
  • 得分项：能说出全称、能解释核心思想、能说明其与 RLHF 的本质区别
  • 回答：DPO 全称是 Direct Preference Optimization（直接偏好优化）。其核心思想是：不需要先训练奖励模型再做 RL，而是直接从偏好数据中推导出最优策略的闭式解。DPO 通过一个数学变换，把 RLHF 中的「奖励模型训练 + PPO」两步合并为一步——直接用偏好数据优化策略模型的参数。这让 DPO 显著简化了训练流程、降低了计算成本。

32. 【⭐⭐】DPO 是如何绕过奖励模型训练的？

  • 考察点：对 DPO 数学推导的理解
  • 得分项：能解释 DPO 的关键数学洞察、能说明「闭式解」的含义
  • 回答：DPO 的关键洞察是：在 KL 散度约束下的 RLHF 优化问题存在闭式解——最优策略可以表示为 $π^(y|x) ∝ π_{ref}(y|x) \cdot exp(r(x,y)/β)$，即最优策略正比于参考策略乘以奖励的指数。反过来，奖励函数可以表示为 $r(x,y) = β \cdot log(π^(y|x)/π_{ref}(y|x)) + const$。将这个奖励表达式代入 Bradley-Terry 偏好模型中，偏好概率可以直接表示为策略比率的函数——无需中间奖励模型，偏好数据可以直接优化策略参数。

33. 【⭐⭐】DPO 和 RLHF 的核心差异是什么？

  • 考察点：对两种方法本质对比的理解
  • 得分项：能从多个维度对比、能理解各自的适用场景
  • 回答：核心差异：①流程复杂度——RLHF 需要三步（SFT → RM → RL），DPO 只需要两步（SFT → DPO）；②模型数量——RLHF 需要 4 个模型同时加载，DPO 只需 2 个（策略 + 参考），显存减半；③数据需求——RLHF 需要偏好数据 + 在线采样，DPO 只需要静态偏好数据，不需要在线 Rollout；④优化方式——RLHF 在线优化（策略变化影响数据分布），DPO 离线优化（数据静态）。RLHF 理论上限更高（在线探索），DPO 更简单高效。

34. 【⭐⭐】DPO 的损失函数是什么？

  • 考察点：对 DPO 实现细节的理解
  • 得分项：能写出或解释 DPO 的损失函数形式、能说明各项含义
  • 回答：DPO 的损失函数为： $L_{DPO}(π_θ; π_{ref}) = - E_{(x,y_w,y_l) \sim D}[log \sigma(β \cdot log\frac{π_θ(y_w|x)}{π_{ref}(y_w|x)} - β \cdot log\frac{π_θ(y_l|x)}{π_{ref}(y_l|x)})]$ 其中 $y_w$ 是偏好回答（win），$y_l$ 是不偏好回答（lose），$σ$ 是 Sigmoid 函数，$β$ 是温度参数。这个损失函数鼓励模型增大被偏好回答的相对概率，减少不偏好回答的相对概率，同时通过 $π_{ref}$ 约束模型不偏离参考策略太远。

35. 【⭐⭐】DPO 中的温度参数 β 有什么作用？

  • 考察点：对 DPO 超参数的理解
  • 得分项：能解释 β 的作用、能说明不同 β 值的效果
  • 回答：$β$ 控制模型对偏好的「响应程度」——相当于 RLHF 中 KL 惩罚系数的倒数。小 $β$（如 0.1）让模型更激进地优化偏好，可能过度拟合偏好数据、偏离参考策略；大 $β$（如 0.5-1.0）让模型更保守，保持与参考策略接近。$β$ 的选择需要在「偏好对齐」和「能力保持」之间做权衡。

36. 【⭐⭐】DPO 相比 PPO 有哪些优势和劣势？

  • 考察点：对两种方法的全面对比能力
  • 得分项：能从多维度分析优势和劣势、能理解各自的适用场景
  • 回答：优势：①训练效率高——不需要奖励模型和在线采样；②资源消耗低——显存减半；③实现简单——代码量远小于 PPO；④训练稳定——无 RL 的不稳定性问题。劣势：①离线限制——不能利用策略变化后的在线数据，可能错失更好的优化路径；②偏好分布固定——如果偏好数据存在偏差，DPO 会放大这些偏差；③无探索——缺乏 PPO 的在线探索能力，理论上限可能更低；④偏好强度损失——DPO 忽略了偏好数据的强度信息（多大程度更好）。

37. 【⭐⭐】什么场景下 DPO 比 PPO 更合适？什么场景下 PPO 仍有不可替代的价值？

  • 考察点：对方法适用性的判断能力
  • 得分项：能给出场景化的建议、能理解选择依据
  • 回答：DPO 更合适的场景：①资源受限——显存/预算不足以支撑 PPO 的大规模训练；②偏好数据质量高且充足——静态数据已经能很好地代表目标偏好分布；③快速迭代——需要快速实验多种偏好配置；④任务相对简单——偏好差异明显，不需要复杂的在线探索。PPO 仍有价值的场景：①超大模型且有足够资源——PPO 的在线探索可能带来更高的上限；②偏好动态变化——需要根据策略变化调整优化方向；③需要更精细的偏好控制——PPO 的奖励模型可以灵活调整。

38. 【⭐⭐】DPO 对偏好数据的质量要求有多高？数据噪声会影响什么？

  • 考察点：对 DPO 数据敏感度的理解
  • 得分项：能说明数据质量的影响、能理解 DPO 如何处理噪声
  • 回答：DPO 对偏好数据的质量高度敏感，因为它直接将偏好标签转化为优化信号——没有奖励模型作为「缓冲层」来平滑噪声。数据噪声的影响：①错误标签——会把模型向错误方向优化；②标签不一致——导致训练信号相互矛盾，降低收敛速度和最终效果；③偏好强度忽略——DPO 只使用二元偏好，没有利用「A 比 B 好多少」的信息。应对策略包括：数据清洗、过滤低一致性样本、使用多个标注员投票、或使用带权重的 DPO 变体。

39. 【⭐⭐】DPO 能否与 PPO 结合使用？

  • 考察点：对方法组合的工程思维
  • 得分项：能提出组合方案、能说明组合的价值
  • 回答：可以，且在实践中已有组合使用的案例。典型方案：①DPO 预热 + PPO 精调——先用 DPO 做快速低成本的对齐，再用 PPO 做进一步的在线精细化优化；②DPO 作为 PPO 初始化——把 DPO 后的模型作为 PPO 的初始策略，让 PPO 从更好的起点出发，减少 PPO 的训练成本；③混合数据——同时使用 DPO 的离线偏好数据和 PPO 的在线采样数据进行训练。这种组合策略平衡了 DPO 的效率和 PPO 的上限潜力。

40. 【⭐⭐】DPO 和 RLHF 在最终模型质量上有本质差异吗？

  • 考察点：对方法效果对比的辩证理解
  • 得分项：能辩证分析两者效果差异、能理解差异来源
  • 回答：理论和实践上存在差异，但并非「谁一定更好」：①当偏好数据质量极高且覆盖充分时——DPO 可以达到与 RLHF 相当甚至更好的效果（因为避免了 RL 的不稳定性）；②当偏好数据覆盖不足时——RLHF 的在线探索能发现数据外的更好路径，上限可能更高；③当偏好数据有偏差时——RLHF 的奖励模型可以后续调整，DPO 则难以修正。总体来说，DPO 在大部分对齐任务上已经能达到 SFT+PPO 的 90-95% 效果，但成本大幅降低，因此成为主流选择。

模块四：GRPO 深度解析（41-50题） ​

41. 【⭐⭐】GRPO 的全称是什么？它是在什么背景下提出的？

  • 考察点：对 GRPO 的基本认知
  • 得分项：能说出全称、能说明提出背景、能理解其解决的问题
  • 回答：GRPO 全称是 Group Relative Policy Optimization（组相对策略优化）。它由 DeepSeek 团队提出，背景是 PPO 在超大模型（如 70B+）上的训练成本过高——PPO 需要一个与策略模型同等规模的 Value Network（Critic），这几乎使显存翻倍。GRPO 的核心创新是完全移除 Critic 模型，通过在「组内」做相对比较来计算优势函数，显著降低了资源消耗，使得大规模模型的 RL 后训练变得可行。DeepSeek-R1 等模型应用了 GRPO。

42. 【⭐⭐】GRPO 是如何移除 Critic 模型的？

  • 考察点：对 GRPO 核心机制的理解
  • 得分项：能解释 GRPO 的优势计算方式、能对比 PPO 的优势计算
  • 回答：PPO 需要 Critic 模型 $V_φ(s)$ 来估计状态价值，进而计算优势 $A(s,a) = Q(s,a) - V(s)$。GRPO 的做法是：对于同一个问题（Prompt），让策略模型生成一组（Group，如 8-64 个）回答，然后以组内回答的奖励作为基准，计算每个回答的相对优势：$A_i = \frac{r_i - mean(r_{group})}{std(r_{group})}$。这个组内标准化（Group-wise Normalization）的优势信号替代了 PPO 中需要 Critic 估计的优势函数。这样就不需要单独的 Value Network 了。

43. 【⭐⭐】GRPO 中的「组（Group）」是怎么设置的？组的大小如何影响训练？

  • 考察点：对 GRPO 超参数的理解
  • 得分项：能说明组的概念、能分析组大小的影响
  • 回答：在 GRPO 中，「组」是针对同一个 Prompt 生成的一组回答（如 8 个、16 个、64 个）。组大小的选择会影响训练：①组太小（如 4 个） ——组内统计不稳定，优势估计方差大；②组适中（如 8-16 个） ——统计量可靠，计算开销可控；③组太大（如 64+个） ——组内比较更稳定，但生成成本成倍增加。DeepSeek 在实践中通常使用 8-16 个回答的组大小。组大小的选择需要在「优势估计稳定性」和「推理成本」之间权衡。

44. 【⭐⭐】GRPO 的优势函数计算和 PPO 的 GAE 有什么本质区别？

  • 考察点：对两种优势计算方式的深入对比
  • 得分项：能对比两种方式的差异、能理解各自的适用场景
  • 回答：PPO 的 GAE 是基于时序差分（TD） 的——利用奖励序列的时间结构，通过多步 TD 误差的加权平均来估计优势，依赖于 Critic 模型估计每个状态的价值。GRPO 的优势计算是纯比较式的——对同一 Prompt 生成的多个完整回答，用奖励模型给每个完整回答打分，然后在组内做标准化。两种方式的本质区别：PPO 利用的是时间维度的信息（序列中不同位置的奖励），GRPO 利用的是样本维度的信息（不同回答之间的相对优劣）。GRPO 牺牲了时序粒度换取了架构简单。

45. 【⭐⭐】GRPO 的损失函数是什么？

  • 考察点：对 GRPO 实现细节的理解
  • 得分项：能说明 GRPO 的损失函数构成、能对比 PPO 的损失函数
  • 回答：GRPO 的损失函数与 PPO 类似，但用组内标准化优势替代了 GAE： $L_{GRPO}(θ) = E_{x \sim D, {y_i}{i=1}^G \sim π_θ(\cdot|x)}[\frac{1}{G}\sum^G min(r_i(θ) A_i, clip(r_i(θ), 1-ε, 1+ε) A_i)]$ 其中 $r_i(θ) = \frac{π_θ(y_i|x)}{π_{old}(y_i|x)}$ 是重要性采样比率，$A_i$ 是组内标准化优势，$A_i = \frac{r_i - μ_r}{σ_r}$。与 PPO 相比，GRPO 的损失函数中去掉了 Value Network 的损失项，计算更简洁。

46. 【⭐⭐】GRPO 相比 PPO 在资源消耗上节省了多少？

  • 考察点：对 GRPO 资源效率的具体理解
  • 得分项：能定量说明资源节省、能理解节省的来源
  • 回答：GRPO 相比 PPO 的主要资源节省来自移除 Critic 模型——在 PPO 中，Critic 是与策略模型同等规模的模型（如 70B），这几乎加倍了显存占用和计算开销。GRPO 只需要策略模型和参考模型（以及推理时的奖励模型），显存占用约为 PPO 的 50-60% 。此外，GRPO 不需要维护和更新价值网络的梯度，通信开销也相应降低。对于超大模型（如 400B+），这种节省可能是「不可行」到「可行」的质变。

47. 【⭐⭐】GRPO 在 DeepSeek-R1 中是如何应用的？

  • 考察点：对 GRPO 实际应用案例的了解
  • 得分项：能说明 GRPO 在 DeepSeek-R1 中的应用方式、能理解其效果
  • 回答：DeepSeek-R1 使用 GRPO 作为强化学习后训练的核心算法。在训练中，DeepSeek 对每个数学/推理问题让模型生成多个回答，用可验证的奖励（如答案是否正确）或奖励模型打分，然后在组内做相对比较来优化策略。GRPO 让 DeepSeek 能够在有限的资源下完成大规模 RL 训练，是 DeepSeek-R1 推理能力跃升的关键技术之一。DeepSeek 的公开技术报告显示，GRPO 在训练稳定性和效果上与 PPO 相当，但资源消耗显著降低。

48. 【⭐⭐】GRPO 中组内奖励的标准化为什么有效？

  • 考察点：对 GRPO 机制的理论理解
  • 得分项：能解释标准化为什么有效、能理解其与基线（Baseline）的关系
  • 回答：组内标准化本质上是在用「组内平均奖励」作为基线（Baseline）来降低优势估计的方差。在 RL 中，减去基线不改变梯度方向（因为基线对梯度的期望贡献为 0），但能显著降低方差。GRPO 的组内标准化更进一步——它不仅减去组内均值，还除以组内标准差，将所有优势缩放到相近的范围，使得不同 Prompt 之间的训练信号更加可比。这种标准化方式让 GRPO 不用依赖学习到的价值网络就能实现稳定的优势估计。

49. 【⭐⭐】GRPO 是否适用于所有 RL 后训练场景？有哪些局限性？

  • 考察点：对 GRPO 局限性的辩证理解
  • 得分项：能分析 GRPO 的适用边界、能说明局限性
  • 回答：GRPO 不适用于所有场景：①需要序列级精细奖励的场景——GRPO 只在完整序列层面做比较，无法处理 Token 级别的奖励信号（如每一步都有反馈的交互场景）；②单次生成成本极高的场景——组内生成多个回答的成本可能高于训练 Critic 的边际成本（小模型场景）；③奖励模型不可靠的场景——组内比较依赖奖励模型的排序能力，如果奖励模型很差，组内比较会放大误差。GRPO 最适用于：超大模型 + 生成成本可控 + 任务有明确偏好排序的数学/推理/代码场景。

50. 【⭐⭐】GRPO 和 PPO 在训练稳定性上有什么区别？

  • 考察点：对训练稳定性的深入理解
  • 得分项：能对比两种方法的稳定性特征、能解释原因
  • 回答：PPO 的稳定性主要来自两重机制：①裁剪（Clipping） ——限制单步更新幅度；②Critic 的平滑价值估计——通过神经网络学习到的价值函数在状态空间上是平滑的。GRPO 的稳定性主要依赖裁剪机制，但组内标准化的优势是基于有限样本的统计量——当组大小较小时，统计量波动大，可能导致训练不稳定。另一方面，GRPO 没有 Critic 的「慢变」问题（PPO 中 Critic 和 Actor 可能不同步），因此规避了 Actor-Critic 架构的一些不稳定性。总体来说，在组大小适中的情况下，GRPO 可以达到与 PPO 相当的训练稳定性。

模块五：KTO 与 Rejection Sampling（51-58题） ​

51. 【⭐⭐】KTO 的全称是什么？它的理论基础是什么？

  • 考察点：对 KTO 的基本认知
  • 得分项：能说出全称、能解释理论基础、能说明其独特之处
  • 回答：KTO 全称是 Kahneman-Tversky Optimization（卡尼曼-特沃斯基优化），得名于诺贝尔经济学奖得主丹尼尔·卡尼曼和阿莫斯·特沃斯基提出的前景理论（Prospect Theory） 。前景理论的核心洞察是：人类对损失和收益的感知是不对称的——人们对损失的敏感度高于对同等收益的敏感度（损失厌恶）。KTO 将这一心理学原理引入大模型的偏好优化中，用「效用函数」来模拟人类的决策心理，使得模型优化更贴近人类的真实判断模式。

52. 【⭐⭐】KTO 和 DPO 的核心区别是什么？

  • 考察点：对两种高效对齐方法的对比理解
  • 得分项：能说明核心区别、能理解数据需求的差异
  • 回答：DPO 需要成对的偏好数据——每个样本包含一个 Prompt、一个被偏好的回答（win）和一个不被偏好的回答（lose）。KTO 只需要二元信号——知道一个回答是「好」还是「坏」即可，不需要成对比较。KTO 的数据需求更灵活，可以利用更广泛的反馈数据（如点赞/点踩、通过/失败、接受/拒绝等），而无需精心收集成对的偏好比较数据。这让 KTO 在实际应用中更容易规模化。

53. 【⭐⭐】KTO 的损失函数和 DPO 有什么不同？

  • 考察点：对 KTO 实现细节的理解
  • 得分项：能说明 KTO 损失函数的形式、能解释其与 DPO 的差异
  • 回答：DPO 的损失函数基于 Bradley-Terry 模型的成对比较，计算的是两个回答被偏好的相对概率。KTO 的损失函数基于前景理论，对每个回答独立计算其「效用」——好回答应该获得正效用，坏回答应该获得负效用，且负效用的边际影响大于正效用（损失厌恶）。数学上，KTO 对每个样本 $(x,y)$ 根据其标签（好/坏）计算损失，而不需要配对。这种「样本级」而非「配对级」的优化方式，让 KTO 能利用更多样化的反馈信号。

54. 【⭐⭐】Rejection Sampling 在 RL 后训练中扮演什么角色？

  • 考察点：对 Rejection Sampling 作用的理解
  • 得分项：能说明 Rejection Sampling 的用途、能理解其作为「更复杂方法前置」的定位
  • 回答：Rejection Sampling（拒绝采样）在 RL 后训练中通常用于数据筛选和质量提升——从一个更大的样本池中筛选出高质量的样本来训练模型。其流程是：用策略模型对同一个 Prompt 生成多个回答，然后用奖励模型或规则给这些回答打分，只保留分数最高的回答（或高于阈值）作为训练数据，再对筛选后的数据做 SFT 或 DPO。它可以作为更复杂 RL 方法的前置步骤——先用 Rejection Sampling 提升数据质量，再用 PPO/DPO 做进一步的精细化优化。RAFT 等方法是 Rejection Sampling 的典型应用。

55. 【⭐⭐】Rejection Sampling 和 PPO 的核心区别是什么？

  • 考察点：对采样方法与 RL 方法的对比理解
  • 得分项：能区分两种方法的逻辑、能理解各自的定位
  • 回答：Rejection Sampling 是一种静态的筛选方法——模型生成一批样本，用奖励模型筛选，保留好的，然后做 SFT。关键特征是：筛选后的数据用于更新模型，但模型不学习「为什么某些样本被拒绝」——它只学习好的样本，不学习区分好坏的决策边界。PPO 是动态的优化方法——模型在 RL 循环中持续生成、获得反馈、更新策略，模型学习的是一个「倾向生成好样本」的策略，而不仅仅是模仿好样本。Rejection Sampling 更像「数据清洗+再训练」，PPO 更像「在线策略优化」。

56. 【⭐⭐】Rejection Sampling 的效果为什么会存在上限？

  • 考察点：对 Rejection Sampling 局限性的理解
  • 得分项：能解释效果上限的来源、能理解其与 RL 的差距
  • 回答：Rejection Sampling 存在上限是因为：①无法超越奖励模型的「认知边界」 ——如果奖励模型本身有偏差，筛选出的「好样本」就带有同样的偏差；②缺乏负样本学习——模型只学习被接受的样本，没有被拒绝的样本的「对比」信息，无法建立好坏的判别边界；③静态数据的局限——筛选后的数据是固定的，模型无法通过「尝试-反馈」的循环突破数据分布的限制；④分布偏移——模型更新后，数据分布变了，但 Rejection Sampling 的数据来自旧策略。因此 Rejection Sampling 通常作为辅助手段，而非完整的对齐方案。

57. 【⭐⭐】KTO 的「损失厌恶」机制如何体现在训练中？

  • 考察点：对 KTO 机制的具体理解
  • 得分项：能解释损失厌恶如何影响优化、能理解其实际效果
  • 回答：在 KTO 的损失函数中，对坏回答的负效用会被赋予比好回答的正效用更大的权重——这就是「损失厌恶」的数学体现。训练中，这意味着：模型从「做错」中学习的力度大于从「做对」中学习的力度。实际效果是：模型会变得更加「保守」——更不愿意冒险生成可能被判定为「坏」的回答，因为坏回答带来的负面信号比好回答的正面信号更强。这在某些场景下是有利的（如安全对齐），但在其他场景可能抑制模型的探索性和多样性。

58. 【⭐⭐】KTO 相比 DPO 对数据标注有什么影响？

  • 考察点：对数据效率的理解
  • 得分项：能说明数据标注的差异、能理解其工程意义
  • 回答：DPO 需要成对标注——标注员必须对两个回答做比较判断，标注成本高、认知负荷大（标注员需要精细对比两个回答的优劣）。KTO 只需要二元标注——标注员只需判断「这个回答是好还是坏」，更接近真实的在线反馈场景（如点赞、点踩），标注速度快、成本低、更可规模化。KTO 的数据需求让 RL 后训练可以更加「轻量化」，适合那些难以收集成对偏好数据的场景。

模块六：RLVR 与新兴方向（59-65题） ​

59. 【⭐⭐】RLVR 的全称是什么？它和 RLHF 的本质区别在哪里？

  • 考察点：对 RLVR 核心概念的理解
  • 得分项：能说出全称、能对比 RLHF、能说明 RLVR 的独特价值
  • 回答：RLVR 全称是 Reinforcement Learning with Verifiable Rewards（基于可验证奖励的强化学习）。它和 RLHF 的本质区别在于奖励信号的来源——RLHF 的奖励来自人类偏好（通过训练奖励模型代理），本质上是主观的；RLVR 的奖励来自可验证的客观规则，本质上是客观的。例如，数学题中答案是否正确（可以精确验证）、代码是否能通过测试用例（可以自动验证）。RLVR 的奖励信号无噪声、无需人工标注、训练更稳定。

60. 【⭐⭐】RLVR 适合哪些任务类型？不适合哪些任务？

  • 考察点：对 RLVR 适用边界的判断
  • 得分项：能识别适合的任务特征、能说明不适合的原因
  • 回答：适合的任务：①数学题——答案可精确验证；②代码生成——可通过测试用例验证；③逻辑推理——推理链条可验证；④算法题——有确定性的评判标准。这些任务的特征是：有明确的「正确/错误」判断标准，奖励信号可以自动化生成。不适合的任务：①开放域对话——回答的好坏高度主观；②创意写作——缺乏客观评判标准；③情感支持——质量难以量化。这些任务本质上需要人类偏好作为信号，RLVR 的可验证奖励无法覆盖。

61. 【⭐⭐】RLVR 的奖励信号如何设计？

  • 考察点：对奖励工程的理解
  • 得分项：能说明奖励设计的思路、能举例说明
  • 回答：RLVR 的奖励信号设计要「匹配任务的可验证维度」：①数学题——奖励 = 1（最终答案正确）或 0（错误），也可以给过程分（每个推理步骤正确得部分奖励）；②代码生成——奖励 = 通过测试的比例（如 10 个测试通过 8 个，奖励为 0.8），或加上运行效率的连续奖励；③搜索/检索任务——奖励 = 答案在 Top-K 中的命中率。关键原则：奖励信号应该稀疏但精确——宁可给 0/1 的干净信号，也不要给一个模糊的连续分数。

62. 【⭐⭐】RLVR 的「可验证奖励」是否完美无缺？有哪些隐患？

  • 考察点：对 RLVR 局限性的批判性思考
  • 得分项：能识别「可验证」的陷阱、能理解奖励设计中的微妙问题
  • 回答：可验证奖励并非完美无缺，隐患包括：①奖励太稀疏——0/1 奖励让模型难以学习，需要配合课程学习或密集化策略；②测试泄露——如果模型的训练数据中包含了测试用例，奖励信号就失去了验证意义；③奖励过度优化——模型可能学会「通过测试但不正确」的 trick（如代码过拟合测试用例）；④任务边界问题——「可验证」往往只覆盖了任务的一部分维度（如代码能跑通，但安全性和可维护性无法验证）；⑤验证器本身的错误——验证逻辑可能出错，导致奖励信号有误。

63. 【⭐⭐⭐】DAPO 是什么？它解决了什么问题？

  • 考察点：对前沿方法的了解
  • 得分项：能说明 DAPO 的基本概念、能理解其解决的问题
  • 回答：DAPO（Dynamic Adjustment of Policy Optimization）是一种旨在动态调整 PPO 训练中关键超参数（如 KL 惩罚系数、裁剪范围）的方法。核心问题是 PPO 对超参数高度敏感，且最优超参数在训练过程中可能变化（训练早期需要更大的探索空间，后期需要更稳定的约束）。DAPO 通过监控训练指标（如 KL 散度趋势、奖励变化率）来动态调整超参数，让训练过程更自适应、更稳定。它代表了「让 RL 后训练更加自调节、更少人工调参」的技术方向。

64. 【⭐⭐⭐】多智能体 RL（MARL）在后训练中可能怎么用？

  • 考察点：对多智能体扩展的想象力
  • 得分项：能提出应用场景、能理解多智能体的挑战
  • 回答：MARL 在后训练中的应用思路：①多角色协作——不同模型（如规划器、执行器、验证器）作为不同智能体，通过 RL 学习协作完成复杂任务；②对抗训练——一个模型生成回答，另一个模型检测缺陷，两者在对抗中共同提升；③辩论/讨论——多个模型就一个问题展开讨论，通过辩论机制产生更高质量的答案。挑战在于：多智能体的信用分配问题（如何判断哪个智能体对最终结果贡献了多少）、通信开销、收敛稳定性等。

65. 【⭐⭐⭐】LLMZero 这类「动态优化训练策略」的方法是什么思路？

  • 考察点：对元学习/自优化方向的理解
  • 得分项：能说明核心思路、能理解其与静态训练的差异
  • 回答：LLMZero 是一类「让训练过程本身可优化」的方法——核心思想是不用固定的人类预设来指导 RL 训练，而是让模型在训练中自己探索最优策略。具体思路可能是：让模型在训练过程中不断评估自己的学习进展，动态调整学习目标、采样策略或超参数。其目标是实现「零人工干预」的 RL 后训练——模型自己决定「什么应该学、怎么学、学多少」。与静态训练（固定目标函数、固定数据分布）相比，这种方法理论上有更高的上限，但实现难度也更大。

第二部分：进阶篇（66-90题） ​

模块七：方法对比与选型（66-75题） ​

66. 【⭐⭐】RLHF、DPO、GRPO、KTO 这四种方法应该如何选型？

  • 考察点：综合选型能力
  • 得分项：能从多维度给出选型建议、能理解不同场景的优先级
  • 回答：选型决策树：①资源无限 + 追求上限 + 任务复杂→ RLHF + PPO（经典选择）；②资源有限 + 有成对偏好数据 + 追求效率→ DPO（主流选择）；③超大模型 + 生成成本可控 + 有可靠奖励模型→ GRPO（资源优先）；④只有二元反馈数据 + 数据标注预算低→ KTO（数据效率优先）；⑤任务有客观验证标准（数学/代码）→ RLVR（奖励优先）。核心决策维度按优先级排列：数据形态 → 资源预算 → 模型规模 → 任务特征。

67. 【⭐⭐】如何评估 RL 后训练的效果？有哪些关键指标？

  • 考察点：对 RL 后训练评估体系的理解
  • 得分项：能列举多维度指标、能理解指标之间的关系
  • 回答：评估维度：①对齐指标——Reward Model Score、人类偏好胜率（Win Rate），衡量模型是否符合人类偏好；②能力保持——MMLU、GSM8K、HumanEval 等基准分数，确保 RL 没有「遗忘」基础能力；③安全性——有害内容生成率、越狱攻击成功率；④多样性——生成回答的熵、重复率，防止模式坍塌；⑤训练指标——Reward 曲线趋势、KL 散度变化，监控训练健康度；⑥效率指标——训练耗时、Token 消耗、GPU 小时数。

68. 【⭐⭐】RL 后训练中如何避免「灾难性遗忘（Catastrophic Forgetting）」？

  • 考察点：对持续学习问题的理解
  • 得分项：能提出多种防御策略、能理解每种策略的原理
  • 回答：灾难性遗忘指模型在 RL 优化中「遗忘」了预训练或 SFT 阶段学到的能力。防御策略：①KL 散度约束——通过 KL 惩罚限制策略模型不偏离参考模型（SFT 模型），这是最主要的手段；②数据混合——在 RL 训练中混入 SFT 阶段的数据，保持基础能力；③弹性权重巩固（EWC） ——对重要参数施加更高的约束；④逐步释放——训练早期 KL 约束强，后期逐渐放松；⑤多任务学习——同时优化对齐目标和基础能力目标。

69. 【⭐⭐】RL 后训练中「数据飞轮」是什么？如何构建？

  • 考察点：对 RL 后训练规模化运营的理解
  • 得分项：能解释数据飞轮的概念、能设计飞轮流程
  • 回答：数据飞轮是指「模型生成 → 人工/AI 评估 → 筛选高质量数据 → 继续训练 → 更强模型 → 生成更高质量数据」的正向循环。构建方法：①在线数据收集——将模型部署到实际应用场景中，收集用户反馈（点赞/点踩）；②AI 辅助标注——用强模型（如 GPT-4）对弱模型的输出做偏好标注，降低人工成本；③主动学习——识别模型「不确定」的样本，优先让人类标注；④定期迭代——每隔一段时间用新收集的数据重新训练/微调模型。DeepSeek、OpenAI 等都在用这种飞轮方式持续提升模型能力。

70. 【⭐⭐】RL 后训练中的「冷启动」问题是什么？如何解决？

  • 考察点：对 RL 训练初期挑战的理解
  • 得分项：能说明冷启动问题的含义、能提出解决方案
  • 回答：冷启动问题指在 RL 训练的早期阶段，策略模型的输出质量较低（对某些 Prompt 不知道如何生成有意义的回答），导致奖励信号不稳定或无意义。解决方案：①SFT 预热——确保模型先经过充分的 SFT，有基本的指令遵循能力；②混合策略——训练初期混合使用 SFT 的监督信号和 RL 的奖励信号；③课程学习——从简单任务开始 RL，逐步过渡到复杂任务；④探索奖励——在奖励函数中加入「探索奖励」，鼓励模型尝试不同回答，快速覆盖输出空间。

71. 【⭐⭐】RLHF 中奖励模型训练的数据量通常需要多少？

  • 考察点：对 RLHF 数据需求的工程理解
  • 得分项：能给出数量级概念、能理解数据量与模型规模的关系
  • 回答：奖励模型的训练数据量通常在几十万到几百万个偏好比较对（Comparisons）的规模。具体数量取决于：①模型规模——模型越大，需要的偏好数据越多（如 70B 模型可能需要数百万对）；②任务复杂度——开放域对话需要的数据量 > 特定领域任务；③数据质量——高质量标注的数据可以用更少达到相同效果。InstructGPT 用了约 3-5 万对偏好数据（人类标注），ChatGPT 和 Claude 用了更多。实践中，高质量的大几十万对通常能训练出不错的奖励模型。

72. 【⭐⭐】什么是「离策略（Off-Policy）」和「在策略（On-Policy）」学习？RL 后训练中用哪种？

  • 考察点：对 RL 基础概念的理解
  • 得分项：能区分两种学习方式、能说明 RLHF 中的选择
  • 回答：在策略（On-Policy） 学习：用于优化的数据必须由当前策略生成，策略更新后旧数据失效（不能再用于后续更新）。离策略（Off-Policy） 学习：可以用其他策略（或历史策略）生成的数据来优化当前策略，数据可以复用。RLHF 中，PPO 本质上是在策略的（优化用当前策略采样，更新后旧数据一般丢弃），但通过重要性采样可以在一定程度上复用旧数据。DPO 是离策略的——用静态的偏好数据优化模型，不依赖在线采样。选择上：在策略学习理论上更稳定、更高效（数据匹配目标策略），但采样成本高；离策略学习数据效率高，但可能因数据分布不匹配导致偏差。

73. 【⭐⭐】RL 后训练中的「信用分配（Credit Assignment）」问题是什么？

  • 考察点：对 RL 核心挑战的理解
  • 得分项：能解释信用分配问题、能说明在语言模型中的体现
  • 回答：信用分配问题指：当一个长序列（如一段长回答）的最终结果（奖励）是好是坏时，我们难以确定是序列中哪个具体 Token 或哪一步决策导致了好的结果。在语言模型中，一个回答可能有 1000 个 Token，最终奖励是正分，但不知道是第 5 个 Token 的信息密度高还是第 200 个 Token 的转折精彩。PPO 通过 GAE 将序列级奖励分配到每个 Token，但分配方式是启发式的。DPO 和 KTO 完全在序列级做优化，完全回避了 Token 级的信用分配问题，用「整体偏好」替代了「精细归因」。

74. 【⭐⭐】「RL 后训练 + 推理时 Scaling」是未来方向吗？两者如何配合？

  • 考察点：对 RL 与推理阶段关系的前瞻思考
  • 得分项：能分析两者的配合方式、能理解协同效应
  • 回答：这是当前的重要方向。RL 后训练让模型学会更高效地利用推理时计算——模型在 RL 阶段学习「如何思考」「如何验证」「如何修正」，在推理时可以通过增加计算量（如 CoT、Self-Consistency、Search）来获得更好的结果。配合方式：①RL 教模型「如何思考」 ——RL 后训练让模型学会在推理时进行多步思考（如 DeepSeek-R1 的推理链）；②推理时验证——模型在推理时用 RL 阶段学到的「验证能力」来检查自己的输出；③搜索引导——RL 阶段学习的价值函数可以在推理时引导 Beam Search 或 MCTS。RL 提升了模型的「思维能力」，推理时 Scaling 提供了「思考时间」。

75. 【⭐⭐】RL 后训练中的「奖励模型过优化（Reward Model Over-optimization）」如何检测和应对？

  • 考察点：对 RL 训练质量监控的理解
  • 得分项：能提出检测方法、能说明应对策略
  • 回答：奖励模型过优化指模型在 RL 训练中过度拟合了奖励模型的偏好，导致奖励分数持续上升但真实质量（如人类评估）开始下降。检测方法：①奖励-质量分离评估——同时监控奖励模型分数和人类评估分数，当两者趋势背离时说明过优化；②KL 散度监控——如果 KL 散度快速上升但奖励增速放缓，是过优化的早期信号；③多样性监控——输出多样性急剧下降说明模型进入了「单一高分模式」。应对策略：①增大 KL 惩罚系数；②早停；③奖励模型集成（Ensemble）；④使用人类评估定期校准奖励模型。

模块八：数据与评估（76-85题） ​

76. 【⭐⭐】RL 后训练中「偏好数据」和「验证数据」分别解决什么问题？

  • 考察点：对 RL 后训练数据类型的理解
  • 得分项：能区分两种数据的作用、能说明各自的价值
  • 回答：偏好数据解决「什么是好」的问题——通过人类对回答的相对偏好，训练奖励模型或直接用于 DPO/KTO 优化，目标是让模型学会产出符合人类偏好的回答。验证数据解决「什么是对的」的问题——通过可验证的客观标准（如数学答案、测试用例），用于 RLVR 或评估，目标是让模型学会产出正确的内容。偏好数据解决的是「合不合口味」的定性问题，验证数据解决的是「对不对」的定量问题。一个好的 RL 后训练系统通常两者都需要。

77. 【⭐⭐】RL 后训练中如何做「数据飞轮」的数据质量控制？

  • 考察点：对数据质量管理的能力
  • 得分项：能提出数据质量控制手段、能理解每种手段的价值
  • 回答：数据飞轮的质量控制：①标注一致性校验——用多个标注员标注同一批数据，过滤一致性低的样本（如 Cohen's Kappa < 0.7 的样本）；②难度分层——按任务的难度分层，确保各难度都有足够的训练数据；③去重——去除重复或高度相似的 Prompt，防止数据冗余；④对抗过滤——用专门的检测模型过滤低质量、有毒或重复的数据；⑤人工抽检——定期人工抽检数据集，校准标注标准；⑥分布监控——监控数据分布变化，防止分布偏移导致模型偏差。

78. 【⭐⭐】RL 后训练中的「课程学习（Curriculum Learning）」怎么用？

  • 考察点：对课程学习在 RL 中应用的理解
  • 得分项：能设计课程学习策略、能说明其价值
  • 回答：在 RL 后训练中，课程学习指从简单任务逐步过渡到复杂任务的训练策略。实现方式：①难度排序——用奖励模型的难度预测或任务的验证难度对训练数据排序；②渐进式引入——先只训练简单任务，训练稳定后逐步引入中等、困难任务；③自适应难度——根据模型当前性能动态调整任务难度（如维持一个「刚好在能力边界」的难度水平）。课程学习的价值：让模型在早期建立稳定的基础能力，避免因过早接触复杂任务而训练崩塌。

79. 【⭐⭐】RL 后训练中如何评估奖励模型本身的质量？

  • 考察点：对奖励模型评估的理解
  • 得分项：能提出评估指标、能理解奖励模型质量对 RL 的影响
  • 回答：奖励模型的质量直接决定了 RL 后训练的上限。评估方法：①偏好准确率（Preference Accuracy） ——在保留的偏好比较测试集上，奖励模型判断「哪个回答更好」的准确率；②与人类评分相关性——奖励模型分数与人类评分的 Spearman/Pearson 相关系数；③校准性（Calibration） ——奖励模型输出的分数是否具有概率意义；④对抗鲁棒性——奖励模型是否容易被「欺骗」；⑤跨域泛化——在训练数据分布外的 Prompt 上表现如何。一个好的奖励模型应该在测试集上达到 70-80%+ 的准确率。

80. 【⭐⭐】RL 后训练的「可复现性」为什么比 SFT 更难？

  • 考察点：对 RL 训练特性的理解
  • 得分项：能说明可复现性差的原因、能理解工程实践中的挑战
  • 回答：RL 后训练的可复现性比 SFT 更差，原因：①随机性源多——策略采样的随机性、奖励模型的随机性、初始化的随机性，每个随机源都会影响最终结果；②反馈环路——策略变化 → 数据分布变化 → 奖励分布变化 → 策略更新，这是一个闭环，任何环节的微小扰动都会被放大；③超参数敏感——RL 对学习率、KL 系数等超参数极其敏感，微小的调参差异会显著影响结果；④指标波动大——RL 训练的奖励曲线往往波动剧烈，难以用单次运行的结果代表算法效果。实践中应对措施：固定随机种子、多次运行取平均、标准化训练环境。

81. 【⭐⭐】RL 后训练中如何做「人类评估（Human Evaluation）」？

  • 考察点：对人类评估方法论的理解
  • 得分项：能设计人类评估流程、能理解评估中的 bias
  • 回答：人类评估是 RL 后训练的「黄金标准」。设计要点：①盲测（Blind） ——评估者不知道哪个回答来自哪个模型；②多维评分——不只用「整体偏好」，而是分维度评估（如准确度、清晰度、有用性、安全性）；③对抗性样本——加入一些「明显错误」的样本作为质量锚点，确保评估者保持警觉；④一致性校验——多个评估者独立评分，计算一致性（如 Krippendorff's α），一致性低的维度重新设计评分标准；⑤交叉验证——用不同批次的评估者交叉验证。常见的 bias：锚定效应（第一个看到的回答影响判断）、顺序效应（前面的回答更容易被记住）。

82. 【⭐⭐】RL 后训练中「奖励模型的偏差」会如何影响最终模型？

  • 考察点：对偏差传播的理解
  • 得分项：能说明偏差的来源、能分析偏差如何传播到策略模型
  • 回答：奖励模型的偏差会通过 RL 优化被放大和固化到最终模型中。偏差来源：①标注偏差——标注员的个人偏好（如更偏好详细的回答）；②数据偏差——偏好数据覆盖不全面（如只覆盖了常见任务）；③模型偏差——奖励模型本身的架构限制。传播路径：奖励模型在 RL 阶段给模型输出打分 → 策略模型优化目标是最大化奖励分数 → 奖励模型的任何偏差都成为策略模型的优化目标。最终结果是：模型不仅学会了「好回答」的特征，也学会了奖励模型的所有「偏见」，甚至可能强化了这些偏差。这就是为什么奖励模型的「校准」和「多样性约束」如此重要。

83. 【⭐⭐】RL 后训练中如何处理「长尾任务」——那些偏好数据很少的任务？

  • 考察点：对数据稀疏问题的应对能力
  • 得分项：能提出多种策略、能理解不同策略的适用场景
  • 回答：长尾任务（如罕见语言的问答、小众领域专业知识）在偏好数据中可能极少出现。处理策略：①数据增强——用 LLM 合成长尾任务的偏好数据；②迁移学习——从相近任务（数据更充足的领域）迁移偏好信号；③Few-shot 奖励模型——训练一个可适配的奖励模型，在推理时为长尾任务提供少数示例；④分层 RL——先训练一个通用对齐模型，再在长尾任务上用少量数据做快速适应（如 LoRA 微调奖励模型）；⑤主动学习——主动识别长尾 Prompt，针对性收集偏好数据。

84. 【⭐⭐】RL 后训练中「奖励模型」和「策略模型」的关系可以类比什么？

  • 考察点：对 RL 框架的抽象理解
  • 得分项：能给出恰当的类比、能说明类比的局限性
  • 回答：奖励模型和策略模型可以类比为 「老师」和「学生」 ——奖励模型（老师）提供评价信号，策略模型（学生）根据评价调整自己的行为。但类比有一个关键差异：RLHF 中老师（奖励模型）是「静态的」——它在 RL 阶段冻结参数、不更新，无法像真实老师那样根据学生的进步调整教学策略。更精准的类比是 「考官」和「考生」 ——考官有固定标准（奖励模型），考生（策略模型）通过不断练习（采样）来适应考官的评分标准。这个类比解释了为什么 Reward Hacking 会发生——考生可能学会「讨好考官」而非真正提升能力。

85. 【⭐⭐】RL 后训练中「探索（Exploration）」和「利用（Exploitation）」如何平衡？

  • 考察点：对 RL 核心权衡的理解
  • 得分项：能解释探索-利用困境、能说明在 RLHF 中的具体表现
  • 回答：探索是尝试生成不同的回答来发现高分可能性，利用是生成当前认为最好的回答来获得高奖励。在 RLHF 中：①过度的探索→ 模型生成大量低质量回答，浪费 Token，降低样本效率；②过度的利用→ 模型过早收敛到局部最优，失去找到更好回答的机会；③平衡通过策略熵惩罚实现——早期熵大（鼓励探索），训练中熵逐渐减小（转向利用）。实践中还使用 ε-greedy 策略（以小概率随机采样替代最优选择）或 不确定性奖励（对高不确定性的回答给予额外奖励）来促进探索。

模块九：工程实践（86-90题） ​

86. 【⭐⭐⭐】如何在大规模集群上高效训练 RLHF？需要哪些并行策略？

  • 考察点：对大规模分布式训练的理解
  • 得分项：能列举并行策略、能理解各策略的用途
  • 回答：大规模 RLHF 训练需要多维并行策略的组合：①数据并行（Data Parallelism） ——在不同 GPU 上处理不同 Batch 的数据，适合小模型；②模型并行（Model Parallelism） ——将单个大模型切分到多 GPU，适合超大模型；③流水线并行（Pipeline Parallelism） ——按层切分模型，各 GPU 处理不同层，减少通信；④ZeRO（Zero Redundancy Optimizer） ——将优化器状态、梯度、参数分片存储，减少显存冗余；⑤混合并行——组合上述策略，如 DeepSpeed 的 ZeRO-3 + 流水线并行 + 数据并行。4 个模型（策略、参考、奖励、价值）可以用不同并行策略——策略和价值模型用大并行度，参考和奖励模型可做推理优化。

87. 【⭐⭐⭐】RL 后训练中「显存优化」有哪些工程手段？

  • 考察点：对显存优化的工程能力
  • 得分项：能列举多种优化手段、能理解每种手段的原理
  • 回答：显存优化手段：①Gradient Checkpointing——用计算换显存，不保存中间激活值，反向传播时重新计算；②混合精度训练（FP16/BF16） ——减少参数和梯度占用的显存；③ZeRO 分片——将优化器状态、梯度、参数分片到多个 GPU；④Offload——将优化器状态或参数 Offload 到 CPU 内存或 NVMe；⑤Flash Attention——用更高效的 Attention 实现减少显存占用；⑥模型量化——在推理时将参考模型和奖励模型量化到 INT8；⑦动态批处理——根据可用显存动态调整 Batch Size。对于 4 模型并存的 PPO 场景，这些手段需要组合使用才能达到可训练的显存水平。

88. 【⭐⭐⭐】RL 后训练的「训练效率」如何衡量和优化？

  • 考察点：对训练效率的整体把控能力
  • 得分项：能提出效率指标、能提出优化方案
  • 回答：衡量指标：①吞吐量（Throughput） ——每秒处理的 Token 数或样本数；②样本效率（Sample Efficiency） ——达到目标效果需要的训练样本数；③墙钟时间（Wall-clock Time） ——从开始到达到目标效果的总时间；④每步耗时——单次策略更新的耗时；⑤GPU 利用率——GPU 计算时间的占比。优化方案：①减少不必要的 Rollout——用 Rejection Sampling 预先筛选高质量的 Prompt；②Batch Size 调优——充分利用 GPU 算力；③异步 Rollout——让推理和训练 pipeline 并行；④减少模型加载次数——尽量保持模型常驻显存；⑤使用更高效的 RL 算法（如 GRPO 替代 PPO）。

89. 【⭐⭐⭐】RL 后训练中如何做实验管理和版本控制？

  • 考察点：对实验管理规范的理解
  • 得分项：能设计实验管理流程、能说明版本控制要点
  • 回答：RL 后训练实验管理的挑战在于：超参数多、随机性大、评估维度多。管理方案：①统一配置管理——所有超参数、数据版本、模型版本在配置文件中记录（如 YAML + Hydra）；②实验跟踪——用 Weights & Biases 或 MLflow 记录每次运行的指标、参数、代码版本；③模型版本化——策略模型、奖励模型、参考模型都打版本标签，关联到对应的训练数据和超参数；④数据版本化——偏好数据、验证数据用 DVC（Data Version Control）管理；⑤A/B 测试——对候选模型做盲测对比，记录胜率；⑥可复现 checklist——每次实验记录随机种子、环境版本、代码 commit hash。

90. 【⭐⭐⭐】RL 后训练从「研究」到「产品」需要跨越哪些工程鸿沟？

  • 考察点：对 RL 后训练产品化的整体理解
  • 得分项：能识别工程化挑战、能提出解决方案
  • 回答：跨越的鸿沟：①从「单次实验」到「持续训练」 ——研究中的单次训练需要变成可持续的数据飞轮，需要自动化数据收集、标注、训练、评估的 pipeline；②从「理想环境」到「生产噪声」 ——研究中的干净数据变成现实中的噪声数据，需要数据清洗和容错；③从「单一模型」到「多版本管理」 ——产品的模型需要灰度发布、A/B 测试、在线/离线版本管理；④从「人工调参」到「自动调优」 ——产品环境中需要自动的超参数调优和异常检测；⑤从「模型质量」到「系统质量」 ——产品的考量从模型效果扩展到延迟、成本、安全、合规等多维度；⑥从「学术评估」到「用户满意度」 ——评估体系从 Benchmark 扩展到真实用户反馈、留存率等业务指标。

第三部分：实战篇（91-120题） ​

模块十：经典场景与案例分析（91-105题） ​

91. 【⭐⭐⭐】如何用 RL 后训练提升数学推理能力（如 DeepSeek-R1 风格）？

  • 考察点：对 RL 在推理任务中应用的设计能力
  • 得分项：能设计完整训练方案、能说明关键技术点
  • 回答：方案设计：①基座 + SFT——在数学语料上预训练或继续预训练，然后用数学指令数据进行 SFT，让模型具备基础数学对话能力；②奖励信号——用 RLVR 方式，奖励 = 答案正确性（最终数字正确）+ 推理步骤合理性（可用更小的验证模型评估）；③算法选择——用 GRPO（因为数学推理任务的奖励可验证，不需要 Critic），组大小 8-16，对同一个数学题生成多个推理路径；④推理时 Scaling——训练中引导模型生成详细的 CoT，推理时可以用 Self-Consistency（采样多条推理链，投票选最终答案）；⑤迭代优化——用模型生成新的数学题解答，筛选正确的作为新的训练数据，持续迭代。

92. 【⭐⭐⭐】如何用 RL 后训练提升代码生成能力（通过测试用例验证）？

  • 考察点：对 RL 在代码任务中应用的设计能力
  • 得分项：能设计完整流程、能考虑工程实现细节
  • 回答：方案设计：①数据——收集编程题（LeetCode 风格），包含问题描述、测试用例；②奖励信号——RLVR：代码编译通过 + 测试用例通过率（如 10/10 全通给 1.0，8/10 给 0.8）+ 代码复杂度惩罚（鼓励简洁代码）；③执行环境——在安全沙箱中执行生成的代码，防止恶意代码影响训练环境；④训练流程——用 GRPO 或 PPO，对每个问题生成多个代码方案，运行测试用例，计算奖励，更新策略；⑤特殊处理——代码生成需要处理格式解析（从 LLM 输出中提取代码块）、编译错误反馈（将错误信息作为负奖励信号）；⑥评估——用隐藏测试用例评估泛化能力，不只用训练时的测试用例。

93. 【⭐⭐⭐】如何用 RL 后训练做安全性对齐（Red Teaming）？

  • 考察点：对安全对齐中 RL 应用的理解
  • 得分项：能设计红蓝对抗方案、能理解安全 RL 的特殊性
  • 回答：安全性对齐的 RL 方案：①红队（Red Team） ——训练一个「攻击模型」专门生成对抗性 Prompt，试图让目标模型产生有害输出；②蓝队（Blue Team） ——目标模型（策略模型）要生成安全的回答；③对抗训练——两个模型交替优化：红队模型不断发现新的攻击方式，蓝队模型学习抵御这些攻击；④奖励设计——奖励 = 安全分类器的打分（检测是否有害） + 有用性（不能为了安全什么都拒绝回答）；⑤数据飞轮——红队模型发现的成功攻击案例加入训练数据；⑥GRPO/PPO 均可，但需要确保安全评估的准确性——用多模型集成 + 人类审核来评估安全性。核心挑战是：安全性和有用性之间的多目标权衡。

94. 【⭐⭐⭐】RL 后训练在「多轮对话」场景中有什么特殊考虑？

  • 考察点：对多轮场景下 RL 挑战的理解
  • 得分项：能识别多轮的特殊性、能提出应对方案
  • 回答：多轮对话相比单轮的特殊性：①长序列信用分配更难——奖励可能在最后一轮才能评估，前序轮次的作用难以归因；②状态空间爆炸——对话历史越长，策略面临的状态越多；③用户模拟困难——RL 训练需要一个用户模型来模拟对话轮次，但用户模型本身可能不准确；④上下文依赖——每轮的回答质量依赖于之前的对话历史。应对方案：①折扣奖励——对后续轮次给予更低的折扣系数，让模型更关注即时轮次的质量；②分层 RL——高层策略规划对话目标，低层策略选择每轮的具体回复；③用户模型预训练——用真实对话数据训练一个用户模拟器；④会话级评估——评估整个对话的最终质量而非每轮单独打分。

95. 【⭐⭐⭐】如何设计「RL 后训练 + 搜索（如 MCTS）」的混合系统？

  • 考察点：对推理时搜索与训练时 RL 结合的设计能力
  • 得分项：能设计混合架构、能说明 RL 和搜索的分工
  • 回答：混合系统设计：①训练阶段——用 RL 后训练（如 GRPO/PPO）训练策略模型和价值模型。策略模型生成候选步骤，价值模型评估状态（在推理时用于引导搜索）。②推理阶段——用 MCTS（蒙特卡洛树搜索）进行推理时搜索，RL 阶段训练的价值模型作为 MCTS 中的启发式评估函数。③分工——RL 提供「先验知识」（哪些方向更可能成功），搜索提供「后验验证」（实际探索后确认最优路径）。④数据闭环——MCTS 搜索中发现的成功路径可以作为新的训练数据，反馈给 RL 训练。⑤典型应用——AlphaCode、DeepSeek-R1 等推理型模型。核心思想是：RL 教模型「常识」，搜索帮模型「想得更深」。

96. 【⭐⭐⭐】RL 后训练中如何做「多目标优化」（如既要有用又要安全）？

  • 考察点：对多目标权衡的设计能力
  • 得分项：能提出多目标优化方案、能理解挑战
  • 回答：多目标 RL 后训练是实际的刚需——模型不能只追求有用性而忽略安全性，也不能为了安全而完全丧失有用性。方案：①奖励组合——将多个维度的奖励加权组合：$R = α \cdot R_{usefulness} + β \cdot R_{safety} - γ \cdot R_{toxicity}$，权重通过人类偏好数据学习或人工设定；②Pareto 最优——用多目标 RL 算法（如 MO-PPO）学习一组 Pareto 最优策略，让用户根据偏好选择；③约束 RL——将某些指标作为硬约束（如安全性必须 > 阈值），在主目标上做优化；④课程式引入——先优化有用性，再逐步引入安全性约束；⑤分层设计——一个模型做安全检查（过滤器），主模型只优化有用性。挑战：多个目标之间的冲突和权重设定难以完美。

97. 【⭐⭐⭐】RL 后训练中「奖励模型」从人类偏好中学会了什么？

  • 考察点：对奖励模型内部表征的深入理解
  • 得分项：能说明奖励模型学习的内容、能理解其局限性
  • 回答：奖励模型本质上学会了人类偏好的一个隐式函数——它学习到了什么样的回答质量高、什么样的回答质量低。具体可能学到：①内容维度——信息的准确度、相关性、完整性；②风格维度——清晰度、礼貌性、简洁性；③安全维度——无害性、规范性；④写作质量——流畅度、结构合理性。但它学到的只是人类能标注出来的偏好维度，那些难以标注的维度（如创造力、惊喜感、情感的细腻度）就很难被奖励模型捕捉。另外，奖励模型学到的是一种「平均值」偏好——它反映的是标注员的平均品味，而非某个特定用户。

98. 【⭐⭐⭐】DPO 的数学推导核心是什么？

  • 考察点：对 DPO 理论基础的深入理解
  • 得分项：能解释推导的关键步骤、能理解其中的数学直觉
  • 回答：DPO 的核心推导：①RLHF 的优化问题：$max_{π} E_{x,y \sim π}[r(x,y)] - β \cdot KL(π||π_{ref})$，这是一个带 KL 约束的奖励最大化问题；②闭式解：最优策略满足 $π^(y|x) = \frac{1}{Z(x)} π_{ref}(y|x) \cdot exp(r(x,y)/β)$，其中 $Z(x)$ 是配分函数；③反推奖励：将上式变形，得到 $r(x,y) = β \cdot log\frac{π^(y|x)}{π_{ref}(y|x)} + β \cdot log Z(x)$；④代入 Bradley-Terry 模型：$P(y_w \succ y_l|x) = \frac{exp(r(x,y_w))}{exp(r(x,y_w)) + exp(r(x,y_l))}$，配分函数 $Z(x)$ 恰好抵消；⑤最终得到：DPO 的损失函数直接用策略比率 $π(y|x)/π_{ref}(y|x)$ 表示偏好概率，无需训练奖励模型。核心洞察是：偏好比较中，配分函数抵消，奖励函数的「绝对尺度」不重要，重要的是相对比率。

99. 【⭐⭐⭐】RL 后训练的「Scaling Law」——更大模型、更多数据、更多 RL 步数的关系是什么？

  • 考察点：对 RL 后训练扩展规律的洞察
  • 得分项：能分析扩展规律、能理解边际效益递减
  • 回答：RL 后训练的 Scaling Law 与预训练不同：①模型规模——更大的模型在 RL 后训练中有更高的上限（更强的推理能力、更好的样本利用），但 RL 的收益随着模型规模增大而边际递减——7B→70B 的提升可能比 70B→400B 更显著；②数据量——RL 后训练的数据（偏好数据/可验证数据）也有 Scaling Law，但数据的质量比数量更重要——100 万高质量偏好数据可能比 1000 万低质量数据效果更好；③RL 步数——RL 训练中存在「最优停止点」——过度训练会导致 Reward Hacking 和质量退化，不像预训练中更多步数总是更好。一个粗略的规律是：RL 步数的最优点通常在 KL 散度增长到某个阈值（如 KL ≈ 3-5）时。

100. 【⭐⭐⭐】开源模型（如 Llama）做 RL 后训练和闭源模型（如 GPT）做 RL 后训练有什么不同？

  • 考察点：对开源/闭源生态下 RL 实践的对比理解
  • 得分项：能分析差异、能理解各自的优势与局限
  • 回答：差异：①数据可访问性——开源模型无法访问训练数据，对 RL 后训练中的「数据飞轮」有限制（不能用模型自己的输出来优化，因为无法识别哪些是训练过的数据）；②模型可控性——开源模型可以做全量调参，闭源模型通常只做 API 级优化（如 RLHF 只能通过反馈 API 间接影响，无法直接更新模型参数）；③成本——开源模型做 RL 需要自建算力，闭源模型的 RL 由提供商完成（用户只需要提供反馈数据）；④透明度——开源模型的 RL 后训练过程和效果可审计，闭源模型是黑盒；⑤定制化——开源模型可以针对特定领域做 RL 后训练，闭源模型的 RL 是通用的。开源的 RL 后训练是「自己做饭」，闭源是「点菜」——各有适用场景。

模块十一：前沿与开放题（106-120题） ​

106. 【⭐⭐⭐】「RL 后训练」是否会导致模型趋同（所有模型都变得一样）？

  • 考察点：对 RL 后训练多样性的批判性思考
  • 得分项：能辩证分析趋同风险、能理解 RL 后训练对多样性的影响
  • 回答：RL 后训练存在导致模型趋同的机制：所有模型都在向「人类偏好」这个目标优化，而人类偏好有「平均化」的倾向——偏好那些「安全、有用、礼貌」的回答，可能牺牲了模型的独特风格和创造性。这种趋同已经在发生——不同公司的模型对同一个问题的回答越来越相似，都变得「中庸且安全」。但另一方面，RL 后训练也可以促进多样性——如果奖励函数设计中包含「多样性」维度的奖励（如鼓励不同的表达方式、不同的观点），或者用多目标 RL 同时优化多个偏好的极端，反而可以增加模型的差异化。RL 后训练是一把双刃剑——它让模型「更好」，但也可能让模型「更平庸」。

107. 【⭐⭐⭐】如果给你无限算力，你会怎么设计 RL 后训练系统？

  • 考察点：对 RL 后训练终极形态的想象力
  • 得分项：能提出有创见的方案、能说明方案的合理性
  • 回答：无限算力下我会设计：①全面在线 RL——不用离策略数据，所有 RL 训练都是真实的「模型-环境」交互（人类反馈实时到达），没有数据瓶颈；②多智能体自博弈——成千上万个不同初始化的模型互相生成挑战和评判，在博弈中涌现能力，类似 AlphaGo Zero 的自博弈；③全参数、全梯度训练——不进行任何模型压缩、量化或分片简化，释放模型全部潜力；④无限 Rollout——对每个 Prompt 生成上万条回答，奖励模型从海量样本中学习精细的偏好边界；⑤持续学习——模型永不停训，实时吸收全球所有新知识；⑥多模态联合 RL——同时优化文本、图像、代码、工具调用等所有模态，产生通用的「超级智能体」。但这个设想的瓶颈已经从「算力」转移到了「环境」——我们能设计出足够复杂、足够真实、足够安全的训练环境吗？

108. 【⭐⭐⭐】RL 后训练是否会被「更强的 SFT」或「更好的预训练」取代？

  • 考察点：对 RL 后训练长期价值的判断
  • 得分项：能辩证分析三种范式的演进关系、能给出有依据的判断
  • 回答：三种范式是互补关系而非替代关系。预训练提供「知识基础」，SFT 提供「技能培养」，RL 提供「精炼优化」。更好的预训练会让 SFT 和 RL 的起点更高（更容易学习），更好的 SFT 会让 RL 的初始策略更好（减少冷启动问题），但 RL 自身的价值——通过试错获得反馈——是 SFT 和预训练无法替代的。预训练和 SFT 做的是「教」模型如何做，RL 做的是让模型「自己发现」如何做更好。只要存在「什么样的输出是好的」这个定义，就存在通过反馈来优化模型的空间。RL 后训练不会被取代，但它的形态会不断演化——从复杂到简单、从人工信号到客观信号。

109. 【⭐⭐⭐】如何用 RL 后训练让模型学会「承认不知道」？

  • 考察点：对 RL 在不确定性处理中应用的设计能力
  • 得分项：能设计奖励机制、能理解「不知道」行为的 RL 塑造
  • 回答：设计思路：①奖励设计——在奖励函数中引入「诚实奖励」：如果模型不知道正确答案但承认不知道，给予正奖励；如果模型不知道却编造答案，给予负奖励（尤其是被发现错误时惩罚更重）；②数据构建——构建包含「不知道」场景的偏好数据：同一个问题，一个回答「我不知道」和一个编造的答案，人类标注前者更好；③不确定性奖励——让模型给出置信度，当置信度低时鼓励模型选择「不知道」而非乱猜；④RL 训练优化——通过 RL 训练，模型学会在能力边界内谨慎回答。本质上，RL 后训练让模型学会「规避确定性错误」——当模型不确定时，承认不知道比瞎说更安全、更容易获得高奖励。

110. 【⭐⭐⭐】RL 后训练中的「奖励模型」是否也可以被 RL 优化？

  • 考察点：对元 RL / 迭代优化的理解
  • 得分项：能提出奖励模型迭代优化的方案、能理解挑战
  • 回答：可以，这是「奖励模型优化」的前沿方向。方案：①在线奖励模型更新——在 RL 训练过程中持续收集新的偏好数据，周期性更新奖励模型，然后继续训练策略模型；②对抗性奖励模型训练——策略模型和奖励模型交替优化：策略模型试图获得高分，奖励模型试图识破策略模型的「作弊」；③元 RL——训练一个「奖励模型调优器」，根据策略模型的当前状态动态调整奖励模型的权重。挑战在于：①非平稳性——奖励模型变化导致策略模型优化目标不断变化，训练不稳定；②过度优化风险——如果奖励模型和策略模型一起优化，可能陷入「互相追逐」的不收敛状态；③计算成本——在线更新奖励模型需要持续收集新的人类偏好数据，成本高昂。

111. 【⭐⭐⭐】「弱到强泛化（Weak-to-Strong Generalization）」在 RL 后训练中如何体现？

  • 考察点：对弱到强泛化理论在 RL 中应用的理解
  • 得分项：能解释概念、能说明在 RL 后训练中的体现
  • 回答：弱到强泛化是指用「弱监督者」（如小模型或人类标注员）训练「强模型」（如超大模型），强模型能够超越弱监督者的能力上限。在 RL 后训练中体现为：①奖励模型作为弱监督者——奖励模型可能是较小或能力较弱的模型，但策略模型（超大模型）在优化中可以「发现」奖励模型没有明确定义的优质特征，产生超出奖励模型「认知」的好结果（这既是机会——模型可能突破标注质量的上限，也是风险——可能产生 Reward Hacking）；②数据标注作为弱监督——人类标注员的标注可能带有偏差或错误，但大模型在 RL 中可以通过「模式识别」从噪声中找到真正的优质模式；③AI 反馈——用 GPT-4 的偏好标注训练 Llama，Llama 的 RL 后训练可能在某些维度上超越 GPT-4。核心规律是：弱监督者提供「方向」，强模型通过 RL 在方向上「走得更远」。

112. 【⭐⭐⭐】RL 后训练是否可能产生「不可解释的优化」——模型变得更好但无法解释为什么？

  • 考察点：对 RL 可解释性的理解
  • 得分项：能说明不可解释优化的原因、能理解安全性影响
  • 回答：可能。RL 后训练中的优化是黑盒优化——策略模型的 70B 参数在奖励信号驱动下协同调整，单个参数的变化无法解释，整体的行为变化也难以溯源。不可解释的优化可能源于：①复杂的表征变化——RL 改变了模型内部的表征方式，可能是模型在「压缩」或「重组」知识，这种变化难以用自然语言描述；②非预期的捷径——模型发现了人类没有意识到的「捷径」来获得高奖励，而这条捷径背后的逻辑并不在人类的理解范围内；③涌现能力——多轮 RL 训练可能让模型涌现出训练数据中不存在的推理方式。这对安全性的挑战是：我们很难判断模型「变好」的原因是否可靠——它是不是在「伪装」出好的行为？是不是找到了什么我们不理解的漏洞？这要求 RL 后训练中必须有可解释性工具（如特征归因、内部表征探测）作为配套。

113. 【⭐⭐⭐】如果 RL 后训练中的奖励信号「有毒」（如对抗性标注），模型会怎么反应？

  • 考察点：对数据投毒攻击的理解
  • 得分项：能分析攻击的影响、能提出防御措施
  • 回答：如果奖励信号被恶意操控（如大规模标注员故意给有害回答高分），模型会：①短期的错误优化——策略模型会快速向毒信号偏移，生成符合恶意标注的内容；②能力退化——模型可能「遗忘」原本的安全对齐，甚至学会生成有害内容；③训练指标异常——奖励分数虽然上升，但人类评估分数急剧下降。防御措施：①标注源监控——监控标注员的标注模式，检测异常（如一致性异常、极端偏好）；②标注多样性——用多个标注源，毒信号被稀释；③鲁棒聚合——用中位数或 Trimmed Mean 替代均值来聚合标注；④分层抽样验证——定期用独立的高信誉标注员验证数据质量；⑤奖励模型正则化——在奖励模型训练中加入鲁棒性约束，降低单个异常样本的影响。

114. 【⭐⭐⭐】RL 后训练在「具身 AI」（机器人）和「语言模型」中的挑战有什么不同？

  • 考察点：对 RL 跨领域应用的理解
  • 得分项：能对比两种场景的差异、能理解各自的特殊挑战
  • 回答：差异：①动作空间——语言模型的动作是「生成 Token」（离散，约 5 万维度，每次选一个），具身 AI 的动作是「物理控制指令」（连续、高维、实时）；②环境交互——语言模型的交互是「生成文本 → 观察反馈 → 继续生成」，具身 AI 是「执行动作 → 观察物理世界 → 继续执行」，物理世界反馈的延迟和噪声更大；③奖励信号——语言模型的奖励可以来自文本本身（人类偏好），具身 AI 的奖励来自物理任务的成功（如抓取物体），信号更稀疏且更依赖仿真环境；④安全性——具身 AI 的错误可能造成物理损害，语言模型的错误风险相对可控；⑤训练效率——语言模型可以在大规模 GPU 集群上并行训练，具身 AI 的仿真环境和物理实验是瓶颈。两者正在趋同——语言模型越来越多地用 RL 连接工具和外部环境，具身 AI 也越来越多地使用大语言模型作为「高层规划器」。

115. 【⭐⭐⭐】「后训练」和「测试时（推理时）优化」的边界在哪里？

  • 考察点：对训练-推理范式的深度思考
  • 得分项：能辨析两者的边界、能说明两者如何协同
  • 回答：边界正在模糊。传统定义：后训练是「在训练阶段更新模型参数」的过程，推理时优化是「在推理阶段不更新参数但通过搜索/采样优化输出」的过程。但两者的边界在实践中越来越模糊：①RL 训练的「推理时」数据可以反馈到训练——模型在推理时的表现可以被收集作为下一轮 RL 训练的数据，形成闭环；②推理时的「搜索」依赖训练时的价值模型——MCTS 等推理时搜索需要 RL 训练阶段学习的价值模型来引导；③轻量推理时微调——如用 LoRA 在推理时快速适配，这算训练还是推理？；④Test-time Training——推理阶段遇到新任务时进行参数更新，更模糊了边界。更本质的是：后训练解决「长期能力」（模型变强），推理时优化解决「当前任务表现」（用计算换准确率），两者是「能力建设」和「能力使用」的关系。

116. 【⭐⭐⭐】RL 后训练在「多模态大模型」（文本+图像）中有什么特殊考虑？

  • 考察点：对多模态 RL 后训练的理解
  • 得分项：能识别多模态带来的新挑战、能提出解决方案
  • 回答：多模态 RL 后训练的挑战：①跨模态奖励——奖励信号需要同时评估文本质量和图像质量，如何跨模态对齐人类偏好是一个难题；②模态间信用分配——一个回答可能包含「文本错误」和「图像正确」，如何将奖励归因到正确的模态；③数据获取——多模态偏好标注比纯文本困难得多，标注员需要同时评估两个模态；④模型架构——多模态模型的 VL 部分和 LLM 部分的 RL 更新策略不同（是否冻结部分参数？）。解决方案：①分模态奖励——文本部分一个奖励模型，图像部分一个奖励模型，组合最终奖励；②课程学习——先优化文本模态，再引入图像模态；③任务特定——根据任务类型（图像描述 vs 视觉问答）设计不同的奖励函数。

117. 【⭐⭐⭐】如何用 RL 后训练让模型学会「长期规划」（超过 100 步的推理链）？

  • 考察点：对长期序列 RL 挑战的理解
  • 得分项：能设计长期推理的训练方案、能理解挑战的根源
  • 回答：长期规划的 RL 后训练挑战在于：①信用分配极端困难——100 步推理中，最终奖励如何归因到第一步的决策？；②探索爆炸——100 步的动作空间组合天文数字；③奖励稀疏——只有最终结果正确才有奖励，中间步骤无信号；④记忆负担——100 步的上下文占用大量 Token，超出了模型的上下文窗口。解决方案：①过程奖励模型（PRM） ——训练一个「每步评估」的奖励模型，给每个推理步骤打分（而只在最后打分），提供密集的反馈信号；②分层规划——高层模型规划大步骤（每 5-10 步一个大目标），低层模型执行每个大步骤内的具体动作；③搜索增强——用 MCTS + RL 训练的价值模型引导搜索，在推理时找到最优路径；④课程学习——从 5 步推理开始逐步扩展到 100 步，逐步提高难度。

118. 【⭐⭐⭐】RL 后训练中的「过程奖励模型（Process Reward Model）」和「结果奖励模型（Outcome Reward Model）」有什么区别？

  • 考察点：对奖励模型类型的深入理解
  • 得分项：能区分两种模型、能说明各自的适用场景
  • 回答：结果奖励模型（ORM） 对整个最终回答给一个分数——评估的是「结果怎么样」。过程奖励模型（PRM） 对推理过程中的每个步骤给分数——评估的是「过程怎么样」。区别：①反馈粒度——ORM 是粗粒度（一个分数对应整个序列），PRM 是细粒度（每个步骤对应一个分数）；②信用分配——ORM 难以区分好结果中哪些步骤是关键的，PRM 可以直接定位好/坏步骤；③训练数据——ORM 训练只需要最终偏好数据，PRM 需要每个步骤都有人类评估（成本更高）；④适用场景——ORM 适合短生成任务，PRM 适合长推理任务（数学证明、代码调试）。PRM 是让模型学会「Step-by-Step Thinking」的关键技术。

119. 【⭐⭐⭐】RL 后训练中如何利用「合成数据」来扩展训练数据？

  • 考察点：对合成数据在 RL 中应用的理解
  • 得分项：能提出合成数据生成方案、能理解合成数据的风险
  • 回答：合成数据在 RL 后训练中的用途：①生成 Prompt——用 LLM 生成多样化的 Prompt，扩展训练覆盖范围；②生成偏好比较——用强模型（如 GPT-4）对弱模型的多个输出做偏好排序，生成大规模的「AI 标注」偏好数据（RLAIF）；③生成验证数据——在 RLVR 中，用 LLM 生成新的测试用例来验证模型输出；④数据增强——改写已有的偏好数据（改变表达方式、翻译、换领域），增加多样性。风险：①模型坍缩（Model Collapse） ——用合成数据训练可能导致模型多样性降低、质量退化；②偏见放大——合成数据会放大种子数据中的偏见；③真实性降低——合成数据可能包含「幻觉」，污染训练。应对：合成数据与真实数据混合、质量控制过滤、多样性约束。

120. 【⭐⭐⭐】5 年后 RL 后训练的格局会是什么样？

  • 考察点：对领域发展的前瞻预测
  • 得分项：能给出有依据的预测、能理解发展的驱动因素
  • 回答：5 年后预测：①RL 后训练将成为「标配」 ——不再是少数大厂的专属技术，而是大模型开发的标准流程之一，有成熟的框架和工具链；②RLVR 将主导——对于数学、代码、科学等有客观验证标准的任务，RLVR 将全面替代 RLHF；③在线 RL 闭环化——部署在真实场景中的模型会持续通过用户反馈进行 RL 更新，形成「永不停训」的在线学习系统；④RL 后训练的「一键化」 ——出现 AutoRL 系统，自动选择最优的 RL 算法、自动调参、自动检测训练异常，降低门槛；⑤超大规模 RL 将突破——万亿参数模型的 RL 后训练将可行（通过 GRPO 类算法 + 新型硬件）；⑥RL 后训练的可解释性——出现成熟的工具来「解读」RL 到底让模型学会了什么，不再是黑盒。核心驱动力：算力成本下降、算法效率提升、数据飞轮成熟。RL 后训练会从「少数人能做的复杂技术」变成「人人都能用的标准工具」。