文章列表-AI魔法学院

文章列表

最透彻的大模型PPO原理和源码解读

关于RLHF，各家的开源代码间都会有一些差异，同时也不止PPO一种RLHF方式。

PPO 大模型源码解读

详解大模型RLHF过程（配代码解读）

出自：https://zhuanlan.zhihu.com/p/624589622 一直都特别好奇大模型的强化学习微调是怎么做的，网上虽然相关文章不少，但找到的文章都是浅尝辄止说到用PPO训练，再细致深入的就没有讲了

训练

HAI-Chat：高效且轻量的一键式 RLHF 训练工具

众所周知，RLHF 三阶段分别是：有监督微调（SFT），奖励模型（RM）与近端策略优化（PPO）。

HAI-Chat RLHF

用户意图对齐，无需人工标注，Zephyr-7B 超越 Llama2-Chat-70B

2.3.7 举例说明：（辅助理解PPO与DPO的区别）假设我们正在训练一个电子游戏中的代理(Agent)，代理的任务是在迷宫中寻找宝藏。

小型语言模型 Zephyr-7B

国内外开源大语言模型一览表

通过这些努力，确定了使得 PPO 算法在大模型人类对齐方面行之有效的关键因素。

大模型

最新大模型面经+感受，4家大厂offer！

PPO算法中使用GAE的好处以及参数γ和λ的作用是什么？

大模型面试

大语言模型的拐杖——RLHF基于人类反馈的强化学习

强化学习：然后使用Proximal Policy Optimization (PPO)或类似的算法对模型进行微调，这些算法将人类生成的奖励信号纳入其中。

大模型训练

RLHF 在 Text2SQL 领域中的探索

On-policy 学习到的 agent 以及和环境进行互动的 agent 是同一个 agent ，比如 PPO

Text2SQL RLHF

【大模型微调】 Llama 2 ：对话模型的全过程微调

迭代微调（Iterative Fine-Tuning） RLHF 微调使用了两种主要算法：近端策略优化（Proximal Policy Optimization，PPO），拒绝抽样微调

大模型

QWen1.5: 卓越模型之路

结果如下： o3Exer 人类偏好对齐在对齐最新的 Qwen1.5 系列时有效地采用了直接策略优化（DPO）和近端策略优化（PPO）等技术。

Qwen1.5 开源模型

baichuan2 有什么好的深挖论文中涉及的知识点

给定一个提示，通过不同大小和阶段的 Baichuan 2 模型（SFT，PPO）生成的回答，以增强回答的多样性。

大模型

Transformer速查宝典：模型、架构、训练方法的论文都在这里了

采用 PPO 算法的 RLHF 在 RLHF 中，首先要训练一个奖励模型，由标注员评估模型生成的数组。

Transformer

Deepseek-V2技术报告解读！全网最细！

Deepseek-Math中的GRPO算法被用来进行偏好对齐训练，这是一种无需在训练中更新通常与Policy Model（被对齐模型）同样大小的 Critic Model 的参数的训练方法，是一种资源优化的 PPO

Deepseek-V2 大模型

中国电信开源星辰AI大模型：央企中首个完成LLM研发和开源的选手诞生

然后又多次尝试PPO、RRHF和DPO在内的人类偏好排序数据训练策略，最终选择DPO进行训练，实现人类偏好对齐，由此提升模型生成答案的安全性和规范性。

开源大模型电信

更强的小型LLM：Zephyr-7B

以前使用AI反馈的方法主要采用强化学习方法，如近端策略优化（PPO），以根据这个奖励函数优化模型参数。

Zephyr-7B 大语言模型

<12 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2024 AI魔法学院

京ICP备20027199号-1