公告
这里是睡觉高手的网络小窝 🌏
用于保存分享学习笔记 😊
欢迎评论区或邮件留言交流 🤗
网址:justafish.cn
🤖
后训练的本质是重塑语言模型的序列分布。SFT 学习一个预先给定的外部分布;RL 在模型自己的采样分布中寻找高奖励行为;On-Policy Distillation(OPD)则在学生自己访问的状态上接受教师的逐 token 指导。
后训练的本质是重塑语言模型的序列分布。SFT 学习一个预先给定的外部分布;RL 在模型自己的采样分布中寻找高奖励行为;On-Policy Distillation(OPD)则在学生自己访问的状态上接受教师的逐 token 指导。