OpenAI发布会引爆RFT时间千帆ModelBuilder率先落地！白虎 女
在OpenAI联接12天的时间发布会上，一项名为RFT（Reinforcement-based Fine-Tuning，基于强化学习的微调）的新式检修措施激勉天下柔和。该措施通过掂量强化学习与监督微调，仅需少许标注数据即可权贵提高模子在特定场景下的性能。2月28日，百度智能云千帆ModelBuilder成为了国内首个全面救援RFT检修措施的大模子斥地平台，为企业斥地者提供更高效、低本钱的大模子斥地模式，进一步裁汰生成式AI应用落地的门槛。
什么是RFT：大模子高效检修的新范式
RFT会通了强化学习（RL）和微调（Fine-tuning）时间，突破了传统检修依赖多半东谈主工标注偏好数据的局限，借助Grader比较模子Response和Reference进行打分（0-1），自动分拨奖励信号，运转模子优化。
这一检修样式的上风在于，AI不错我方想考，强化导致正确谜底的想维旅途、阻止导致造作的想维旅途，不错在用户的少许专科数据中完成推理，从而完成强化学习，赶紧达到细分领域的群众水平。
RFT会通强化学习（RL）与监督微调（SFT），通过以下机制突破传统检修瓶颈：
激情与放荡奖励信号自动化引入Grader模块（基于划定或参考谜底的评分器），对比模子输出与参考谜底（Reference），自动生成0-1分值的量化奖励信号，替代东谈主工偏好标注。计策优化智能化基于PPO算法构建强化学习框架，运转模子通过自主探索优化输出计策，幸免传统SFT的局部最优局限。
千帆ModelBuilder RFT检修全历程通晓：RFT何如让模子达成“想维跃迁”
在千帆ModelBuilder的实测中，RFT展现出"超强增效"特色：
数据效力：复杂场景下，仅需4500条检修数据即可完成检修，并保证模子成果。泛化才略：在3-8东谈主复杂度递加的"好东谈主/坏东谈主"推理场景中，平均准确率比较base模子提高29%。检修天花板：在复杂问题场景下，RFT的检修才略天花板更高。
那上头的3点施行咱们是何如得出的论断呢，咱们以平台上信得过测评的逻辑推理场景-“谁是好东谈主白虎 女”来进行揭秘！
当先来望望案例配景：什么是逻辑推理场景——“谁是好东谈主”？
在造谣的“坏东谈主与好东谈主”推理问题中，模子需分析变装敷陈的真伪，意料出“好东谈主”与“坏东谈主”的身份。此类问题熟谙模子的逻辑一致性分析与数学推理才略。咱们用一个具体query来展示下该场景：
不错看到，在上述的case模子的输出中，想考过程仍是冉冉浩瀚，何况题目自己需要分辨3个东谈主的身份，在最终谜底中模子只给出2个东谈主的身份论断，并未有用的推理出该问题。那咱们对模子进一步进行RFT，但愿能搞定模子输出准确性问题。
千帆ModelBuilder上的RFT检修三步曲
Step 1：创建RFT检修任务
在千帆ModelBuilder上，采选「模子精调」→「偏好对都」→「RFT」，并采选base模子DeepSeek-R1-Distill-Qwen-7B，同期确立奖励划定（平台预置四种划定，奖励划定中界说了何如评估模子输出成果的划定）。
采选检修措施
奖励划定确立
Step 2：准备检修数据
领受开源数据集K-and-K/knights-and-knaves（约4,500条数据）；平台数据确立中，数据神情需包含Prompt（问题）与Response（参考谜底）。
数据确立条款：Prompt+Response神情
Step 3：模子部署与成果快速评估
确立成功后，在平台即可一键开启模子检修，检修完成后一键部署至千帆ModelBuilder，同期平台救援创建自动评估任务，通过ERNIE-4.0-Turbo算作评判员模子并自界说评估宗旨，快速获取模子评估为止。
成果考据——RFT“超强增效”：检修后的模子恢复准确率大幅提高，杰出OpenAI o1模子！
扫数检修过程，咱们基于百度智能云千帆ModelBuilder平台，行使base模子DeepSeek-R1-Distill-Qwen-7B使用约4500条少许数据，完成RFT检修；把柄恢复准确率以及case示例分析，咱们得出2个要害论断。
要害论断1——准确率跃升，检修天花板更高：在3-8东谈主复杂度递加的场景中，RFT后的DeepSeek-R1-Distill-Qwen-7B平均准确率提高29%，杰出了OpenAI o1；同期咱们也对比了SFT-全量更新后的模子恢复准确率，发当今逻辑推理场景下，RFT的成果提高更权贵，检修天花板更高。
RFT后的模子与base模子、OpenAI o1恢复准确率对比
要害论断2——泛化才略增强：RFT前Base模子的输出谜底以及想考过程均有彰着造作，何况当题目难度越高的时期甚而模子恢复谈话仍是零乱；而RFT后，模子输出的谜底准确，想考过程也愈加显然。
粗浅问题：一个尽头异常的岛屿上惟有好东谈主和坏东谈主居住。好东谈主老是说实话，坏东谈主老是说谎。你遭受三个住户：杰克、塞巴斯蒂安和詹姆斯。据杰克说：“詹姆斯是好东谈主且杰克是好东谈主。”塞巴斯蒂安辩驳谈：“杰克是坏东谈主且詹姆斯是坏东谈主。”詹姆斯说：“塞巴斯蒂安是好东谈主，仅当他是坏东谈主时诞生。”那么谁是好东谈主，谁是坏东谈主？
复杂问题：一个尽头异常的岛屿上只居住着好东谈主和坏东谈主。好东谈主老是讲实话，坏东谈主老是说谎。你遭受了7个住户：Isabella、Mason、Ella、Harper、Daniel、David 和 Michael。把柄Isabella的说法，“David是一个好东谈主”。Mason提到，“Daniel不是一个好东谈主”。Ella说，“Mason不是一个坏东谈主”。Harper的话是：“Daniel是一个好东谈主，David是一个好东谈主”。Daniel说，David是一个好东谈主大概David是一个坏东谈主。David说，“要是Ella是一个好东谈主，那么Daniel是一个坏东谈主。” Michael说，“要是Harper是一个好东谈主，那么Daniel是一个坏东谈主”。那么，谁是好东谈主，谁是坏东谈主？