OpenAI如何通过强化学习微调提升模型性能？

OpenAI

昨日OpenAI发布o1正式版后，奥特曼开玩笑说：o1虽强大，但还没强到引发宇宙海啸的地步。有趣的是，湾区确实刚经历地震与海啸。

尽管o1功能强大，但它无法解决所有问题。OpenAI在第二天发布的强化学习微调技术能够弥补o1的不足。用户仅需使用数十至数千个高质量任务来定制模型，这项技术使开发者能以低成本方式微调出适用于特定复杂领域任务的专家模型，例如编程和科学研究等。通过这种方式，模型可以更好地满足不同领域的专业需求。

今天参与直播的四位嘉宾分别是：OpenAI研究副总裁Mark Chen，OpenAI技术员John Allard与Julie Wang，以及Berkeley Lab的环境基因组学和系统生物学研究员Justin Reese。他们共同探讨了前沿科技与未来发展趋势，分享了各自领域的最新见解和研究成果。

奥特曼

在20分钟的直播中，讲解了强化学习微调技术，并通过一个具体案例展示了其应用：根据症状推理预测潜在基因。要进行强化学习的微调，首先需要上传训练数据集。该数据集为 .JSonl 文件格式，每行代表一个训练样本。在这个示例中，数据集包含 11 个样本，确保数据准备充分是成功微调的关键步骤。

我们来了解一下每个训练样本的结构。以下是一个具体例子，展示了训练集中的一个样本，包含三部分内容：输入的病例报告（含基本信息、症状及未出现的症状）、任务指令以及正确答案。这里的指令要求模型以排序形式列出所有可能引发上述症状的基因。

同样，你需要上传与训练集格式相同但不重叠的验证集，以评估微调模型的效果。

在模型微调过程中，与直接使用训练样本的标准答案进行监督不同，强化学习微调是通过模型输出与正确答案之间的评分来进行调整。这意味着需要引入一个评分器（Grader）来评估模型的表现。Grader会根据模型生成的输出和标准答案计算出一个得分。例如，若模型的第二个输出为正确答案，得分为0.7；如果模型在第一个位置就输出了正确答案，则得分为1.0。这种机制使得微调过程更加灵活，能够更好地适应不同的任务需求。可以推测，类似的策略也可能被应用于其他训练任务中。这种方法的优势在于它不仅能提高模型的准确性，还能增强其泛化能力。

配置好评分器后，还需调整一些超参数，如批量大小、学习率和训练轮数等，以优化模型性能。

调整结束后，通过验证集评分曲线可见，随着训练进行，模型表现逐步提升，效果越来越好。

这个微调任务基于o1-mini模型，但微调后的模型在该任务上的准确度超越了o1模型。这表明此微调方法非常有效，尤其适用于某些特定领域的任务。

现阶段，这项微调技术尚在测试中，预计全面开放时间将在2025年以后。奥特曼表示，2024年最令人惊喜的成果之一便是这项微调技术带来的显著效果。

我认为o1的能力非常出色，但面对未知事物时可能仍显不足。然而，通过强化学习进行微调，可以利用少量训练样本（即小样本学习）显著提升o1的模型性能和适应性。