文 | 王方玉

裁剪 | 苏建勋

12 月 7 日北京时刻凌晨两点，OpenAI 公司带来了承接 12 天发布会的第二场直播。

本次直播中，OpenAI 带来了新的决策——强化微调（Reinforcement Fine-Tuning）。该决策和功能预测将于 2025 年认真推出。

强化微调是一种全新的模子定制时事，它将一个预磨砺好的通用模子，通过在特定领域的小范围数据集上进一步磨砺，使其适应特定任务的工夫。粗浅来说便是在一个"学过许多东西"的大模子上，再让它针对某个具体任务"要点肃穆"，让它更合适作念这件事。

OpenAI 高管先容称，强化微调不错将大型谈话模子从"高中水平"进步至"博士级巨匠"的智商，合适高校、探究东说念主员和企业打造专有的 AI 责罚决策。举例 OpenAI 正在与汤森路透合营，打造专属于该公司的法律专科模子。

莫得参与本场直播的 OpenAI CEO Sam Altman 在酬酢媒体表上："成果一级棒，是我 2024 年最大的惊喜，期待看到东说念主们构建什么！"

"强化微调让行业巨匠大模子的扫尾变得容易了。"一位 AI 大模子讹诈企业的首创东说念主告诉 36 氪，这是一项和平方用户干系不大，但对专科领域责任者很有价值的新决策。

直播现场，OpenAI 展示了一个典型的案例——旷费遗传病探究。

OpenAI 与伯克利施行室和德国 Charit é 病院的探究东说念主员合营，使用强化微调磨砺 GPT o1 Mini 模子。该模子学会了有用推理旷费疾病的成因，并在性能上越过了更大的 GPT o1 模子，展示了其在会诊和相识复杂病情方面的后劲。

值得一提的是，强化微调与此前的微调形态有着权臣互异。与传统微调不同，强化微调并不是粗浅地让模子"记取谜底"，而是通过磨砺模子在特定领域中学会推理，找到正确谜底。

具体来说，强化微调有两个不同数据纠合，一个是微调数据集，一个是测试数据纠合，模子先基于微调数据纠合去磨砺，然后用测试数据纠合考据，反复自我推理磨砺考据，最终达到很高的水平。因而强化微调不错扫尾在数据量有限的情况下（无意仅需几十个样本）也能扫尾权臣性能进步。

不外，强化微调决策当今仍处于探究预览阶段，OpenAI 推测打算在 2025 年全面推出。

当今 OpenAI 正邀请探究机构、大学以及企业参与强化微调探究推测打算。OpenAI 但愿与承诺分享数据集的组织合营开云Kaiyun·体育官方网站 登录入口，进一步优化模子性能。