编译 | 汪越裁剪 | Panken

智东西11月11日讯息，据The Information报谈，OpenAI的GPT系列模子修订速率放缓，公司正诊疗战术以冒昧这一挑战。据OpenAI职工表示，下一代旗舰模子Orion已完成约20%的查验。Orion在谈话任务上阐扬出色，但在编码等方面未独特GPT-4，且运行老本偏高，进步幅度低于预期。此外，Orion在来岁岁首发布时，可能不会沿用传统的“GPT”定名章程，而是收受新的定名式样。

Orion的开发败露了高质地文本数据清寒的问题。凭证Scaling Law表面，模子性能应随数据量和算力的增多而进步。但高质地数据的有限性已使Orion的查验后果受限，令Scaling Law的适用性受到质疑。即便参加更多数据和算力，模子的进步速率也可能不再如前几代那样显贵。

为此，OpenAI建设了一个特意团队，商榷何如克服数据清寒的挑战，评估Scaling Law还能适用多久。

据OpenAI职工表示，GPT修订速率放缓的进军原因是高质地文本和其他数据的清寒。大谈话模子（LLM）的预查验需要大宗数据来建立模子对天下和想法的相识，确保其能完成写稿或编程等任务。有关词，跟着现存数据源日益被充分专揽，模子进步正濒临瓶颈。

▲LLM发布前的查验和测试进程（图源：The Information）

为处分数据不及的问题，OpenAI已组建由前预查验认真东谈主尼克·莱德（Nick Ryder）相同的团队，发愤于探索何如克服数据清寒以及Scaling Law在改日的适用性。

Orion模子的部分查验数据源于AI生成的数据，即由GPT-4等旧模子生成的合成数据。有关词，这种式样可能导致Orion在某些方面呈现出旧模子的特征。

OpenAI正通过其他门径优化LLM处理任务的才智，举例条款模子从大宗数学或编程问题样本中学习，并通过强化学习进步解题着力。此外，东谈主工评估员还会对模子的编码和问题处分阐扬进行评分，这种基于东谈主类反馈的强化学习为模子优化带来进军相沿。

本年9月，OpenAI推出了推理模子o1。与传统模子不同，o1在恢复前“念念考”时间更长，通过增多蓄意资源进步反映质地，自大出“测试时蓄意”（Test-Time Compute）的后果。诚然o1的运行老本是世俗模子的六倍，而况该模子的客户群较为有限，但阿尔特曼觉得它将为科学商榷和复杂代码生成等领域带来阻拦。

▲OpenAI“ol”推理模子何如更好地处分数学奥林匹克竞赛题（图源：OpenAI）

据The Information报谈，Meta CEO马克·扎克伯格（Mark Zuckerberg）、阿尔特曼以过火他AI开发公司的首席执行官均公开讲过，现时的时刻仍未达到Scaling Law所设定的极限。这约略是包括OpenAI在内的公司，仍在参加数十亿好意思元开发大型数据中心的原因之一，以进一步进步预查验模子的性能。

有关词，OpenAI商榷员诺姆·布朗（Noam Brown）在上个月的TEDAI会议上共享说，开发更先进的模子可能在财务上变得不能捏续。布朗提倡质疑：咱们简直要破耗数千亿好意思元以至更多来查验新的模子吗？扩张的格式终究会达到瓶颈。

OpenAI仍在对其下一代模子Orion进行长时间的安全性测试。据公司职工表示，Orion在来岁岁首发布时，可能不会沿用传统的“GPT”定名章程，而是收受新的定名式样。OpenAI官方对此并未作念出驳倒。

一些照旧向AI开发商投资了数千万好意思元的投资者们，也对LLM是否照旧运行趋于自如示意担忧。

本·霍洛维茨（Ben Horowitz）是OpenAI的股东之一，同期还投资了Mistral和Safe Superintelligence等竞争敌手。他曾谈谈，OpenAI一直在增多查验AI所需的GPU数目，但似乎并未赢得预期的智能修订。不外，他并未进一步抽象表露。霍洛维茨的共事马克·安德森（Marc Andreessen）谈谈，很多颖悟的商榷东谈主员正在努力阻拦时刻瓶颈，尝试提高推理才智。

企业软件供应商Databricks的勾搭创举东谈主兼董事长Ion Stoica谈谈，LLM在某些方面可能照旧进入瓶颈期，但在其他方面仍在捏续跨越。Stoica说，他们的平台允许应用圭表开发者评估不同的LLM，而况发现诚然AI在编码和处分复杂的多圭表问题上捏续修订，但在执行一些通用任务（如分析文承诺扉或形容医疗症状）时，才智似乎有所放缓。

Stoica还说，在知识性问题上，LLM的阐扬可能照旧接近极限。为了进一步进步模子的才智，公司需要更多的事实数据，而合成数据的匡助则有限。

OpenAI正通过多方战术冒昧现时的时刻瓶颈，尤其是在LLM濒临的高质地数据清寒和性能进步逆境。为了克服这些挑战，OpenAI不仅通过强化学习进步模子在数学和编程等特定任务中的阐扬，还依赖于AI数据平台Scale AI和LLM查验商Turing等初创公司来照管大宗外包承包商，以相沿查验进程。

诚然现时AI基础设施的投资文牍尚不彰着，且在LLM查验进程中濒临无边的财务压力与时刻挑战，但阛阓竞争与投资瞻仰尚未减退，竞争者们在捏续下注。比如，马斯克旗下的大模子独角兽xAI和X平台及英伟达息争，已建成了10万片H100 GPU的强盛集群；Meta参加了400亿打造雷同范围的GPU集群，以相沿Llama 4模子的查验；苹果也在积极鼓吹与富士康的息争，进步自家开垦的AI算力。

开首：The Information体育游戏app平台