AI在线 AI在线

OpenAI 开源模型被 Meta 研究员“逆改”!只动0.3%参数,gpt-oss-20B 解锁无约束基座

OpenAI在8月初发布了开放权重模型家族gpt-oss,这是公司自2019年GPT-2以来首次真正意义上的开源动作。 仅仅两周后,一位研究者就将这一模型“拆解重组”,推出了与官方版本迥异的变体。 康奈尔大学博士生、前Google Brain成员、现任Meta研究员的Jack Morris,公开了名为gpt-oss-20b-base的新版本。
OpenAI在8月初发布了开放权重模型家族gpt-oss,这是公司自2019年GPT-2以来首次真正意义上的开源动作。

仅仅两周后,一位研究者就将这一模型“拆解重组”,推出了与官方版本迥异的变体。

康奈尔大学博士生、前Google Brain成员、现任Meta研究员的Jack Morris,公开了名为gpt-oss-20b-base的新版本。

图片图片

他并没有让模型变得更聪明,而是剥离了OpenAI在训练中添加的推理与对齐能力。

结果是,一个更快、更自由、更无约束的“原始基座模型”重新出现。

一、从“推理模型”到“基座模型”的逆转

图片图片

地址:http://huggingface.co/jxm/gpt-oss-20b-base

要理解这一变化,必须先区分“推理优化模型”和“基座模型”。

OpenAI发布的gpt-oss属于前者,它经过额外的指令微调和对齐,使得模型在回答问题时更安全、更符合预期。

这种做法源自2024年推出的o1模型,强调链式思维,让AI在生成答案前进行多步推理与自我检查。它们在编程、数学和解释类任务上表现优异,但往往会规避敏感话题。

相比之下,基座模型是未经对齐的原始形态,它只负责预测下一个词,不具备礼貌、拒绝或安全过滤的机制。

图片图片

Jack Morris的目标就是把gpt-oss-20B“逆转”回这种原始形态。

他在X平台写道:“我们基本上逆转了LLM训练中的对齐部分,现在它重新生成自然文本,不再进行链式推理,只是像最初一样预测下一个token。”

这种方式让模型重新具备更广阔的表达自由,但同时也带来更大的安全风险。

二、技术路径:60M参数的微小调整

Morris并没有采用常见的“越狱提示词”,而是直接从模型结构入手。

在与OpenAI前联合创始人、现任Thinking Machines首席科学家John Schulman交流后,他确定了一个关键点:

如果大部分预训练知识仍然存在,那么只需要一个低秩的小优化,就能让模型回到基座分布。

图片图片

他采用了LoRA(低秩适配器)技术,只在第7、15和23层的MLP模块做了改动,秩设为16。

这一调整涉及大约6000万参数,只占模型总量的0.3%。训练数据来自FineWeb数据集的2万篇文档,训练时尽量保持接近原始预训练格式。

训练过程耗时四天,硬件配置为8张NVIDIA H200 GPU,学习率2e-6,批大小16,最大序列长度8192。

完成后,他将LoRA权重合并回模型,形成一个可以独立运行的成品。Morris强调,他并没有恢复原始的权重参数,而是恢复了输出分布。

换言之,他让模型的输出概率模式更接近基座形态,即使内部的权重并不完全相同。

图片图片

三、自由与风险:研究者的两难选择

新模型gpt-oss-20b-base的行为与官方版本截然不同。它不再自动进行推理步骤,而是直接生成更自由的文本。

这意味着,它会输出OpenAI原版模型拒绝生成的指令,例如涉及武器制作、非法行为或粗口内容。

在测试中,它甚至能够逐字复现部分书籍片段,显示出记忆性内容依然可被触发。

不过,痕迹依然存在。如果在提示中使用“Human: … Assistant: …”的对话模板,它有时仍会表现出礼貌的助手风格。

为了获得最“原始”的输出,Morris建议使用模型的特殊起始符号<|startoftext|>,并避免任何聊天模板。

这也让研究界看到另一面:开放权重不仅能被复用,还能被快速改造。

更值得注意的是,Morris还计划将类似的逆转方法应用到Qwen等其他开源指令模型上。

这意味着,“去对齐化”的趋势可能继续扩散,成为研究者和开发者探索的又一条分支道路。

相关资讯

Creator 面对面 | 北大河图在稀疏大模型训练架构上的几点探索

河图是北京大学数据与智能实验室自研的一款分布式深度学习框架,兼顾创新性和可用性,这也是国内首个由高校自主研发的分布式深度学习系统。底层的算子实现到上层的模型设计完全是由河图团队自主实现。
7/13/2022 6:41:00 PM
SOTA模型

ChatGPT 参数规模被扒:只有 7B

ChatGPT 惨遭攻击,参数规模终于被扒出来了 —— 很可能只有 7B(70 亿)。消息来自南加州大学最新研究,他们使用一种攻击方法,花费不到 1000 美元就把最新版 gpt-3.5-turbo 模型的机密给挖了出来。果然,OpenAI 不 Open,自有别人帮他们 Open。具体来说,南加大团队三位作者破解出了未公布的 gpt-3.5-turbo 嵌入向量维度(embedding size)为 4096 或 4608。而几乎所有已知的开源大模型如 Llama 和 Mistral,嵌入向量维度 4096 的时候
3/17/2024 3:41:32 PM
远洋

iPhone 上本地每秒生成 12 个 tokens,微软发布 phi-3-mini 模型:38 亿参数

微软研究院近日发布技术报告,公布了 Phi-3 系列 AI 模型,共有 mini(38 亿参数)、small(70 亿参数)和 medium(140 亿参数)三个版本。微软表示拥有 38 亿参数的 phi-3-mini 通过 3.3 万亿个 tokens 上训练,其基准跑分性能超出 Mixtral 8x7B 和 GPT-3.5。微软表示 phi-3-mini 模型可以部署在手机等设备上,在 27 亿参数的 Phi-2 模型上,进一步整合了严格过滤的网络数据和合成数据。微软也坦言 phi-3-mini 模型虽然通过优
4/23/2024 1:53:17 PM
故渊
  • 1