AI在线 AI在线

斯坦福意外用AI生成超强CUDA内核,性能比人类专家优化得还要好!翻倍碾压原生PyTorch,华人主创

好家伙,AI意外生成的内核(kernel),性能比人类专家专门优化过的还要好! 斯坦福最近披露了一组新发现,结果真的太亮眼了。 由AI优化的内核,在常见深度学习操作上,翻倍超越原生PyTorch,性能至多可以提升近400%——矩阵乘法(Matmul,FP32):性能达到PyTorch torch.matmul的101.3%。

好家伙,AI意外生成的内核(kernel),性能比人类专家专门优化过的还要好!

斯坦福最近披露了一组新发现,结果真的太亮眼了。

由AI优化的内核,在常见深度学习操作上,翻倍超越原生PyTorch,性能至多可以提升近400%——

  • 矩阵乘法(Matmul,FP32):性能达到PyTorch torch.matmul的101.3%。
  • 二维卷积(Conv2D):性能达到 torch.nn.Conv2D的179.9%。
  • Softmax:性能达到 torch.softmax的111.8%。
  • 层归一化(LayerNorm):性能达到torch.nn.LayerNorm的484.4%。
  • Conv2D+ReLU+MaxPool组合操作:性能达到PyTorch参考实现的290.1%,以及torch.compile()参考实现的189.0%。

(在NVIDIA L40S GPU上进行基准测试,性能百分比定义为参考时间除以生成的kernel_size时间)

图片

更惊人的是,这一切都是意外实现的。

研究团队本来的目标是生成合成数据以训练内核生成模型。

结果发现,仅在测试阶段生成的合成数据本身,竟然可以生成性能非常优秀的内核。

图片

围观网友:没想到AI也要取代内核工程师了。

图片

还有人发现,除了性能大幅提升外,研究团队采用的方法也非常有趣:

他们没有简单的在操作上逐步优化(类似于爬坡算法),而是在每次迭代之间加入了一个语言推理的步骤,通过这种方式鼓励搜索过程更加多样化。

也就是说,他们是让系统在每次改进时通过类似“思考”的方式产生更多想法,从而找到更好的解决方案。

图片

具体如何实现,一起来看。

改代码前先生成自然语言优化思想

按照斯坦福团队博客的描述,这种内核生成的思路非常简单——给定torch代码,然后告诉都能写编写自定义内核来替换torch算子。

这些内核是用纯CUDA-C编写,无需使用CUTLASS和Triton等库和DSL(Domain-Specific Language,领域专用语言)。

不同于传统方法的是,模型并不是一上来就直接改代码,而是先用自然语言生成优化思想,然后再将这些思想转化为新的代码变体。

团队这样做的理由是,“按顺序修改”式的优化思路缺乏多样性,导致陷入局部极小值,重复访问同一类转换或无休止地优化没有前景的轨迹。

为了进一步增强思路多样性,斯坦福团队还使用了多分支的探索模式。

具体来说,他们的方法并非每一步都只优化一个候选方案,而是将每个想法分散开来,使其衍生出多个实现,并使用性能最高的内核作为下一轮的种子。

图片

团队使用OpenAI o3和Gemini 2.5 Pro挑战KernelBench 1级中的10个问题,运行多轮后,最佳内核开始出现。

其中大多数最佳结果出现在后续轮次(总共5轮),并且主要是第4轮或第5轮。

KernelBench是斯坦福团队自己提出的一套AI生成内核测试基准,基准中的任务分为3个级别,其中1级是指单一原始操作(Single primitive operation),包括AI的基础构建块(例如卷积、矩阵-向量与矩阵-矩阵乘法、损失函数、激活函数以及层归一化)。

图片

这一发现再加上之前DeepMind的AplhaEvolve,以及o3发现Linux的0day漏洞等一系列事件,让网友们认为Gemini 2.5Pro和o3的能力水平已经达到了新的层级。

图片

回到斯坦福的项目,在生成过程当中,可以看到模型的生成思路开始显现出与人类的经验相似之处——

  • 内存访问优化: 提高不同内存层次结构(全局内存、共享内存、寄存器)之间数据移动的效率,并确保以最大化带宽和最小化冲突的方式访问数据;
  • 异步操作和延迟隐藏: 通过将慢速操作(如全局内存访问)与计算或其他内存传输重叠,“隐藏”慢速操作的延迟;
  • 数据类型和精度优化: 尽可能使用低精度数据类型(如 FP16 或 BF16)以减少内存带宽要求、提高缓存效率;
  • 计算和指令优化:提高算术计算本身的效率,减少指令数量,或利用专门的硬件指令;
  • 并行性和占用率增强:最大化流多处理器(SM)上的活动线程数量,以更好地隐藏延迟并提高整体吞吐量;
  • 控制流和循环优化:减少与循环、分支和索引计算相关的开销。

并且斯坦福团队还展示了一组具体的优化轨迹,从中可以看出,并不是每一步优化都一定能让速度更快,但经过多个步骤的组合,内核的速度能够得到大幅提升,并最终超越PyTorch。

图片

在具体实现上,有人询问AI生成CUDA内核时的优化建议,是否可以被转化为对应代码实现、还是说只是触发了随机探索?

作者回应说,尽管还没有进行更严谨的系统验证,但是手动检查的案例中,生成的CUDA视线与提出的优化建议是大致匹配的。

即AI并不是在完全随机做优化,而是确实在尝试实现它自己提出的策略。

图片

华人主创团队意外发现

这项研究共有三位作者:Anne Ouyang、Azalia Mirhoseini和Percy Liang。

Ouyang目前是斯坦福大学扩展智能实验室的博士生,她本硕毕业于麻省理工,曾在英伟达cuDNN团队工作。

图片

Percy Liang是斯坦福大学计算机科学副教授兼统计学助理教授,目前担任斯坦福基础模型研究中心主任。

曾和李飞飞一起发布、推进了多项研究工作。

图片

Azalia Mirhoseini是斯坦福大学计算机科学助理教授、斯坦福扩展实验室创始人。她曾在DeepMind、Google Brain以及Anthropic工作过。

她此前参与的研究包括MoE、芯片设计算法AlphaChip等。

图片

本次研究,本来是希望生成数据来训练内核生成模型。

但是在过程中却出现了意想不到的结果,仅在测试阶段生成的合成数据本身,竟然可以生成性能非常优秀的内核。

因为这些内核利用了此前被认为很难实现的高级优化和硬件特性,所以团队决定以博客形式分享此次成果。

不过具体是如何生成数据的,研究团队暂时不对外发布,只是提到了这种设计理念也很简单

最关键的还是,它已经展示出了巨大潜力。

此外,研究团队也认为此次发现也与最近的一些趋势相呼应——大规模再训练已不是必需。

有时,聪明的搜索和分支策略,可以解锁科学创新并解决复杂问题,通过verifier进行广泛搜索还能有更多收获。

将强大推理能力与同时探索多个假设结合起来,能带来更好结果。就像AlphaEvolve、AlphaEvolution、 Gemini 2.5 Pro深度思考一样。

最后,团队表示这项研究还有很多可优化的空间。比如他们手头上就还在优化两个维度:

  • FP16 Matmul:52% performance of torch.matmul
  • FP16 Flash Attention::9% performance of torch.nn.functional.scaled_dot_product_attention

与FP16或BF16相比,FP32在新推出硬件上的优化程度通常比较低,这也是为何使用FP32内核比PyTorch更容易实现性能提升。

他们表示,虽然现在还有不少限制,但是对于未来前景还是很乐观的。

毕竟最开始,他们连能正常运行的内核都生成不了,但是通过不断优化搜索方法,已经能让flash attention的性能提升到了一个不错的水平。

值得一提的是,搜索使用的资源也很少,大概只用了300万token输入和400万token输出。

One More Thing

实际上,不只是一个团队在尝试开发内核大模型。

就在5月,开发了Devin的Cognition开源了首个通过强化学习即可编写CUDA内核的大模型Kevin-32B。

它基于QwQ-32B在KernelBench数据集上使用GRPO,实现了多轮强化学习,性能优于o3、o4-mini。

图片

相关资讯

使用深度学习,通过一个片段修饰进行分子优化

编辑 | 萝卜皮分子优化是药物开发中的关键步骤,可通过化学修饰改善候选药物的预期特性。来自俄亥俄州立大学(The Ohio State University)的研究人员,在分子图上开发了一种新颖的深度生成模型 Modof,用于分子优化。Modof 通过预测分子处的单个断开位点以及在该位点去除和/或添加片段来修饰给定的分子。在 Modof-pipe 中实现了多个相同 Modof 模型的管道,以修改多个断开位置的输入分子。研究人员表明 Modof-pipe 能够保留主要的分子支架,允许控制中间优化步骤并更好地约束分子相
1/17/2022 2:46:00 PM
ScienceAI

AI小分子药物发现的「百科全书」,康奈尔、剑桥、EPFL等研究者综述登Nature子刊

作者 | 康奈尔大学杜沅岂编辑 | ScienceAI随着 AI for Science 受到越来越多的关注,人们更加关心 AI 如何解决一系列科学问题并且可以被成功借鉴到其他相近的领域。AI 与小分子药物发现是其中一个非常有代表性和很早被探索的领域。分子发现是一个非常困难的组合优化问题(由于分子结构的离散性)并且搜索空间非常庞大与崎岖,同时验证搜索到的分子属性又十分困难,通常需要昂贵的实验,至少是至少是模拟计算、量子化学的方法来提供反馈。随着机器学习的高速发展和得益于早期的探索(包括构建了简单可用的优化目标与效果
6/24/2024 2:44:00 PM
ScienceAI

PNAS顶刊 | 抗体中和活性提升1000倍,百奥几何生成式AI高效反击病毒新变种

编辑丨Science AI近日,百奥几何(BioGeometry)携手上海交通大学药学院朱建伟团队,基于生成式 AI 驱动的抗体优化策略,在短时间内精准优化 8G3 抗体,实现其对最新病毒变异株 JN.1 的中和活性 1000-1500 倍的跃升。 相关研究成果已正式发表在国际顶级期刊《美国国家科学院院刊》(PNAS)上【1】,继 CR3022 抗体、肿瘤抗原 5T4 纳米抗体【2】等多个优化案例后,再次证明了生成式 AI 驱动抗体工程的广泛适用性和变革潜力。 论文地址: AI 抗体工程:精准优化 8G3 抗体,中和活性提升 1000-1500 倍由于病毒基因组的快速进化和新变种的不断产生增加了治疗的复杂性,大多数早期开发的抗体已无法精准识别并有效结合目标,导致中和能力大幅下降。
2/10/2025 2:53:00 PM
ScienceAI
  • 1