nGPT

英伟达新 nGPT 架构撬动 AI 未来：超球面学习提效，训练模型时间可缩短至 1/20

科技媒体 dataconomy 昨日（10 月 21 日）发布博文，报道称英伟达在训练 AI 模型方面取得重大突破，发布了最新的 Normalized Transformer（nGPT）新架构，保持模型的稳定性和准确性的前提下，可以将训练 AI 时间缩短至 1/4 或者 1/20。nGPT 架构提升效率的秘诀在于“超球面学习”（Hyperspherical learning）这个概念。传统的变换器模型通常缺乏一致的几何框架，而 nGPT 通过将嵌入、注意力矩阵和隐藏状态等关键组件映射到超球面表面，确保模型各层在训练过程中保持平衡。

10/22/2024 9:46:42 AM

故渊

资讯热榜

早鸟票倒计时3天｜第四届全国大模型智能生成大会（LMG 2025）美国女子使用ChatGPT生成号码购彩中奖10万美元：概率事件而非AI预测能力全新开源的DeepSeek-OCR，可能是最近最惊喜的模型！ OpenAI 紧急暂停 Sora生成马丁・路德・金形象，AI 视频生成引发热议！ AI 模型“炒股”比拼!DeepSeek 收益超14%，Gemini2.5Pro 惨亏四成 LLM的“记忆”与“推理”该分家了吗？一种全新的训练范式，彻底厘清思考流程 AI智能体的未来要等十年？Karpathy直言目前的技术还很 “菜”！ GPT-5≈o3.1！OpenAI首次详解思考机制：RL+预训练才是AGI正道

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画机器人数据大模型 Midjourney 开源 Meta 智能微软用户 AI新词 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练 LLM 论文代码算法芯片腾讯 AI for Science Stable Diffusion 苹果 Agent Claude 蛋白质开发者生成式神经网络 xAI 机器学习 3D 人形机器人研究 AI视频生成大语言模型百度 RAG Sora 具身智能工具 GPU 华为计算字节跳动 AI设计搜索大型语言模型 AGI 视频生成场景深度学习 DeepMind 架构视觉预测 Transformer 编程生成式AI 伟达 AI模型特斯拉 Copilot