AI在线 AI在线

英伟达黄仁勋解读“CEO 数学”:花小钱,办大事

英伟达首席执行官黄仁勋日前在 2024 台北电脑展前夕提出了一个有趣的概念 ——“CEO 数学”。“买得越多,省得越多,” 黄仁勋在演讲中表示,“这就是 CEO 数学,它并不完全准确,但却很有效。”乍一听让人困惑?黄仁勋随后解释了这个概念的含义。他建议企业同时投资图形处理器 (GPU) 和中央处理器 (CPU)。这两种处理器可以协同工作,将任务完成时间从“100 个单位缩短到 1 个单位”。因此,从长远来看,增加投资反而能节省成本。这种结合使用 CPU 和 GPU 的做法在个人电脑领域已经很普遍。“我们往一台 10

英伟达首席执行官黄仁勋日前在 2024 台北电脑展前夕提出了一个有趣的概念 ——“CEO 数学”。

“买得越多,省得越多,” 黄仁勋在演讲中表示,“这就是 CEO 数学,它并不完全准确,但却很有效。”

乍一听让人困惑?黄仁勋随后解释了这个概念的含义。他建议企业同时投资图形处理器 (GPU) 和中央处理器 (CPU)。这两种处理器可以协同工作,将任务完成时间从“100 个单位缩短到 1 个单位”。因此,从长远来看,增加投资反而能节省成本。

这种结合使用 CPU 和 GPU 的做法在个人电脑领域已经很普遍。“我们往一台 1000 美元的电脑里加入一块 500 美元的 GPU,性能就会大幅提升,” 黄仁勋举了个例子,“同样的道理也适用于数据中心。往一个价值 10 亿美元的数据中心投入 5 亿美元的 GPU,它摇身一变就成了人工智能工厂。”

黄仁勋还展示了一张图表,图表显示当企业同时使用 CPU 和 GPU 时,速度可以提升 100 倍,而成本仅仅增加 1.5 倍。

今年 3 月,英伟达发布了号称“全球性能最强的 AI 芯片”——Blackwell B200 GPU,售价高达 7 万美元(IT之家备注:当前约 50.8 万元人民币)。英伟达还将这种芯片集成到更大规模的设计中,例如 GB200 NVL72,它融合了 72 个 GPU 和 36 个 CPU,专用于“计算强度最高的工作负载”,并能将成本和能耗降低多达 25 倍。

近年来,英伟达作为人工智能浪潮中的关键参与者频频登上新闻头条。2023 年第四季度,英伟达的收入超 220 亿美元。

相关资讯

科技界新顶流皮衣黄,已出现“人传人”现象

机器之能报道编译:Sia via Le chat( Mistral )有关黄仁勋的“梗”(meme)正在迅速崛起,他的思想、行为甚至穿衣风格正在“人传人”。科技界之巅如今出现了一个明显的空缺,就像是缺了一颗牙齿。马斯克、扎克伯格和贝佐斯都曾立于华山之巅,但现在没有人能在拥有这一地位。马斯克已经成为一个两极分化的人物,失去了所有神秘感。扎克伯格早已不复当年《社交网络》的风光,贝佐斯从亚马逊 CEO 位置跳下来后,除了造火箭也变成了与娇妻秀恩爱的肌肉男。ChatGPT 之后的几个月里,OpenAI  CEO Sam A
3/11/2024 6:20:00 PM
机器之能

4090成A100平替?上交大推出推理引擎PowerInfer,token生成速率只比A100低18%

机器之心报道机器之心编辑部PowerInfer 使得在消费级硬件上运行 AI 更加高效。上海交大团队,刚刚推出超强 CPU/GPU LLM 高速推理引擎 PowerInfer。项目地址::?在运行 Falcon (ReLU)-40B-FP16 的单个 RTX 4090 (24G) 上,PowerInfer 对比 llama.cpp 实现了 11 倍加速!PowerInfer 和 llama.cpp 都在相同的硬件上运行,并充分利用了 RTX 4090 上的 VRAM。在单个 NVIDIA RTX 4090 GPU
12/20/2023 6:01:00 PM
机器之心

微软开源 bitnet.cpp 1-bit LLM 推理框架:不靠 GPU 可本地运行千亿参数 AI 模型,能耗最多降低 82.2%

科技媒体 marktechpost 昨日(10 月 18 日)发布博文,报道称微软公司开源了 bitnet.cpp,这是一个能够直接在 CPU 上运行、超高效的 1-bit 大语言模型(LLM)推理框架。用户通过 bitnet.cpp 框架,不需要借助 GPU,也能在本地设备上运行具有 1000 亿参数的大语言模型,实现 6.17 倍的速度提升,且能耗可以降低 82.2%。传统大语言模型通常需要庞大的 GPU 基础设施和大量电力,导致部署和维护成本高昂,而小型企业和个人用户因缺乏先进硬件而难以接触这些技术,而 bitnet.cpp 框架通过降低硬件要求,吸引更多用户以更低的成本使用 AI 技术。
10/19/2024 3:08:57 PM
故渊
  • 1