马斯克的“世界最强大 AI 数据中心”目前由 14 台移动发电机供电,引环保担忧
埃隆・马斯克的孟菲斯超级计算集群(Memphis Supercluster)已上线,据马斯克介绍称,该集群在单个 RDMA fabric 上使用 10 万张液冷 H100,是“世界上最强大的 AI 训练集群”。如此庞大的算力自然需要惊人的电力供应,每个 H100 GPU 至少消耗 700 瓦电力,这意味着整个数据中心同时运行需要超过 70 兆瓦的电力,这还不包括其他服务器、网络和冷却设备的耗电量。…- 2
- 0
第四范式发布先知AIOS 5.1,升级支持GPU资源池化功能
今天,第四范式先知AIOS 5.1版本正式发布。该版本新增GPU资源池化(vGPU)能力,实现对硬件集群平台化管理、算力资源的按需分配和快速调度,最多节省80%的硬件成本,提高GPU综合利用率多达5-10倍。第四范式先知AIOS 5是行业大模型开发及管理平台。平台以提升企业核心竞争力为目标,在支持接入企业各类模态数据的基础上,提供大模型训练、精调等低门槛建模工具、科学家创新服务体系、北极星策略管理…- 2
- 0
投资巨头高盛质疑 AI 投资回报:巨额投入能否换来光明未来?
全球知名投行高盛 (Goldman Sachs) 近期对人工智能 (AI) 投资的回报率提出了质疑。尽管各大企业和投资者正斥资数十亿美元用于人工智能研发,但高盛担忧如此巨额的投入能否真正带来丰厚回报。图源 Pexels目前,我们使用的 LLM 大型语言模型(例如 GPT-4o)训练成本就高达数亿美元,下一代模型的训练成本更是预计将飙升至 10 亿美元。风投巨头红杉资本 (Sequoia Capit…- 2
- 0
暴涨 8050%,富国银行预估 2030 年 AI 产业用电激增至 652 TWh
富国银行(Wells Fargo)预测今年 AI 用电需求为 8 TWh,而到 2030 年将激增到 652 TWh,将增长 8050%。富国银行表示 AI 用电主要用于训练 AI 模型方面,在 2026 年将达到 40 TWh,到 2030 年将达到 402 TWh;此外 AI 推理耗电量将会在 21 世纪 20 年代末出现快速增长。如果单纯看这个数字可能没有直观的感觉,那么这里再附上一组数据:…- 7
- 0
AI 泡沫加剧,红杉资本:年产值 6000 亿美元才够领取硬件开支
红杉资本(Sequoia Capital)的分析师大卫・卡恩(David Cahn)发布报告,觉得 AI 产业泡沫家居,年产值超过 6000 亿美元,才够领取数据中心、加速 GPU 卡等 AI 基础设施费用。英伟达 2023 年数据中心硬件支出达到 475 亿美元(其中大部分硬件是用于 AI 和 HPC 应用的算计 GPU)。此外 AWS、google、Meta、微软等公司在 2023 年也在 A…- 3
- 0
全球 AI 面临 6000 亿美元难题,人工智能泡沫正在接近临界点
【新智元导读】AI 基础设施的巨额投资,和实际的 AI 生态系统实际支出之间,差距已经到了不可思议的地步。曾经全球 AI 面临的 2000 亿美元难题,往常已经翻成了 6000 亿美元。现在,业内关于 AI 模型支出的质疑声,已经越来越大。动辄投入几万亿美元打造基础设施,跟部分国家的 GDP 不相上下,然而从 AI 模型中得到的回报,究竟能有几何?在 2023 年 9 月,来自红杉资源的 Davi…- 3
- 0
13瓦功耗处理10亿参数,接近大脑效率,消除LLM中的矩阵乘法来颠覆AI现状
编辑 | 萝卜皮通常,矩阵乘法 (MatMul) 在大型言语模型(LLM)总体盘算成本中占据主导地位。随着 LLM 扩展到更大的嵌入维度和上下文长度,这方面的成本只会增加。加州大学、LuxiTech 和苏州大学的钻研职员声称开发出一种新格式,通过消除过程中的矩阵乘法来更有效地运行人工智能言语模型。这从根本上重新设计了目前由 GPU 芯片加速的神经网络操作方式。钻研职员描述了如何在不使用 MatMu…- 2
- 0
全美 TOP 5 机器进修博士:痛心,实验室 H100 数量为 0!同实验室博士用 GPU 得靠抢
【新智元导读】全美 TOP 5 的机器进修博士痛心发帖自曝,自己实验室里 H100 数目是 0!这也引起了 ML 社区的全球网友大讨论。显然,相比普林斯顿、哈佛这样动辄三四百块 H100 的 GPU 大户,更常见的是 GPU 短缺的「穷人」。同一个实验室的博士,甚至时常会出现需要争抢 GPU 的情况。全美 TOP 5 高校的机器进修博士,实验室却连一块 H100 都没有?最近,这位网友在 redd…- 3
- 0
首个类 Sora 开源复现方案,Open Sora 可在英伟达 RTX 3090 显卡上 AI 生成视频:最高 4 秒 240P
作为全球首个类 Sora(OpenAI 的文本生成视频模型)开源复现方案,Open-Sora 可以在英伟达 RTX 3090 GPU 上鉴于文本生成视频,最高可以生成 240P 分辨率、时长最长 4 秒的视频。处理 AI 恣意的 GPU 云服务提供商 Backprop 揭示了鉴于 Open-Sora V1.2 的 AI 环境,揭示 4 个鉴于提示词生成的视频。Backprop 表示:“在 RTX …- 8
- 0
Yandex 开源 LLM 训练对象浪费高达 20% 的 GPU 资本
跨国科技公司 Yandex 最近推出了 YaFSDP,这是一种用于训练大型语言模型 (LLM) 的开源方法。YaFSDP 是目前最有效的公开可用对象,用于增强 GPU 通讯并减少 LLM 训练中的内存运用量,与 FSDP 相比,其训练速率晋升最高可达 26%,具体取决于架构和参数数量。通过运用 YaFSDP 减少 LLM 的训练时间可以浪费高达 20% 的 GPU 资本。Yandex 承诺为寰球人…- 2
- 0
马斯克称将为 xAI 采办约 30 万块英伟达 AI 芯片,预估至少花费 90 亿美元
马斯克北京时间今天凌晨在回复一则投票时泄漏,xAI 的下一项重大举措可能是在明年夏天采办约 30 万块配备 CX8 网络的 B200 芯片。xAI 已在近期获得了 60 亿美元(IT之家备注:现在约 435.6 亿元人民币)融资,公司估值达到约 180 亿美元(现在约 1306.8 亿元人民币)。目前,xAI 计划通过加大对 GPU 集群的投资,大幅扩展其 AI 相关的产品组合。今年 4 月,X …- 3
- 0
英伟达黄仁勋解读“CEO 数学”:花小钱,办大事
英伟达首席执行官黄仁勋日前在 2024 台北电脑展前夕提出了一个有趣的观念 ——“CEO 数学”。“买得越多,省得越多,” 黄仁勋在演讲中表示,“这就是 CEO 数学,它并不完全准确,但却很有效。”乍一听让人困惑?黄仁勋随后解释了这个观念的含义。他建议企业同时投资图形处理器 (GPU) 和中央处理器 (CPU)。这两种处理器可以协同工作,将任务完成时间从“100 个单位缩短到 1 个单位”。因此,…- 3
- 0
黄仁勋一口气解密三代 GPU,量产英伟达 Blackwell 解决 ChatGPT 全球耗电难题
感谢IT之家网友 佳宜 的线索投递!【新智元导读】刚刚,老黄又高调向全全国秀了一把:已经量产的 Blackwell,8 年内将把 1.8 万亿参数 GPT-4 的训练能耗狂砍到 1/350;英伟达惊人的产品迭代,直接原地冲破摩尔定律;Blackwell 的后三代路线图,也一口气被放出。就在刚刚,老黄手持 Blackwell 向全全国展示的那一刻,全场的观众沸腾了。它,是迄今为止全国最大的芯片!▲ …- 4
- 0
马斯克旗下 xAI 公司宣布 B 轮融资达 60 亿美元
感谢埃隆・马斯克(Elon Musk)旗下人工智能初创公司 xAI 今日在博客文章中宣布,该公司已在 B 轮融资中筹集了 60 亿美元(IT之家备注:当前约 435.6 亿元人民币),投资方包括 Andreessen Horowitz 和红杉资本等。xAI 意味,这笔资金将用于把 xAI 的首批产品推向市场、建设先进的基础设施并加速将来技术的研发。“将来几周将会有更多消息公布,xAI 的投前估值为…- 4
- 0
世界最大开源 AI 社区 Hugging Face 将免费提供 1000 万美元同享 GPU,接济小企业对抗大公司
世界最大的开源 AI 社区 Hugging Face(IT之家注:通称“抱抱脸”)日前宣布,将提供 1000 万美元的免费同享 GPU 接济开发者发现新的 AI 技术。具体来看,Hugging Face 这次做出此举的目的是接济小型开发者、研究人员和首创公司对抗大型 AI 公司,避免 AI 进步陷入“集中化”。Hugging Face 首席执行官 Clem Delangue 在接受 The Ver…- 3
- 0
扎克伯格:AI 数据中心 GPU 紧缺正在减缓,电力将成新瓶颈
Meto CEO 马克・扎克伯格(Mark Zuckerberg)近日在接受油管 Dwarkesh Patel 频道采访时意味,AI 数据中心的 GPU 紧缺已在减缓过程中,未来的瓶颈将是电力供应。扎克伯格首先提到,此前一段时间,IT 企业即使资金充足也难以买到全部所需数量的 AI GPU,但这一情况暂时已开始减缓。暂时新建的单一数据中心在整体功耗方面可达到 50~100MW 乃至 150MW;但…- 3
- 0
仅用250美元,Hugging Face技术主管手把手教你微调Llama 3
大谈话模型的微调一直是说起来容易做起来难的事儿。近日 Hugging Face 技术主管 Philipp Schmid 发表了一篇博客,详细讲解了如何利用 Hugging Face 上的库和 fsdp 以及 Q-Lora 对大模型从事微调。我们知道,Meta 推出的 Llama 3、Mistral AI 推出的 Mistral 和 Mixtral 模型以及 AI21 实验室推出的 Jamba 等开…- 12
- 0
英特尔 Falcon Shores GPU 明年晚些时候推出,已为 AI 负载重构
英特尔在上月末举行的一季度电话财报会议上明确,Falcon Shores GPU 将于 2025 年晚些时候推出。另据外媒 HPCwire 报导,该处理器正从新计划,以适应 AI 工业需求。英特尔 CEO 帕特・基辛格称,Falcon Shores 将结合完全可编程的架构和 Gaudi 3 加速器优异的系统性能,用户可在两代硬件间实现顺利且无缝的升级转换。英特尔表示,AI 业界正转向 Python…- 4
- 0
老黄最新采访出炉!自述 61 年坚持成就了英伟达,AI 革命点燃全世界
【新智元导读】过去一年的时间,英伟达市值突破 2 万亿美元,一举成为 21 世纪的 AI 巨头。在老黄的最新采访中,向我们展示了即将到来的工业革命是怎样的。全球进入 2 万亿美元俱乐部的公司,仅有 4 家 —— 微软、苹果、谷歌,以及英伟达。在过去一年中,位于加利福尼亚的计算机芯片制造商英伟达,市值从 1 万亿,飙升到 2 万亿美元。这得益于大模型掀起的 AI 狂潮,急剧放大了全世界对算力的需求。…- 1
- 0
英伟达 H100 AI GPU 短缺减缓,交货时间从 3-4 个月降至 2-3 个月
曾几何时,英伟达用于人工智能计算的 H100 GPU 供不应求。然而据 Digitimes 报道,台积电的台湾地区总经理 Terence Liao 表示,过去几个月英伟达 H100 的交货守候时间已经大幅收缩,从最后的 3-4 个月降至暂时的 2-3 个月(8-12 周)。服务器代工厂商也透露,相比 2023 年几乎无法买到英伟达 H100 的情况,暂时提供瓶颈在逐步减缓。尽管交货守候时间有所收缩…- 3
- 0
仅次于 Meta,马斯克透露特斯拉囤积的英伟达 H100 芯片数量
埃隆・马斯克麾下的特斯拉和其神秘的以人工智能为核心的公司 xAI,储藏了大量的英伟达 H100 系列芯片。特斯拉意欲借此攻克主动驾驭的最终难题 ——L5 级主动驾驭,而 xAI 则肩负着实现马斯克的“最终真相人工智能”愿景。X 平台用户“The Technology Brother”最近发布消息称,Meta 公司已经囤积了全球最多的 H100 GPU,数量达到惊人的 35 万块。然而,马斯克对该排…- 1
- 0
英伟达开卷价格!最新 Blackwell GPU 架构 / 利润揭秘,彰显老黄的「善良」
【新智元导读】老黄新 GPU 深夜炸场,超高规格的背后也付出了不小的代价,小编带大家深入了解一下新架构的硬件细节和利润,新显卡的售价究竟高不高?英伟达也不能不开始卷了老黄的新 GPU 又在深夜炸场,震动了所有的观众。除了硬件参数上的震动之外,大家伙最想知道的还是新 GPU 的售价会不会同样震动。下面就让我们从规格参数、工艺节点、封装设计等方面来深入分析一下新一代 Blackwell GPU 的系统…- 3
- 0
英伟达 AI 芯片 H200 开始供货,机能相比 H100 提升 60%-90%
感谢据日本经济新闻今日报道,英伟达的尖端图像处理半导体(GPU)H200 现已开始供货。H200 为面向 AI 领域的半导体,机能超过当前主打的 H100。根据英伟达方面公布的机能评测结果,以 Meta 公司旗下大说话模型 Llama 2 处理速率为例,H200 相比于 H100,生成式 AI 导出答案的处理速率最高提高了 45%。市场调研机构 Omdia 曾表示,2022 年英伟达在 AI 半导…- 2
- 0
首个 AI 游玩引擎或颠覆任天堂 / 暴雪?0 代码即可创办,黄仁勋预测 5-10 年游玩完整由 AI 生成
【新智元导读】还有什么领域没有被 AI 渗透?继音乐之后,首个 AI 游玩引擎曾经完整凭几个字,就能创办游玩资产和动画了。老黄预测,现在 5-10 年我们将看到完整由 AI 生成的游玩。「现在 5-10 年,我们可以看到完整由 AI 生成的游玩」。这是近日 GTC 2024 大会之后,黄仁勋接受媒体时采访时发表的最新看法。其实,现在的游玩创办,早已到了只说一句话的地步了!近日,一家专注研发无代码游…- 2
- 0
GPU
❯
个人中心
今日签到
搜索
扫码打开当前页
返回顶部
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
- ¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!