AI在线 AI在线

GPU

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了
一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。
7/18/2023 2:55:00 PM
机器之心
思考一下，联邦学习可以训练大语言模型吗？

思考一下，联邦学习可以训练大语言模型吗？
满足在垂直领域中的应用需求，能用联邦学习训练LLM吗？
7/10/2023 2:34:00 PM
机器之心
DeepSpeed ZeRO++：降低4倍网络通信，显著提高大模型及类ChatGPT模型训练效率

DeepSpeed ZeRO++：降低4倍网络通信，显著提高大模型及类ChatGPT模型训练效率
。ZeRO++ 相比 ZeRO 将总通信量减少了 4 倍，而不会影响模型质量。
6/24/2023 12:51:00 PM
机器之心
参会抽RTX 4090，GTC23 China AI Day定档3月22日，嘉宾阵容公布

参会抽RTX 4090，GTC23 China AI Day定档3月22日，嘉宾阵容公布
面向全球 AI 开发者的 GTC 2023 将于3月20 – 23日在线上举办，这场被 NVIDIA 创始人兼首席执行官黄仁勋描述为 「迄今为止最重要的一次 GTC」，将带来650多场演讲、专家座谈会和特别活动，几乎涵盖了计算领域的所有热门内容，预计将有超过25万人报名参加。本届 GTC 设有专门为中国 AI 从业者举办的特别活动 — China AI Day。活动将于3月22日下午1点开始，邀您一同探讨互联网、数字孪生、元宇宙领域的前沿的 AI 应用。来自阿里巴巴、百度、快手、腾讯、网易、字节跳动等领先 AI 智
3/10/2023 2:22:00 PM
机器之心
跑ChatGPT体量模型，从此只需一块GPU：加速百倍的方法来了

跑ChatGPT体量模型，从此只需一块GPU：加速百倍的方法来了
1750 亿参数，只需要一块 RTX 3090，ChatGPT 终于不再是大厂专属的游戏？
2/27/2023 5:21:00 PM
机器之心
和TensorFlow一样，英伟达CUDA的垄断格局将被打破？

和TensorFlow一样，英伟达CUDA的垄断格局将被打破？
CUDA 闭源库将和 TensorFlow 一样逐渐式微。
1/18/2023 9:24:00 PM
机器之心
用什么tricks能让模型训练得更快？先了解下这个问题的第一性原理

用什么tricks能让模型训练得更快？先了解下这个问题的第一性原理
深度学习是门玄学？也不完全是。
3/22/2022 2:26:00 PM
机器之心
详解AI加速器（一）：2012年的AlexNet到底做对了什么？

详解AI加速器（一）：2012年的AlexNet到底做对了什么？
AI、机器学习、深度学习的概念可以追溯到几十年前，然而，它们在过去的十几年里才真正流行起来，这是为什么呢？AlexNet 的基本结构和之前的 CNN 架构也没有本质区别，为什么就能一鸣惊人？在这一系列文章中，前苹果、飞利浦、Mellanox（现属英伟达）工程师、普林斯顿大学博士 Adi Fuchs 尝试从 AI 加速器的角度为我们寻找这些问题的答案。当代世界正在经历一场革命，人类的体验从未与科技如此紧密地结合在一起。过去，科技公司通过观察用户行为、研究市场趋势，在一个通常需要数月甚至数年时间的周期中优化产品线来改进
1/13/2022 2:48:00 PM
机器之心
一块V100运行上千个智能体、数千个环境，这个「曲率引擎」框架实现RL百倍提速

一块V100运行上千个智能体、数千个环境，这个「曲率引擎」框架实现RL百倍提速
在强化学习研究中，一个实验就要跑数天或数周，有没有更快的方法？近日，来自 SalesForce 的研究者提出了一种名为 WarpDrive（曲率引擎）的开源框架，它可以在一个 V100 GPU 上并行运行、训练数千个强化学习环境和上千个智能体。实验结果表明，与 CPU+GPU 的 RL 实现相比，WarpDrive 靠一个 GPU 实现的 RL 要快几个数量级。
9/12/2021 12:43:00 PM
机器之心