吞吐量

Llama2推理RTX3090胜过4090，延迟吞吐量占优，但被A800远远甩开

这是为数不多深入比较使用消费级 GPU（RTX 3090、4090）和服务器显卡（A800）进行大模型预训练、微调和推理的论文。大型语言模型 (LLM) 在学界和业界都取得了巨大的进展。但训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的开源框架和方法。然而，不同硬件和软件堆栈的运行时性能可能存在很大差异，这使得选择最佳配置变得困难。最近，一篇题为《Dissecting the Runtime Performance of the Training,

12/27/2023 3:04:00 PM

机器之心

跑ChatGPT体量模型，从此只需一块GPU：加速百倍的方法来了

1750 亿参数，只需要一块 RTX 3090，ChatGPT 终于不再是大厂专属的游戏？

2/27/2023 5:21:00 PM

机器之心

资讯热榜

早鸟票倒计时3天｜第四届全国大模型智能生成大会（LMG 2025）美国女子使用ChatGPT生成号码购彩中奖10万美元：概率事件而非AI预测能力 OpenAI 紧急暂停 Sora生成马丁・路德・金形象，AI 视频生成引发热议！全新开源的DeepSeek-OCR，可能是最近最惊喜的模型！ AI智能体的未来要等十年？Karpathy直言目前的技术还很 “菜”！ LLM的“记忆”与“推理”该分家了吗？一种全新的训练范式，彻底厘清思考流程 AI 模型“炒股”比拼!DeepSeek 收益超14%，Gemini2.5Pro 惨亏四成密歇根州女子靠 ChatGPT 生成号码，赢得10万美元强力球大奖

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画机器人数据大模型 Midjourney 开源 Meta 智能微软用户 AI新词 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练 LLM 论文代码算法芯片腾讯 AI for Science Stable Diffusion 苹果 Agent Claude 蛋白质开发者生成式神经网络 xAI 机器学习 3D 人形机器人研究 AI视频生成大语言模型百度 RAG Sora 具身智能工具 GPU 华为计算字节跳动 AI设计搜索大型语言模型 AGI 视频生成场景深度学习 DeepMind 架构视觉预测 Transformer 编程生成式AI 伟达 AI模型特斯拉 Copilot