大语言模型架构
华为诺亚频域LLM「帝江」:仅需1/50训练成本,7B模型媲美LLaMA,推理加速5倍
“又西三百五十里曰天山,多金玉,有青雄黄,英水出焉,而西南流注于汤谷。有神鸟,其状如黄囊,赤如丹火,六足四翼,浑敦无面目,是识歌舞,实惟帝江也。”——《山海经》基于 Transformer 架构的大语言模型在 NLP 领域取得了令人惊艳的效果,然而,Transformer 中自注意力带来的二次复杂度使得大模型的推理成本和内存占用十分巨大,特别是在长序列的场景中。此前,研究者们提出了线性 Transformer、Mamba、RetNet 等。这些方案可以大幅降低 Transformer 计算成本,并且取得媲美原有模型
4/3/2024 2:39:00 PM
机器之心
- 1
资讯热榜
Google 不慎泄露 Gemini CLI 开源即将推出文章,现已404
AI Hacker Rises to Power! XBOW's Autonomous AI Tool Dominates HackerOne, Revealing Thousands of Vulnerabilities and Intimidating the Cybersecurity Industry
OpenAI搜索连接器重磅上线!解锁ChatGPT全新工作效率神器
苹果iOS 26升级:图乐园功能焕然一新,AI 生成图像更真实!
我国首个发电行业大模型“擎源”发布,模型参数达千亿级别
你绝对没见过的折纸ASMR视频!极致解压+深度元提示词
Clikka AI颠覆产品摄影!一张图秒变专业级大片,省钱又吸睛
西门子 CTO 大夸 DeepSeek:预计三五年后西门子的所有产品都将融入 AI 元素
标签云
人工智能
AI
OpenAI
AIGC
模型
ChatGPT
DeepSeek
AI绘画
谷歌
数据
机器人
大模型
Midjourney
用户
智能
开源
微软
Meta
GPT
学习
图像
技术
Gemini
AI创作
马斯克
论文
Anthropic
代码
英伟达
算法
Stable Diffusion
芯片
训练
开发者
智能体
生成式
蛋白质
腾讯
苹果
神经网络
3D
研究
生成
Claude
机器学习
计算
Sora
LLM
AI设计
AI for Science
AI视频
AI新词
GPU
人形机器人
华为
百度
搜索
xAI
大语言模型
场景
Agent
字节跳动
预测
深度学习
伟达
Transformer
工具
大型语言模型
视觉
RAG
神器推荐
模态
具身智能
文本
Copilot
LLaMA
算力
驾驶
API
架构