Lightning Attention-2
新一代注意力机制Lightning Attention-2:无限序列长度、恒定算力开销、更高建模精度
Lightning Attention-2 是一种新型的线性注意力机制,让长序列的训练和推理成本与 1K 序列长度的一致。大语言模型序列长度的限制,极大地制约了其在人工智能领域的应用,比如多轮对话、长文本理解、多模态数据的处理与生成等。造成这一限制的根本原因在于当前大语言模型均采用的 Transformer 架构有着相对于序列长度的二次计算复杂度。这意味着随着序列长度的增加,需要的计算资源成几何倍数提升。如何高效地处理长序列一直是大语言模型的挑战之一。之前的方法往往集中在如何让大语言模型在推理阶段适应更长的序列。比
1/18/2024 11:39:00 AM
机器之心
- 1
资讯热榜
标签云
人工智能
AI
OpenAI
AIGC
ChatGPT
DeepSeek
AI绘画
模型
数据
机器人
谷歌
大模型
Midjourney
智能
用户
开源
微软
学习
GPT
Meta
图像
AI创作
技术
Gemini
论文
马斯克
Stable Diffusion
算法
芯片
代码
生成式
蛋白质
英伟达
腾讯
神经网络
研究
Anthropic
开发者
3D
计算
Sora
机器学习
AI设计
AI for Science
GPU
AI视频
苹果
场景
华为
百度
人形机器人
预测
搜索
Claude
伟达
训练
深度学习
生成
xAI
Transformer
大语言模型
字节跳动
模态
具身智能
文本
驾驶
神器推荐
智能体
Copilot
LLaMA
视觉
算力
安全
应用
视频生成
干货合集
API
大型语言模型
亚马逊
科技