Position Encoding

Transformer的无限之路：位置编码视角下的长度外推综述

在自然语言处理（Natural Language Processing，NLP）领域，Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。然而，Transformer 及在其基础之上的大语言模型（Large Language Models，LLMs）都不具备有效长度外推（Length Extrapolation）的能力。这意味着，受限于其训练时预设的上下文长度限制，大模型无法有效处理超过该长度限制的序列。文本续写和语言延展是人类语言的核心能力之一，与之相对的，长度外推是语言模型智能进化的重要方向，

1/15/2024 4:06:00 PM

机器之心

资讯热榜

我国首个发电行业大模型“擎源”发布，模型参数达千亿级别 Bilibili开源动漫视频生成模型AniSora V3版，一键生成多种风格动漫视频镜头 xAI控制台新增Grok4及Grok4Code引用，标志着下一代AI模型即将发布 Chai Discovery发布Chai- 2 模型：零样本抗体设计突破16-20%命中率不再单一依赖英伟达，消息称 OpenAI 首次采用谷歌 AI 芯片训练 ChatGPT Gemini2.5Pro API 免费回归，开发者社区热烈响应 OpenAI 高管回应 Meta 挖角潮：正积极留人，将“重新调整”薪酬阿里Ovis-U1震撼发布：多模态AI三合一，开源赋能全球开发者

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌数据机器人大模型 Midjourney 用户智能开源微软 Meta GPT 学习图像技术 Gemini AI创作马斯克论文 Anthropic 代码英伟达算法 Stable Diffusion 芯片智能体训练开发者生成式腾讯蛋白质苹果神经网络 3D 研究生成 AI新词 Claude 机器学习计算 LLM Sora AI设计 AI for Science AI视频 GPU 人形机器人 xAI 百度华为搜索大语言模型场景 Agent 字节跳动预测深度学习伟达大型语言模型工具 Transformer 视觉 RAG 神器推荐模态 Copilot 亚马逊具身智能 LLaMA 文本算力驾驶 API