MEGALODON

Meta无限长文本大模型来了：参数仅7B，已开源

谷歌之后，Meta 也来卷无限长上下文。Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意力和状态空间模型等次二次解决方案，但从以往的经验来看，它们在预训练效率和下游任务准确性方面表现不佳。长文本是大语言模型一直在努力的方向。近日，谷歌提出的 Infini-Transformer 引入有效方法，可以将基于 Transformer 的大型语言模型 (LLM) 扩展到无限长输入，而不增加内存和计算需求，吸引了人们的关注。几乎就在同时，Meta 也提出了一种无限长文本技术。论

4/17/2024 5:59:00 PM

机器之心

资讯热榜

苹果发布全新Xcode 26开发者工具：内置ChatGPT先进AI功能豆包App“一句话P图”功能全新升级基于SeedEdit 3.0实现全面优化微软发布 700 个真实 AI 案例，探索智能化工作新模式 DeepSeek前高管秘密创业，新AI Agent项目已获顶级VC押注 Microsoft Releases 700 Real AI Cases to Explore New Intelligent Work Models 苹果向开发者开放本地AI能力，推出全新Foundation Models框架支持MCP！开源智能体开发框架 Rowboat：打造你的智能助手只需几分钟苹果将 ChatGPT 和其他 AI 模型引入 Xcode

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌数据机器人大模型 Midjourney 用户智能开源微软 GPT Meta 学习图像技术 AI创作 Gemini 论文马斯克 Stable Diffusion 算法英伟达代码 Anthropic 芯片开发者生成式蛋白质腾讯神经网络训练 3D 研究生成智能体苹果计算机器学习 Sora Claude AI设计 AI for Science GPU AI视频人形机器人搜索华为百度场景大语言模型 xAI 预测伟达深度学习 LLM 字节跳动 Transformer Agent 模态具身智能神器推荐工具文本视觉 LLaMA 算力 Copilot 驾驶大型语言模型 API RAG 应用架构