MEGALODON

Meta无限长文本大模型来了：参数仅7B，已开源

谷歌之后，Meta 也来卷无限长上下文。Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意力和状态空间模型等次二次解决方案，但从以往的经验来看，它们在预训练效率和下游任务准确性方面表现不佳。长文本是大语言模型一直在努力的方向。近日，谷歌提出的 Infini-Transformer 引入有效方法，可以将基于 Transformer 的大型语言模型 (LLM) 扩展到无限长输入，而不增加内存和计算需求，吸引了人们的关注。几乎就在同时，Meta 也提出了一种无限长文本技术。论

4/17/2024 5:59:00 PM

机器之心

资讯热榜

Meta视觉基座DINOv3王者归来：自监督首次全面超越弱监督，商用开源 Meta刚刚开源DINOv3，横扫60+任务，无标注封神！扎克伯格看OpenAI直播挖人，北大校友孙之清加入Meta ChatGPT或将引入广告！OpenAI高管首度松口，用户破7亿仍难盈利 Nvidia 投资 5 亿美元，Cohere 公司估值达 68 亿美元破天荒！OpenAI、Cursor多位开发大牛联手曝出GPT5提示词指南！晒官方系统提示词优化秘籍，最大化编程性能，工作流更可控马斯克手撕OpenAI，奥特曼反击：AI巨头互曝老底，苹果被拖下水 IDC：未来五年，中国生成式 AI 相关硬件支出将激增至 330 亿元

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能用户 Meta 微软 GPT 学习技术图像 Gemini 马斯克 AI创作智能体论文英伟达 Anthropic 代码训练算法 Stable Diffusion 芯片蛋白质 LLM 开发者腾讯 AI新词生成式 Claude 苹果 Agent 神经网络 AI for Science 3D 机器学习研究生成 xAI 人形机器人 AI视频计算 Sora GPU AI设计百度华为工具大语言模型搜索具身智能场景 RAG 字节跳动大型语言模型深度学习预测伟达视觉 Transformer 视频生成 AGI 架构神器推荐亚马逊 Copilot DeepMind 应用安全