AI在线 AI在线

Meta

田渊栋等人新作：突破内存瓶颈，让一块4090预训练7B大模型

田渊栋等人新作：突破内存瓶颈，让一块4090预训练7B大模型
只用 24G 显存，消费级 GPU 就能搞定大模型了。上个月，Meta FAIR 田渊栋参与的一项研究广受好评，他们在论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》中开始卷 10 亿以下参数小模型，主打在移动设备上运行 LLM。3 月 6 日，田渊栋又一项研究出炉，这次，他们主攻 LLM 内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及 CMU 的研究者。他们合
3/8/2024 2:56:00 PM
机器之心
全面超越ViT，美团、浙大等提出视觉任务统一架构VisionLLAMA

全面超越ViT，美团、浙大等提出视觉任务统一架构VisionLLAMA
半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。沿袭 ViT 的研究思路，我们能否借助创新性的 LLaMA 架构，真正实现语言和图像的架构统一？在这一命题上，最近的一项研究 VisionLLaMA 取得了进展。VisionLLaMA 在图像生成（包含 Sora 依赖的底层的 DIT）和理解（分类、分割、检测、自监督）等多个主流任务上相较于原 ViT 类方法提升显著。论文标题：VisionLLaMA: A Unified LLaMA Interfac
3/7/2024 2:53:00 PM
机器之心
LLaMa 3或将推迟到7月发布，剑指GPT-4，从Gemini吸取教训

LLaMa 3或将推迟到7月发布，剑指GPT-4，从Gemini吸取教训
LLaMa 3 正寻找安全与可用性的新平衡点。过去的图像生成模型常被人们诟病人物主要以「白人」为主，而谷歌 Gemini 正在因为它的矫枉过正而深陷翻车风波。它「过度谨慎」的文生图结果会与历史事实出现极大偏差，让用户们瞠目结舌。谷歌表示，该模型变得比开发者预期的更加谨慎。这不仅体现在生成图片的问题上，还体现在常常将一些提示认作敏感提示，从而拒绝回答。在此事不断发酵时，这项安全与可用性如何平衡的难题也给 Meta 提出了巨大挑战。LLaMA 2 是开源领域的「强中手」，更是 Meta 的招牌模型，一经发布即改变了大模
2/29/2024 3:12:00 PM
机器之心
端侧最强，Meta田渊栋等人卷10亿以下参数小模型，LeCun：小技巧启动

端侧最强，Meta田渊栋等人卷10亿以下参数小模型，LeCun：小技巧启动
Meta 推出 MobileLLM 系列，一款适用于移动设备上的「小」模型。「在移动设备上运行 LLM？可能需要 Meta 的一些技巧。」刚刚，图灵奖得主 Yann LeCun 在个人社交平台表示。他所宣传的这项研究来自 Meta 最新论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases 》，在众多作者中也有我们熟悉的来自 Meta FAIR 田渊栋。田渊栋表示：「我们的 MobileLLM 预
2/27/2024 3:02:00 PM
机器之心
后Sora时代，CV从业者如何选择模型？卷积还是ViT，监督学习还是CLIP范式

后Sora时代，CV从业者如何选择模型？卷积还是ViT，监督学习还是CLIP范式
如何衡量一个视觉模型？又如何选择适合自己需求的视觉模型？MBZUAI和Meta的研究者给出了答案。一直以来，ImageNet 准确率是评估模型性能的主要指标，也是它最初点燃了深度学习革命的火种。但对于今天的计算视觉领域来说，这一指标正变得越来越不「够用」。因为计算机视觉模型已变得越来越复杂，从早期的 ConvNets 到 Vision Transformers，可用模型的种类已大幅增加。同样，训练范式也从 ImageNet 上的监督训练发展到自监督学习和像 CLIP 这样的图像 - 文本对训练。ImageNet 并
2/19/2024 2:39:00 PM
机器之心
吉他摇滚、电子音乐都能搞定，Meta开源音频生成新模型MAGNeT，非自回归7倍提速

吉他摇滚、电子音乐都能搞定，Meta开源音频生成新模型MAGNeT，非自回归7倍提速
MAGNeT 有望改变我们体验音乐的方式。在文本生成音频（或音乐）这个 AIGC 赛道，Meta 最近又有了新研究成果，而且开源了。前几日，在论文《Masked Audio Generation using a Single Non-Autoregressive Transformer》中，Meta FAIR 团队、Kyutai 和希伯来大学推出了 MAGNeT，一种在掩码生成序列建模方法，可以直接在多个音频 tokens 流上直接运行。与以往工作最大的不同是，MAGNeT 是由单阶段、非自回归 transform
2/8/2024 3:59:00 PM
机器之心
扎克伯格分红7亿刀，Meta股价大涨14%，开源大计成了​？

扎克伯格分红7亿刀，Meta股价大涨14%，开源大计成了​？
Meta 正在走出阴霾。伴随着 Meta 的股价周四盘后上涨近 14%，升至历史新高，这家公司宣布了有史以来的首次股息派发。最近一次财报电话会议公布内容显示，Meta 公布的 2023 全年营收为 1349 亿美元，较 2022 年增长 16%；净利润为 391 亿美元，同比增长 69%。其中，第四季度营收为 401 亿美元，超出预期的 391.8 亿美元，同比增长 25%。从 3 月份开始，Meta 将按季度向 A 类和 B 类普通股派发现金股息 50 美分。根据彭博社汇编的数据，首席执行官扎克伯格持有约 3.5
2/2/2024 5:30:00 PM
机器之心
小扎官宣Code Llama重量级更新，新增70B版本，但还有能力限制

小扎官宣Code Llama重量级更新，新增70B版本，但还有能力限制
功能更强大的 Code Llama 70B 模型来了。今天，Meta 正式发布 Code Llama 70B，这是 Code Llama 系列有史以来最大、性能最好的型号。我们正在开源一个全新的改进版 Code Llama，包括一个更大的 70B 参数模型。编写和编辑代码已成为当今人工智能模型最重要的用途之一。事实证明，编写代码的能力对于人工智能模型更严谨、更合理地处理其他领域的信息也非常重要。我为这一进展感到自豪，并期待着将这些进展纳入 Llama 3 和未来的模型中。Code Llama 70B 提供与之前发布
1/30/2024 2:52:00 PM
机器之心
买个机器人端茶倒水有希望了？Meta、纽约大学造了一个OK-Robot

买个机器人端茶倒水有希望了？Meta、纽约大学造了一个OK-Robot
如果有个这样的机器人，你几点回家？「xx，去把电视柜上的遥控器帮我拿过来。」在一个家庭环境中，很多家庭成员都不免被支使干这种活儿。甚至有时候，宠物狗也难以幸免。但人总有支使不动的时候，宠物狗也并不一定都能听懂。帮人类干活儿的终极梦想还是寄托在机器人身上。最近，纽约大学、Meta 研发出的一款机器人学会了这个技能。你只需要对它说，「把桌子上的玉米片拿到床头柜上」，它就能自己找到玉米片，并规划出路线和相应的动作，顺利完成任务。此外，它还能帮你整理东西或扔垃圾。这个机器人名叫 OK-Robot，由来自纽约大学、Meta
1/24/2024 2:46:00 PM
机器之心
大模型自我奖励：Meta让Llama2自己给自己微调，性能超越了GPT-4

大模型自我奖励：Meta让Llama2自己给自己微调，性能超越了GPT-4
人工智能的反馈（AIF）要代替 RLHF 了？大模型领域中，微调是改进模型性能的重要一步。随着开源大模型逐渐变多，人们总结出了很多种微调方式，其中一些取得了很好的效果。最近，来自 Meta、纽约大学的研究者用「自我奖励方法」，让大模型自己生成自己的微调数据，给人带来了一点新的震撼。在新方法中，作者对 Llama 2 70B 进行了三个迭代的微调，生成的模型在 AlpacaEval 2.0 排行榜上优于一众现有重要大模型，包括 Claude 2、Gemini Pro 和 GPT-4。因此，论文刚刚发上 arXiv 几
1/22/2024 11:21:00 AM
机器之心
扎克伯格宣战AGI：Llama 3训练中，今年要囤35万块H100，砸近百亿美元

扎克伯格宣战AGI：Llama 3训练中，今年要囤35万块H100，砸近百亿美元
「事情越来越明确了，各大科技公司的下一代服务会构建在通用 AI 之上。」为了通用人工智能（AGI）的宏大目标，扎克伯格正在给 Meta 的 AI 研究部门进行大幅度的改组。本周四，Meta 首席执行官马克・扎克伯格宣布，他的公司正在致力于为人工智能助手构建「通用智能」并「负责任地开源」，Meta 正在将其两个主要研究小组（FAIR 和 GenAI）合并在一起以实现这一目标 。为此，Meta 将准备屯集业内最为强大的 AI 算力。扎克伯格表示，公司将购买超过 35 万块英伟达 H100 GPU—— 这是目前业界构建生
1/19/2024 11:47:00 AM
机器之心
试了试Meta的最新语音生成器，逼真得有点毛骨悚然

试了试Meta的最新语音生成器，逼真得有点毛骨悚然
机器之能报道编辑：吴昕这段《小红帽》故事中的所有音频都是 AI 生成的，你能听出来吗？机器之能报道编辑：吴昕这段《小红帽》故事中的所有音频都是 AI 生成的，你能听出来吗？试听地址： Audiobox Maker，你可以在 Meta 刚刚发布的一个新的交互式网站 audiobox.metademolab 上找到它。有了它，仅用几分钟的时间，机器之心也随意生成了关于五月天假唱热搜的对话：试听地址： Audiobox Maker ，即使是小白用户也可以设计、生成不同人物（比如小红帽、大灰狼和外婆）的声音文件，同时添加不
12/12/2023 7:08:00 PM
机器之能
逼真到头发丝，光线可调，Meta推出实时3D头像合成方法

逼真到头发丝，光线可调，Meta推出实时3D头像合成方法
Meta 一直没放弃元宇宙。2021 年，Facebook 将「元宇宙（metaverse）」作为公司主营业务，并将公司名称更改为 Meta。然而，这一年，随着 ChatGPT 的横空出世，生成式 AI 成为一个新的研究趋势，很多科技公司都将生成式 AI 作为公司重要研发业务。但 Meta 一直没有停止 VR/AR 的研究步伐。最近，Meta 的 Codec Avatars Lab 提出了一种高保真、光线可调节的虚拟头像合成方法 ——Relightable Gaussian Codec Avatars。论文地址：：
12/11/2023 3:15:00 PM
机器之心
谷歌发布Gemini，负责人：原生多模态大模型是AI「新品种」

谷歌发布Gemini，负责人：原生多模态大模型是AI「新品种」
机器之能报道编辑：吴昕又是一个不眠之夜，神仙扎堆献技。当地时间 12 月 6 日，谷歌 CEO Sundar Pichai 官宣 Gemini 1.0 版正式上线。在此之前，这款被谷歌寄予厚望对抗 OpenAI 的武器，发布时间一直被拖延。未曾料到，来得如此猝不及防。研发负责人、谷歌 DeepMind CEO Demis Hassabis 代表 Gemini 团队在发布会上正式推出大模型 Gemini，它拥有「视觉」和「听觉」，还有学习和推理能力。作为谷歌迄今为止最强大、最全面的模型，在大多数基准测试中， Gemi
12/7/2023 3:05:00 PM
机器之能
为了保持 AI 未来的开放性，Meta 和 IBM 发起联盟

为了保持 AI 未来的开放性，Meta 和 IBM 发起联盟
编辑 | 白菜叶Meta、IBM 以及数十家初创公司和研究人员成立了一个联盟，捍卫更加开放和协作的人工智能开发方法，并与 OpenAI 和谷歌就该技术的未来展开了辩论与对抗。哲学辩论已成为人工智能未来的中心战场，人们越来越担心微软支持的 OpenAI 和谷歌将独自支撑这项对我们日常生活变得越来越重要的技术。IBM 首席执行官 Arvind Krishna 在周二宣布成立人工智能联盟的声明中表示：「这是定义人工智能未来的关键时刻。」ChatGPT 的创建者 OpenAI 和 Google 捍卫了大型语言模型的闭源系统
12/6/2023 3:21:00 PM
ScienceAI
Meta教你5步学会用Llama2：我见过最简单的大模型教学

Meta教你5步学会用Llama2：我见过最简单的大模型教学
本文是 Meta 官网推出的 Llama2 使用教学博客，简单 5 步教会你如何使用 Llama2。在这篇博客中，Meta 探讨了使用 Llama 2 的五个步骤，以便使用者在自己的项目中充分利用 Llama 2 的优势。同时详细介绍 Llama 2 的关键概念、设置方法、可用资源，并提供一步步设置和运行 Llama 2 的流程。Meta 开源的 Llama 2 包括模型权重和初始代码，参数范围从 7B 到 70B。Llama 2 的训练数据比 Llama 多了 40%，上下文长度也多一倍，并且 Llama 2 在
12/4/2023 11:30:00 AM
机器之心
Meta生成式AI连放大招：视频生成超越Gen-2，动图表情包随心定制

Meta生成式AI连放大招：视频生成超越Gen-2，动图表情包随心定制
生成式 AI 进入视频时代了。提到视频生成，很多人首先想到的可能是 Gen-2、Pika  Labs。但刚刚，Meta 宣布，他们的视频生成效果超过了这两家，而且编辑起来还更加灵活。这个「吹小号、跳舞的兔子」是 Meta 发布的最新 demo。从中可以看出，Meta 的技术既支持灵活的图像编辑（例如把「兔子」变成「吹小号的兔子」，再变成「吹彩虹色小号的兔子」），也支持根据文本和图像生成高分辨率视频（例如让「吹小号的兔子」欢快地跳舞）。其实，这其中涉及两项工作。灵活的图像编辑由一个叫「Emu Edit」的模型来完成。
11/18/2023 9:56:00 AM
机器之心
爆火Llama 2一周请求下载超15万，有人开源了Rust实现版本

爆火Llama 2一周请求下载超15万，有人开源了Rust实现版本
前些天，Meta 发布的免费可商用版本 Llama 2，可谓在 AI 界引起了巨大的轰动。
8/1/2023 3:13:00 PM
机器之心