AI在线 AI在线

Meta

解决Transformer根本缺陷，CoPE论文爆火：所有大模型都能获得巨大改进

解决Transformer根本缺陷，CoPE论文爆火：所有大模型都能获得巨大改进
即使最强大的 LLM 也难以通过 token 索引来关注句子等概念，现在有办法了。最近两天，马斯克和 LeCun 的口水战妥妥成为大家的看点。这两位 AI 圈的名人你来我往，在推特（现为 X）上相互拆对方台。LeCun 在宣传自家最新论文时，也不忘手动 @ 一把马斯克，并意味深长地嘱咐道：「马斯克，我们这项研究用来改善你家的 Grok 也没问题。」LeCun 宣传的这篇论文题目为《 Contextual Position Encoding: Learning to Count What’s Important 》，
5/31/2024 3:28:00 PM
机器之心
Meta 将使用来自欧洲用户的数据训练 AI，声称此举具有合法权益

Meta 将使用来自欧洲用户的数据训练 AI，声称此举具有合法权益
感谢近日，美国 Meta 公司宣布将开始使用欧洲用户的数据来训练自己的人工智能，并声称此举具有合法权益。Meta 公司表示，为了帮助用户获得这些体验，现在将使用用户的信息来开发和改进 Meta 的 AI，用户有权反对将自己的信息用于这些目的。公司在隐私政策中加入更新内容，以反映这些变化。更新将于 2024 年 6 月 26 日生效。该通知已通过 Facebook 的应用内通知系统发送给欧洲用户：“我们正在为您规划新的人工智能功能。了解我们如何使用您的信息。”在此页面中，用户可以看到最新更新的隐私政策。Meta 表示
5/25/2024 1:27:08 PM
浩渺
消息称谷歌和 Meta 为训练 AI，砸钱向好莱坞电影公司购买内容

消息称谷歌和 Meta 为训练 AI，砸钱向好莱坞电影公司购买内容
感谢AI 时代主要挑战之一，就是如何合法获取内容来训练模型，因此很多 AI 公司开始砸钱来买受版权保护的内容。在 OpenAI 和新闻集团签署多年合作之后，最新消息称 Meta 和谷歌母公司 Alphabet 正寻求和好莱坞电影公司达成协议，使用其相关内容。消息称两家巨头公司已经接触洽谈了多家好莱坞电影公司，涉及的交易高达数百万美元。这些交易可以这两家公司获得授权的视频内容，以训练他们的人工智能模型。IT之家援引该消息源，Netflix、迪斯尼和华纳兄弟等电影公司都曾参与其中。前两家都不太愿意加入，不过也没有断然拒
5/25/2024 11:42:00 AM
故渊
微软谷歌等 AI 巨头齐聚首尔：承诺安全开发人工智能模型，必要时关闭尖端系统

微软谷歌等 AI 巨头齐聚首尔：承诺安全开发人工智能模型，必要时关闭尖端系统
路透社报道，微软 、谷歌 、OpenAI 等 16 家科技公司在 21 日和 22 日举行的“人工智能（AI）首尔峰会”上承诺安全开发 AI 模型，在无法控制最极端风险的情况下关闭其尖端系统（cutting-edge systems）。参会的公司还包括国内企业智谱 AI（IT之家备注：腾讯、阿里、美团和小米曾对其投资）、IBM、亚马逊、Meta 和三星。安全承诺包括发布框架，阐明公司将如何衡量其模型的风险。在风险严重且“无法接受”的极端情况下，如果无法减轻风险，人工智能公司将不得不按下紧急停止开关，停止开发或部署其
5/22/2024 10:23:19 AM
沛霖（实习）
Flash Attention稳定吗？Meta、哈佛发现其模型权重偏差呈现数量级波动

Flash Attention稳定吗？Meta、哈佛发现其模型权重偏差呈现数量级波动
Meta FAIR 联合哈佛优化大规模机器学习时产生的数据偏差，提供了新的研究框架。众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由于这些工作负载的规模和复杂性，导致训练大模型存在着独特的系统性挑战。最近，许多机构在训练 SOTA 生成式 AI 模型时报告了训练过程中的不稳定情况，它们通常以损失尖峰的形式出现，比如谷歌的 PaLM 模型训练过程中出现了多达 20 次的损失尖峰。数值偏差是造成这种训
5/13/2024 11:01:00 AM
机器之心
Llama3后，Meta又开放自家头显操作系统，打造元宇宙时代新安卓

Llama3后，Meta又开放自家头显操作系统，打造元宇宙时代新安卓
虽然向第三方开放了操作系统，但 Meta 将继续开发 Quest 头显设备。Meta 誓将开放进行到底。这次把自家 VR 头显 Quest 采用的操作系统「Meta Horizon OS」向第三方硬件制造商开放了，包括华硕、联想和微软等一众企业。此举意在展示作为 MR 操作系统整合者的 Meta 对元宇宙开放的新愿景。至此，Meta 正式向实现元宇宙更开放的计算平台愿景迈出下一步。为实现该恢弘战略，Meta 同时在三方面不断发力，并竭力整合资源：向第三方硬件制造商开放 Meta Quest 设备的操作系统，为消费者
4/24/2024 11:14:00 AM
机器之心
Llama 3超大杯有何惊喜？Meta会一直开源吗？当初为何笃信元宇宙？扎克伯格新访谈回应一切

Llama 3超大杯有何惊喜？Meta会一直开源吗？当初为何笃信元宇宙？扎克伯格新访谈回应一切
昨天凌晨，Meta 突然官宣了 Llama 3，把开源模型的实力又往上提了一截。Llama 3 总共有三个版本 ——8B、70B 和 405B。其中，8B 和 70B 版本已经开源，405B 版本仍在训练中。根据现有的评测数据，405B 版本的性能已经逼近 GPT-4（参见《开源大模型 Llama 3 王者归来！最大底牌 4000 亿参数，性能直逼 GPT-4》）。这可能促使 OpenAI 尽早发布下一代模型，从而保持其最强 AI 模型的地位。那么，这个还没有亮相的 Llama 3 405B 大模型将带来哪些惊喜？
4/22/2024 11:02:00 AM
机器之心
高通与 Meta 宣布合作，优化 Llama 3 大语言模型在智能手机等终端运行

高通与 Meta 宣布合作，优化 Llama 3 大语言模型在智能手机等终端运行
Meta 公司昨日宣布推出下一代大语言模型 Llama 3，共有 80 亿和 700 亿参数两种版本，号称是最强大的开源大语言模型。与此同时，高通宣布支持 Meta Llama 3 在骁龙终端上运行。据介绍，双方将优化 Meta Llama 3 大语言模型（LLM）直接在智能手机、PC、VR / AR 头显和汽车等终端上的执行。开发者将能够访问高通 AI Hub 中的资源和工具，以实现在骁龙平台上优化运行 Llama 3，从而缩短产品上市时间并充分发挥终端侧 AI 的优势，包括出色的响应能力、增强的隐私性和可靠性，
4/20/2024 7:22:44 PM
浩渺
Meta AI 全球市场扩张，并上线网页版 meta.ai

Meta AI 全球市场扩张，并上线网页版 meta.ai
Meta 公司近日宣布 Llama 3 大语言模型之外，扩展 Meta AI 服务到美国之外的 13 个国家和地区，还宣布上线专门的聊天网站：meta.ai。Meta 公司在新闻稿中表示开始在全球市场扩展 Meta AI，在澳大利亚、加拿大、南非和新加坡等国家和地区推出英语版本。IT之家附上 Meta AI 扩展的国家和地区如下澳大利亚加拿大加纳牙买加马拉维新西兰尼日利亚巴基斯坦新加坡南非乌干达赞比亚津巴布韦Meta AI 整合了 Llama 3 大语言模型，速度更快、智能性更高、功能更强，是执行各种任务的理想选择
4/19/2024 9:15:51 AM
故渊
Meta 发布 Llama 3，号称是最强大的开源大语言模型

Meta 发布 Llama 3，号称是最强大的开源大语言模型
感谢Meta 公司今天发布新闻稿，宣布推出下一代大语言模型 Llama 3，共有 80 亿和 700 亿参数两种版本，号称是最强大的开源大语言模型。Meta 声称，Llama 3 的性能优于 Claude Sonnet、Mistral Medium 和 GPT-3.5，IT之家附上 Llama 3 的主要特点如下：向所有人开放：Meta 开源 Llama 3 的 80 亿参数版本，让所有人都能接触最前沿的人工智能技术。全球各地的开发人员、研究人员和好奇心强的人都可以进行游戏、构建和实验。更聪明、更安全：Llama
4/19/2024 9:05:35 AM
故渊
Meta无限长文本大模型来了：参数仅7B，已开源

Meta无限长文本大模型来了：参数仅7B，已开源
谷歌之后，Meta 也来卷无限长上下文。Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意力和状态空间模型等次二次解决方案，但从以往的经验来看，它们在预训练效率和下游任务准确性方面表现不佳。长文本是大语言模型一直在努力的方向。近日，谷歌提出的 Infini-Transformer 引入有效方法，可以将基于 Transformer 的大型语言模型 (LLM) 扩展到无限长输入，而不增加内存和计算需求，吸引了人们的关注。几乎就在同时，Meta 也提出了一种无限长文本技术。论
4/17/2024 5:59:00 PM
机器之心
Meta宣布全新训推一体加速器：完全集成PyTorch 2，性能3倍提升

Meta宣布全新训推一体加速器：完全集成PyTorch 2，性能3倍提升
Meta 疯狂砸入数十亿美元，一部分招揽人才，一部分造芯片。Meta 正在不遗余力地想要在生成式 AI 领域赶上竞争对手，目标是投入数十亿美元用于 AI 研究。这些巨资一部分用于招募 AI 研究员。但更大的一部分用于开发硬件，特别是用于运行和训练 Meta AI 模型的芯片。在英特尔宣布其最新人工智能加速器硬件的第二天，Meta 便迅速公布了关于芯片研发的最新成果：下一代 MTIA（Meta Training and Inference Accelerator），其中 MTIA 是专为 Meta AI 工作负载而设
4/11/2024 3:10:00 PM
机器之心
Meta 发布新一代 AI 训练与推理芯片，性能为初代芯片三倍

Meta 发布新一代 AI 训练与推理芯片，性能为初代芯片三倍
Meta Platforms 当地时间 10 日发布了其训练与推理加速器项目（MTIA）的最新版本，MTIA 是 Meta 专门为 AI 工作负载设计的定制芯片系列。据介绍，此次发布的新一代 MTIA 与第一代 MTIA 相比，显著改进了性能，并有助于强化内容排名和推荐广告模型。其架构从根本上侧重于提供计算、内存带宽和内存容量的适当平衡。该芯片还可帮助提高训练效率，使推理（即实际推理任务）变得更容易。Meta 在其官方博客文章中表示，“实现我们对定制芯片的雄心壮志，意味着我们不仅要投资于计算芯片，还要投资于内存带宽
4/10/2024 11:30:30 PM
清源
对标 GPT-4，消息称 Meta 最快下周发布两款 Llama 3 模型

对标 GPT-4，消息称 Meta 最快下周发布两款 Llama 3 模型
感谢科技媒体 theinformation 近日发布博文，表示 Meta 公司将于下周预告两款 Llama 3 AI 模型，为今年夏季推出“完整形态” Llama 3 铺垫。Meta 公司本周二在伦敦举办的一场活动中，确认会在下个月之前发布 Llama 3 相关模型。IT之家翻译 Meta 公司全球事务总裁尼克・克莱格（Nick Clegg）采访内容如下：我希望下个月或者更短时间内，能够推出下一代 Llama 3。我们计划今年推出一系列具有不同功能、不同通用性的模型。Meta 首席产品官 Chris Cox 补充说
4/10/2024 10:20:29 AM
故渊
Instagram 短视频板块 Reels 测试 AI 同传功能，用户可用自己声音“说外语”

Instagram 短视频板块 Reels 测试 AI 同传功能，用户可用自己声音“说外语”
开发者 Alessandro Paluzzi 今日在 X（推特）上公布了自己的最新发现：Instagram 的短视频板块 Reels 正在测试“AI 语音配音”功能，带来类似“同声传译”的体验。其放出的截图显示，Instagram 的 Reel 页面上出现了“Instagram 将通过 AI 来使你的声音听起来就在说另一门语言一样”的字样。下方的详情内容大意如下：观众将听到您的音频以您选择的语言配音。对于您现在或将来发布的 Reels，您可以为部分或所有语言关闭此功能。翻译和配音准备就绪后，您将收到通知。人们可以看
4/9/2024 9:01:39 PM
清源
你的自拍和聊天记录，正被硅谷大厂砸数十亿美元疯抢

你的自拍和聊天记录，正被硅谷大厂砸数十亿美元疯抢
新智元报道  编辑：Aeneas 好困【新智元导读】2026 年的数据荒越来越近，硅谷大厂们已经为 AI 训练数据抢疯了！它们纷纷豪掷十数亿美元，希望把犄角旮旯里的照片、视频、聊天记录都给挖出来。不过，如果有一天 AI 忽然吐出了我们的自拍照或者隐私聊天，该怎么办？谁能想到，我们多年前的聊天记录、社交媒体上的陈年照片，忽然变得价值连城，被大科技公司争相疯抢。现在，硅谷大厂们已经纷纷出动，买下所有能购买版权的互联网数据，这架势简直要抢破头了！图像托管网站 Photobucket 的陈年旧数据，本来已经多年无人问津，但
4/7/2024 1:36:43 PM
远洋
拒绝白人与亚洲人同框，Meta图像生成器的「歧视」，被人挖出来了

拒绝白人与亚洲人同框，Meta图像生成器的「歧视」，被人挖出来了
AI 生成工具的偏见何时休？在人工智能构筑的世界中，AI 有时会像人一样存在着某种偏见或倾向性。比如对于大语言模型而言，由于训练数据的影响会不可避免地存在性别偏见、种族刻板印象，等等。当然，这种偏见或倾向性在图像生成工具中同样存在。今年 2 月，谷歌 Gemini 被曝出拒绝在图像中描绘白人，生成大量违背基本事实（性别、种族、宗教等）的图片。                               马斯克也被系统过分矫正了。近日，外媒 The Verge 的一篇文章指出，Meta 的 AI 图像生成器无法准确生
4/7/2024 12:23:00 AM
机器之心
应对隐私 / 版权问题，5 月起 Meta Threads / Instagram 等平台将标记“疑似由 AI 生成的内容”

应对隐私 / 版权问题，5 月起 Meta Threads / Instagram 等平台将标记“疑似由 AI 生成的内容”
感谢AI 兴起产生的各种隐私 / 版权问题如今已成为科技行业许多人越来越关注的重点，而 Meta 公司今日发布新闻稿，宣布将在 5 月起在自家 Instagram、Threads 及 Facebook 平台为 AI 内容添加“水印标记”。Meta 在新闻稿中声称，这些变化来自公司内部监督委员会的建议、公共调查的结果和“学术界、民间社会组织和其他方面”的建议。IT之家注意到，Meta 公司将使用算法及真人检测“可能由 AI 生成的内容“，而用户也可以自行在图片中注释”相关图片由 AI 生成”，此类消息将作为水印添加至
4/6/2024 7:38:56 AM
漾仔