AI在线 AI在线

Meta

Flash Attention稳定吗？Meta、哈佛发现其模型权重偏差呈现数量级波动

Flash Attention稳定吗？Meta、哈佛发现其模型权重偏差呈现数量级波动
Meta FAIR 联合哈佛优化大规模机器学习时产生的数据偏差，提供了新的研究框架。众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由于这些工作负载的规模和复杂性，导致训练大模型存在着独特的系统性挑战。最近，许多机构在训练 SOTA 生成式 AI 模型时报告了训练过程中的不稳定情况，它们通常以损失尖峰的形式出现，比如谷歌的 PaLM 模型训练过程中出现了多达 20 次的损失尖峰。数值偏差是造成这种训
5/13/2024 11:01:00 AM
机器之心
Llama3后，Meta又开放自家头显操作系统，打造元宇宙时代新安卓

Llama3后，Meta又开放自家头显操作系统，打造元宇宙时代新安卓
虽然向第三方开放了操作系统，但 Meta 将继续开发 Quest 头显设备。Meta 誓将开放进行到底。这次把自家 VR 头显 Quest 采用的操作系统「Meta Horizon OS」向第三方硬件制造商开放了，包括华硕、联想和微软等一众企业。此举意在展示作为 MR 操作系统整合者的 Meta 对元宇宙开放的新愿景。至此，Meta 正式向实现元宇宙更开放的计算平台愿景迈出下一步。为实现该恢弘战略，Meta 同时在三方面不断发力，并竭力整合资源：向第三方硬件制造商开放 Meta Quest 设备的操作系统，为消费者
4/24/2024 11:14:00 AM
机器之心
Llama 3超大杯有何惊喜？Meta会一直开源吗？当初为何笃信元宇宙？扎克伯格新访谈回应一切

Llama 3超大杯有何惊喜？Meta会一直开源吗？当初为何笃信元宇宙？扎克伯格新访谈回应一切
昨天凌晨，Meta 突然官宣了 Llama 3，把开源模型的实力又往上提了一截。Llama 3 总共有三个版本 ——8B、70B 和 405B。其中，8B 和 70B 版本已经开源，405B 版本仍在训练中。根据现有的评测数据，405B 版本的性能已经逼近 GPT-4（参见《开源大模型 Llama 3 王者归来！最大底牌 4000 亿参数，性能直逼 GPT-4》）。这可能促使 OpenAI 尽早发布下一代模型，从而保持其最强 AI 模型的地位。那么，这个还没有亮相的 Llama 3 405B 大模型将带来哪些惊喜？
4/22/2024 11:02:00 AM
机器之心
高通与 Meta 宣布合作，优化 Llama 3 大语言模型在智能手机等终端运行

高通与 Meta 宣布合作，优化 Llama 3 大语言模型在智能手机等终端运行
Meta 公司昨日宣布推出下一代大语言模型 Llama 3，共有 80 亿和 700 亿参数两种版本，号称是最强大的开源大语言模型。与此同时，高通宣布支持 Meta Llama 3 在骁龙终端上运行。据介绍，双方将优化 Meta Llama 3 大语言模型（LLM）直接在智能手机、PC、VR / AR 头显和汽车等终端上的执行。开发者将能够访问高通 AI Hub 中的资源和工具，以实现在骁龙平台上优化运行 Llama 3，从而缩短产品上市时间并充分发挥终端侧 AI 的优势，包括出色的响应能力、增强的隐私性和可靠性，
4/20/2024 7:22:44 PM
浩渺
Meta AI 全球市场扩张，并上线网页版 meta.ai

Meta AI 全球市场扩张，并上线网页版 meta.ai
Meta 公司近日宣布 Llama 3 大语言模型之外，扩展 Meta AI 服务到美国之外的 13 个国家和地区，还宣布上线专门的聊天网站：meta.ai。Meta 公司在新闻稿中表示开始在全球市场扩展 Meta AI，在澳大利亚、加拿大、南非和新加坡等国家和地区推出英语版本。IT之家附上 Meta AI 扩展的国家和地区如下澳大利亚加拿大加纳牙买加马拉维新西兰尼日利亚巴基斯坦新加坡南非乌干达赞比亚津巴布韦Meta AI 整合了 Llama 3 大语言模型，速度更快、智能性更高、功能更强，是执行各种任务的理想选择
4/19/2024 9:15:51 AM
故渊
Meta 发布 Llama 3，号称是最强大的开源大语言模型

Meta 发布 Llama 3，号称是最强大的开源大语言模型
感谢Meta 公司今天发布新闻稿，宣布推出下一代大语言模型 Llama 3，共有 80 亿和 700 亿参数两种版本，号称是最强大的开源大语言模型。Meta 声称，Llama 3 的性能优于 Claude Sonnet、Mistral Medium 和 GPT-3.5，IT之家附上 Llama 3 的主要特点如下：向所有人开放：Meta 开源 Llama 3 的 80 亿参数版本，让所有人都能接触最前沿的人工智能技术。全球各地的开发人员、研究人员和好奇心强的人都可以进行游戏、构建和实验。更聪明、更安全：Llama
4/19/2024 9:05:35 AM
故渊
Meta无限长文本大模型来了：参数仅7B，已开源

Meta无限长文本大模型来了：参数仅7B，已开源
谷歌之后，Meta 也来卷无限长上下文。Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意力和状态空间模型等次二次解决方案，但从以往的经验来看，它们在预训练效率和下游任务准确性方面表现不佳。长文本是大语言模型一直在努力的方向。近日，谷歌提出的 Infini-Transformer 引入有效方法，可以将基于 Transformer 的大型语言模型 (LLM) 扩展到无限长输入，而不增加内存和计算需求，吸引了人们的关注。几乎就在同时，Meta 也提出了一种无限长文本技术。论
4/17/2024 5:59:00 PM
机器之心
Meta宣布全新训推一体加速器：完全集成PyTorch 2，性能3倍提升

Meta宣布全新训推一体加速器：完全集成PyTorch 2，性能3倍提升
Meta 疯狂砸入数十亿美元，一部分招揽人才，一部分造芯片。Meta 正在不遗余力地想要在生成式 AI 领域赶上竞争对手，目标是投入数十亿美元用于 AI 研究。这些巨资一部分用于招募 AI 研究员。但更大的一部分用于开发硬件，特别是用于运行和训练 Meta AI 模型的芯片。在英特尔宣布其最新人工智能加速器硬件的第二天，Meta 便迅速公布了关于芯片研发的最新成果：下一代 MTIA（Meta Training and Inference Accelerator），其中 MTIA 是专为 Meta AI 工作负载而设
4/11/2024 3:10:00 PM
机器之心
Meta 发布新一代 AI 训练与推理芯片，性能为初代芯片三倍

Meta 发布新一代 AI 训练与推理芯片，性能为初代芯片三倍
Meta Platforms 当地时间 10 日发布了其训练与推理加速器项目（MTIA）的最新版本，MTIA 是 Meta 专门为 AI 工作负载设计的定制芯片系列。据介绍，此次发布的新一代 MTIA 与第一代 MTIA 相比，显著改进了性能，并有助于强化内容排名和推荐广告模型。其架构从根本上侧重于提供计算、内存带宽和内存容量的适当平衡。该芯片还可帮助提高训练效率，使推理（即实际推理任务）变得更容易。Meta 在其官方博客文章中表示，“实现我们对定制芯片的雄心壮志，意味着我们不仅要投资于计算芯片，还要投资于内存带宽
4/10/2024 11:30:30 PM
清源
对标 GPT-4，消息称 Meta 最快下周发布两款 Llama 3 模型

对标 GPT-4，消息称 Meta 最快下周发布两款 Llama 3 模型
感谢科技媒体 theinformation 近日发布博文，表示 Meta 公司将于下周预告两款 Llama 3 AI 模型，为今年夏季推出“完整形态” Llama 3 铺垫。Meta 公司本周二在伦敦举办的一场活动中，确认会在下个月之前发布 Llama 3 相关模型。IT之家翻译 Meta 公司全球事务总裁尼克・克莱格（Nick Clegg）采访内容如下：我希望下个月或者更短时间内，能够推出下一代 Llama 3。我们计划今年推出一系列具有不同功能、不同通用性的模型。Meta 首席产品官 Chris Cox 补充说
4/10/2024 10:20:29 AM
故渊
Instagram 短视频板块 Reels 测试 AI 同传功能，用户可用自己声音“说外语”

Instagram 短视频板块 Reels 测试 AI 同传功能，用户可用自己声音“说外语”
开发者 Alessandro Paluzzi 今日在 X（推特）上公布了自己的最新发现：Instagram 的短视频板块 Reels 正在测试“AI 语音配音”功能，带来类似“同声传译”的体验。其放出的截图显示，Instagram 的 Reel 页面上出现了“Instagram 将通过 AI 来使你的声音听起来就在说另一门语言一样”的字样。下方的详情内容大意如下：观众将听到您的音频以您选择的语言配音。对于您现在或将来发布的 Reels，您可以为部分或所有语言关闭此功能。翻译和配音准备就绪后，您将收到通知。人们可以看
4/9/2024 9:01:39 PM
清源
你的自拍和聊天记录，正被硅谷大厂砸数十亿美元疯抢

你的自拍和聊天记录，正被硅谷大厂砸数十亿美元疯抢
新智元报道  编辑：Aeneas 好困【新智元导读】2026 年的数据荒越来越近，硅谷大厂们已经为 AI 训练数据抢疯了！它们纷纷豪掷十数亿美元，希望把犄角旮旯里的照片、视频、聊天记录都给挖出来。不过，如果有一天 AI 忽然吐出了我们的自拍照或者隐私聊天，该怎么办？谁能想到，我们多年前的聊天记录、社交媒体上的陈年照片，忽然变得价值连城，被大科技公司争相疯抢。现在，硅谷大厂们已经纷纷出动，买下所有能购买版权的互联网数据，这架势简直要抢破头了！图像托管网站 Photobucket 的陈年旧数据，本来已经多年无人问津，但
4/7/2024 1:36:43 PM
远洋
拒绝白人与亚洲人同框，Meta图像生成器的「歧视」，被人挖出来了

拒绝白人与亚洲人同框，Meta图像生成器的「歧视」，被人挖出来了
AI 生成工具的偏见何时休？在人工智能构筑的世界中，AI 有时会像人一样存在着某种偏见或倾向性。比如对于大语言模型而言，由于训练数据的影响会不可避免地存在性别偏见、种族刻板印象，等等。当然，这种偏见或倾向性在图像生成工具中同样存在。今年 2 月，谷歌 Gemini 被曝出拒绝在图像中描绘白人，生成大量违背基本事实（性别、种族、宗教等）的图片。                               马斯克也被系统过分矫正了。近日，外媒 The Verge 的一篇文章指出，Meta 的 AI 图像生成器无法准确生
4/7/2024 12:23:00 AM
机器之心
应对隐私 / 版权问题，5 月起 Meta Threads / Instagram 等平台将标记“疑似由 AI 生成的内容”

应对隐私 / 版权问题，5 月起 Meta Threads / Instagram 等平台将标记“疑似由 AI 生成的内容”
感谢AI 兴起产生的各种隐私 / 版权问题如今已成为科技行业许多人越来越关注的重点，而 Meta 公司今日发布新闻稿，宣布将在 5 月起在自家 Instagram、Threads 及 Facebook 平台为 AI 内容添加“水印标记”。Meta 在新闻稿中声称，这些变化来自公司内部监督委员会的建议、公共调查的结果和“学术界、民间社会组织和其他方面”的建议。IT之家注意到，Meta 公司将使用算法及真人检测“可能由 AI 生成的内容“，而用户也可以自行在图片中注释”相关图片由 AI 生成”，此类消息将作为水印添加至
4/6/2024 7:38:56 AM
漾仔
Meta 下月将为 Ray-Ban 智能眼镜带来一系列 AI 功能：物体识别、翻译等

Meta 下月将为 Ray-Ban 智能眼镜带来一系列 AI 功能：物体识别、翻译等
据《纽约时报》报道，下个月开始，Meta 将为其 Ray-Ban 智能眼镜带来一系列多模态 AI 功能，这些功能包括翻译、物体识别、动物及景物识别等等，已于去年 12 月进入早期测试阶段。用户只需说出“Hey Meta”并说出提示词或提出问题，便可激活该眼镜内置的 AI 助手，随后再通过镜框内置的扬声器进行回应。《纽约时报》经测试发现，在杂货店中、开车时或博物馆、动物园等多种场景之下，该眼镜可以正确识别宠物及艺术品，但并非“百分百”正确，例如难以识别远处或笼子里的动物。翻译功能方面，该眼镜支持英语、西班牙语、意大利
3/28/2024 10:00:15 PM
清源
科技巨头争夺 AI 人才战况白热化，谷歌创始人亲自出马

科技巨头争夺 AI 人才战况白热化，谷歌创始人亲自出马
感谢科技巨头们为了争夺顶尖人工智能 (AI) 人才，战况日益激烈，甚至使得一些大佬亲自出马。图源 Pexels据 The Information 报道，谷歌联合创始人谢尔盖・布林（Sergey Brin）曾亲自给一位考虑跳槽到 OpenAI 的谷歌员工打去电话，试图劝说他留下来，布林的电话攻势以及额外的薪酬承诺最终让这名员工决定留在谷歌。报道指出，人才争夺战是科技巨头间愈演愈烈的趋势之一。目前顶尖 AI 人才储备有限，而对这类人才的需求却达到了历史最高水平。各大科技公司纷纷出手，挖角彼此的顶尖人才，并提供令人咋舌的
3/28/2024 5:11:38 PM
远洋
消息称 Meta 正积极开展 AI 人才战：候选人无需面试，小扎亲自“摇人”

消息称 Meta 正积极开展 AI 人才战：候选人无需面试，小扎亲自“摇人”
据 The Information 北京时间今晚报道，为了在争夺人工智能研究人员方面取得更大优势，Meta 正在采取一系列“非常规举措”，进一步加大了这场 AI 人才战的火药味。图源 Pexels报道称，这一系列的举措包括在不面试候选人的情况下向他们提供工作机会等，更为此前威胁离职的员工增加薪资 —— 在此之前，Meta 的“长期做法”是不加薪。另据两位查看过 Meta 相关邮件的人士透露，公司首席执行官马克・扎克伯格亲自写信给谷歌 DeepMind 部门的研究人员，想要将其纳入麾下，表明这家社交媒体公司“非常重视
3/25/2024 10:27:52 PM
清源
Meta 推出 SceneScript AI 视觉模型，利用可编程语言实时预测建立 3D 场景

Meta 推出 SceneScript AI 视觉模型，利用可编程语言实时预测建立 3D 场景
据 Meta 公司官方新闻稿，该公司开发了一款名为“SceneScript”的视觉模型，该模型号称能够使用可编程语言来快速“建立”场景，实时推断房间几何形状，并将相关数据转换为建筑学层面的近似值。▲ 图源 Meta 公司官方新闻稿（下同）Meta 声称，相关方法能够高效且轻量地建立室内 3D 模型，号称“只需要数 KB 的内存即可生成清晰且完整的几何形状”，并且相关形状数据具有“可解释性”，用户可以轻松阅读和编辑这些数据表示。IT之家注意到，开发人员借鉴了大语言模型“预测单词”的方法来开发 SceneScript，
3/25/2024 10:08:44 PM
漾仔