随着 AI 模型的参数量越来越大，对算力的需求也水涨船高。比如最近，Llama-3.1 登上了最强开源大模型的宝座，但超大杯 405B 版本的内存就高达 900 多 GB，这对算力构成了更加苛刻的挑战。如何降低算力的使用成本和使用门槛，已经成为许多公司寻求突破的关键。Felafax 就是其中的一家创业公司，致力于简化 AI 训练集群的搭建流程。                       Nikh…

十天前的 Meta Connect 2024 大会上，开源领域迎来了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。两个版本都是纯文本模型，但也具备多语言文本生成和工具调用能力。Meta 表示，这些模型可让开发者构建个性化的、在设备本地上运行的通用应用 —— 这类应用将具备很强的隐私性，因为数据无需离开设备。近日，机器学习研究员 Sebastian Raschka 光速…

编辑 | 白菜叶低温电子断层扫描技术可以以纳米级分辨率对细胞三维结构进行常规可视化。当与单粒子断层扫描技术相结合时，可以获得原生环境中常见大分子的近原子分辨率结构。低温电子断层扫描/单粒子断层扫描（CET/SPT）面临的两个突出挑战是蛋白质的自动识别和定位，这两项任务受到细胞内分子拥挤、低温电子断层扫描断层图像特有的成像失真以及断层扫描数据集的庞大规模的阻碍。目前的方法存在准确度低、需要大量且耗时…

编辑 | ScienceAI2024 年 10 月 9 日北京时间 17 时 45 分许，瑞典皇家科学院在斯德哥尔摩宣布，将 2024 年诺贝尔化学奖的一半授予华盛顿大学教授大卫·贝克（David Baker），以表彰他在「计算蛋白质设计」方面的贡献，并将另一半授予Google DeepMind 的科学家戴密斯·哈萨比斯（Demis Hassabis）和约翰·M·詹伯（John M. Jumper…

编辑 | X_X2024 年 10 月 8 日，诺贝尔物理学奖授予了两位 AI 领域的科学家，以表彰他们的发现。诺贝尔奖评审团表示，被誉为「人工智能教父」的英裔加拿大科学家 Geoffrey Hinton 和美国物理学家 John Hopfield 因「利用人工神经网络实现机器学习的发现和发明」而获得该奖。这一切意味着什么？Geoffrey Hinton 和 John Hopfield 的研究主要…

编辑 | ScienceAI人们总是在寻找规律来解释宇宙，并预测未来。俗话说，「朝霞不出门，晚霞行千里」，人们常常用它来预测天气。AI 非常擅长发现模式并进行预测。现在，微软研究人员正在尝试将「基础模型」应用于科学领域。材料科学、气候科学、医疗保健和生命科学等科学学科有望通过 AI 取得进步。专家表示，针对这些学科量身定制的基础模型将加快科学发现的进程，使他们能够更快地创造出实用的东西，如药物、新…

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]论文主要作者：1. 王智超：本科就读于厦门大学土木工程系，研究生博士…

毫无疑问，现在可说是自回归大型语言模型（LLM）的时代，我们看到技术迭代，我们也看到应用频出，但即便如此，也依然有人表示不看好。唱衰自回归范式的最著名人物应当是 Yann LeCun 无疑了。他甚至还曾给出过一个相当大胆的判断：「从现在起 5 年内，没有哪个头脑正常的人会使用自回归模型。」详见AI在线报道《GPT-4 的研究路径没有前途？Yann LeCun 给自回归判了死刑》。         …

提示工程是一种在机器学习模型，尤其是预训练语言模型中，通过精心设计输入提示（prompt）来引导模型输出期望结果的技术。在大语言模型的使用中，提示词通常是一段文本，用来引导模型生成特定的输出或完成特定的任务。在多文档搜索、问答系统、文档自动摘要生成以及阅读理解等多样化且复杂的应用场景中，往往会面临输入提示（prompt）长度显著增加的挑战。这种超长prompt不仅加大了大型语言模型（LLM）的推理…

昨天，哈萨比斯还在祝福Hinton。今天，他自己也拿了诺奖。北京时间 10 月 9 日下午，瑞典皇家科学院宣布将 2024 年诺贝尔化学奖授予华盛顿大学的David Baker以及谷歌DeepMind 的Demis Hassabis 与John M. Jumper，以表彰他们在「计算蛋白质设计」和「蛋白质结构预测」方面的贡献。众所周知，这三位是AI蛋白质研究领域的知名人物。近年来，AI预测蛋白质结…

微软 Azure 官方 X 账号昨晚发文“炫耀”了自家的新装备：公司已经拿到了搭载英伟达 GB200 超级芯片的 AI 服务器，成为全球云服务供应商中首个用上 Blackwell 体系的公司。今年 3 月，据AI在线报道，英伟达在 GTC 2024 开发者大会上发布了旗下最强 AI 加速卡 GB200，该卡采用新一代 AI 图形处理器架构 Blackwell，采用台积电的 4 纳米（4NP）工艺蚀…

最近，ByteDance Research 的第二代机器人大模型 —— GR-2，终于放出了官宣视频和技术报告。GR-2 以其卓越的泛化能力和多任务通用性，预示着机器人大模型技术将爆发出巨大潜力和无限可能。GR-2 官方项目页面： GR-2：百炼出真金和许多大模型一样，GR-2 的训练包括预训练和微调两个过程。如果把机器人和人做比较，预训练过程就好像是人类的 “婴儿期”。而 GR-2 的婴儿期与其…