语言模型

专为五大科学领域定制，NASA与IBM合作开大语言模型INDUS

INDUS 以南天星座命名，是一套全面的大型语言模型，支持五个科学领域。（来源：NASA）编辑 | KX在大量数据上训练的大型语言模型 (LLM) 在自然语言理解和生成任务上表现出色。大多数流行的 LLM 使用 Wikipedia 等通用语料库进行训练，但词汇的分布变化导致特定领域的性能不佳。受此启发，NASA 与 IBM 合作开发了 INDUS，这是一套全面的 LLM，专为地球科学、生物学、物理学、太阳物理学、行星科学和天体物理学领域量身定制，并使用从不同数据源的精选科学语料库进行训练。INDUS 包含两类模型：

6/27/2024 5:23:00 PM

ScienceAI

多模态AI是医学的未来，谷歌推出三个新模型，Med-Gemini迎来大升级

编辑 | 白菜叶许多临床任务需要了解专业数据，例如医学图像、基因组学，这类专业知识信息在通用多模态大模型的训练中通常不存在。在上一篇论文的描述中，Med-Gemini 在各种医学成像任务上超越 GPT-4 系列模型实现了 SOTA！在这里，Google DeepMind 撰写了第二篇关于 Med-Gemini 的论文。在 Gemini 的多模态模型的基础上，该团队为 Med-Gemini 系列开发了多个模型。这些模型继承了 Gemini 的核心功能，并通过 2D 和 3D 放射学、组织病理学、眼科、皮肤病学和基因组

5/13/2024 3:58:00 PM

ScienceAI

【论文解读】System 2 Attention提高大语言模型客观性和事实性

一、简要介绍本文简要介绍了论文“System 2 Attention (is something you might need too) ”的相关工作。基于transformer的大语言模型（LLM）中的软注意很容易将上下文中的不相关信息合并到其潜在的表征中，这将对下一token的生成产生不利影响。为了帮助纠正这些问题，论文引入了System 2 Attention（S2A），它利用LLM的能力，用自然语言进行推理，并遵循指示，以决定要处理什么。S2A重新生成输入上下文以使输入上下文只包含相关部分，然后再处理重新

5/11/2024 11:03:00 AM

合合信息

获ICLR 2024杰出论文奖，97.47%体外成功率，蛋白质设计新算法

编辑 | 紫罗在今年的 ICLR 会议上，共评选出 5 篇杰出论文奖以及 11 篇荣誉提名。纽约大学和基因泰克（Genentech）合作发表的一篇关于蛋白质设计的研究论文获得杰出论文奖。这篇论文解决了基于序列的抗体设计问题，这是蛋白质序列生成模型的一个及时而重要的应用。为此，研究人员引入了一种创新而有效的新建模方法——离散「步行-跳跃」采样（Discrete Walk-Jump Sampling，dWJS）算法，用来专门针对处理离散蛋白质序列数据的问题。除了在计算机上验证该方法之外，还进行了广泛的湿实验室实验，来测

5/10/2024 2:08:00 PM

ScienceAI

AI可以改写人类基因组吗？首次由AI从头设计的基因编辑器成功编辑人类细胞中DNA

编辑 | 凯霞生成式 AI 可以对话、写诗、画图、做视频、作曲、写代码......那么，AI 可以改写人类基因组吗？现在，新的 AI 技术正在为可编辑 DNA 的微观生物机制绘制蓝图，这预示着未来科学家将以更高的精度和速度对抗疾病。近日，美国 AI 蛋白质设计初创公司 Profluence 推出了 OpenCRISPRTM 计划，发布了世界上第一个开源的 AI 生成的基因编辑器。Profluence 展示了通过 AI 从头开始设计的可定制基因编辑器，对人类基因组的首次成功精确编辑。该技术基于驱动 ChatGPT 的

4/23/2024 2:04:00 PM

ScienceAI

AI在用| 万万没想到，科技论文还能这么读

机器之能报道编辑：Cardinal以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式，但绝大部分人依然不知道该如何使用。因此，我们推出了「AI在用」专栏，通过直观、有趣且简洁的人工智能使用案例，来具体介绍AI使用方法，并激发大家思考。我们也欢迎读者投稿亲自实践的创新型用例。Claude 3 具有非常大的内存（ 200k 上下文窗口）和很强的调用准确性，它的上下文能力也因此成为最受欢迎、应用最广的技能。我们介绍过如何利用这种能力，没时间收听播客也能获取核心内容。今天，我们再介绍一个新技能，

4/9/2024 3:56:00 PM

机器之能

AI4Science的基石：几何图神经网络，最全综述来了！人大高瓴联合腾讯AI lab、清华、斯坦福等发布

编辑 | XS2023 年 11 月，Nature 连续刊登了两篇重大成果：蛋白质生成方法 Chroma 和晶体材料设计方法 GNoME，均使用了图神经网络作为科学数据的表示工具。实际上，图神经网络，特别是几何图神经网络，一直是科学智能（AI for Science）研究的重要工具。这是因为，科学领域中的粒子、分子、蛋白质、晶体等物理系统均可被建模成一种特殊的数据结构——几何图。与一般的拓扑图不同，为了更好描述物理系统，几何图加入了不可或缺的空间信息，需要满足平移、旋转和翻转的物理对称性。鉴于几何图神经网络对于物理

3/7/2024 4:17:00 PM

ScienceAI

计算蛋白质工程最新SOTA方法，牛津团队用密码子训练大语言模型

编辑 | 萝卜皮来自深度语言模型的蛋白质表征，已经在计算蛋白质工程的许多任务中表现出最先进的性能。近年来，进展主要集中在参数计数上，最近模型的容量超过了它们所训练的数据集的大小。牛津大学（University of Oxford）的研究人员提出一个替代方向。他们证明，在密码子而不是氨基酸序列上训练的大型语言模型可以提供高质量的表征，并且在各种任务中都优于同类最先进的模型。在某些任务中，例如物种识别、蛋白质和转录本丰度预测等，该团队发现，基于密码子训练的语言模型优于所有其他已发布的蛋白质语言模型，包括一些包含超过 5

3/4/2024 4:20:00 PM

ScienceAI

解开化学语言模型中的「黑匣子」，Transformer可快速学习分子的部分结构，但手性学习困难

编辑 | X近年来，自然语言处理（NLP）模型，特别是 Transformer 模型，已应用于像 SMILES 这样的分子结构的文字表示。然而，关于这些模型如何理解化学结构的研究很少。为了解决这个黑匣子，东京大学的研究人员使用代表性的 NLP 模型 Transformer 研究了 SMILES 的学习进度与化学结构之间的关系。研究表明，虽然 Transformer 可以快速学习分子的部分结构，但它需要扩展训练才能理解整体结构。一致的是，从训练开始到结束，使用不同学习步骤的模型生成的描述符进行分子特性预测的准确性是相

2/26/2024 4:42:00 PM

ScienceAI

首次大规模多语言评估，支持7种语言，生物医学领域7B开源LLM

编辑 | X大语言模型 (LLM) 已应用于医疗保健和医学等专业领域。尽管有各种为健康环境量身定制的开源 LLM，但将通用 LLM 应用于医学领域仍存在重大挑战。近日，法国阿维尼翁大学（Avignon Université ）、南特大学（Nantes Université）和 Zenidoc 的研究团队开发了 BioMistral，一个专为生物医学领域量身定制的开源 LLM，利用 Mistral 作为其基础模型，并在 PubMed Central 上进行了进一步的预训练。研究人员根据由 10 项既定的英语医学问答

2/21/2024 3:35:00 PM

ScienceAI

如果 LLM Agent 成为了科学家：耶鲁、NIH、Mila、上交等学者共同呼吁安全防范的重要性

最近的大型语言模型（LLMs）进步已经使我们处于革命性的时代，尤其是 LLMs 驱动的智能 Agents 在广泛任务中展现出了通用性和有效性。这些被称为「AI 科学家」的 Agent 已经开始探寻其在生物学和化学等各种领域内进行自主科学发现的潜力。此类 Agents 已经表现出了选择适合任务的工具，规划环境条件，以及实现实验自动化的能力。因此，Agent 可摇身一变成为真实的科学家，能够有效地设计和开展实验。在某些领域如化学设计中，Agent 所展现的能力已经超过了大部分非专业人士。然而，当我们享受着这种自动化 A

2/20/2024 11:54:00 AM

ScienceAI

登 Nature 子刊，滑铁卢大学团队评论「量子计算机+大语言模型」当下与未来

编辑 | X模拟当今量子计算设备的一个关键挑战，是学习和编码量子比特之间发生的复杂关联的能力。基于机器学习语言模型的新兴技术已经显示出学习量子态的独特能力。近日，加拿大滑铁卢大学的研究人员在《Nature Computational Science》发表题为《Language models for quantum simulation》的 Perspective 文章，强调了语言模型在构建量子计算机方面所做出的贡献，并讨论了它们在量子优势竞争中的未来角色。论文链接：，最近许多设备都声称具有量子优势。经典计算能力的

2/1/2024 11:50:00 AM

ScienceAI

优于SOTA方法，语言模型结合几何深度学习技术，望石智慧开发3D分子生成模型Lingo3DMol

编辑 | X分子生成是 AI 助力小分子新药研发的核心技术。望石智慧始终专注于分子生成技术的开发。就在前几天，望石智慧的研究团队推出了 Lingo3DMol，用于在给定口袋 3D 结构的情况下生成小分子配体的 3D 结构。方法结合了语言模型和几何深度学习技术。研究人员在传统的 SMILES 分子表征的基础上，开发了新的分子表示方法 FSMILES。此外，研究训练了一个单独的非共价相互作用预测器，为生成模型提供必要的结合模式信息。Lingo3DMol 可以有效地穿越类似药物的化学空间，防止异常结构的形成。Lingo

1/22/2024 5:44:00 PM

ScienceAI

低耗能高速度，EPFL和微软研究团队的新方法：深度物理神经网络的无反向传播训练

编辑 | 萝卜皮随着大规模深度神经网络（NN）和其他人工智能（AI）应用的最新发展，人们越来越担心训练和操作它们所需的能源消耗。物理神经网络可以成为这个问题的解决方案，但传统算法的直接硬件实现面临着多重困难。使用传统反向传播算法训练神经网络会面临一些挑战，例如缺乏可扩展性、训练过程中操作的复杂性以及对数字训练模型的依赖。洛桑联邦理工学院（École Polytechnique Fédérale de Lausanne，EPFL）和微软研究团队（Microsoft Research）等机构组成的合作团队提出了一种通过

1/8/2024 6:58:00 PM

ScienceAI

测试大语言模型的生物推理能力，GPT-4、PaLM2等均在测试之列

编辑 | 萝卜皮大型语言模型（LLM）的最新进展，为将通用人工智能 (AGI) 整合到生物研究和教育中提供了新机遇。在最新的研究中，佐治亚大学和梅奥诊所的研究人员评估了几个领先的 LLM（包括 GPT-4、GPT-3.5、PaLM2、Claude2 和 SenseNova）回答概念生物学问题的能力。这些模型在包含 108 个问题的多项选择考试中进行了测试，涵盖分子生物学、生物技术、代谢工程和合成生物学等生物学主题。在这些模型中，GPT-4 获得了 90 分的最高平均分，并且在不同提示的试验中表现出最大的一致性。结果

1/2/2024 10:22:00 AM

ScienceAI

GPT-4驱动的机器人化学家登Nature，自主设计反应并执行复杂实验

编辑 | X基于 Transformer 的大语言模型（LLM）在自然语言处理、生物、化学和计算机编程等各个领域取得了重大进展。但对于在实验室工作的研究人员或那些不熟悉计算机代码的人来说，人工智能方法并不那么容易理解。近日，卡内基梅隆大学的研究团队找到了如何让人工智能系统自学化学的方法。提出了一种基于 GPT-4 的智能 Agent（以下简称 Coscientist），用一个简单的语言提示就可以执行整个实验过程。能够自主设计、规划和执行复杂的科学实验。Coscientist 可以设计、编码和执行多种反应，在湿实验中

12/21/2023 6:29:00 PM

ScienceAI

分类性能提高 10%，港中大利用大型蛋白质语言模型发现未知信号肽

编辑 | 萝卜皮信号肽 (SP) 对于跨膜和分泌蛋白靶向并将其转移到正确位置至关重要。许多现有的预测 SP 的计算工具忽视了极端的数据不平衡问题，而依赖于蛋白质的额外组信息。香港中文大学的研究人员开发了无偏生物体不可知信号肽网络（Unbiased Organism-agnostic Signal Peptide Network，USPNet），一种 SP 分类和切割位点预测深度学习方法。大量的实验结果表明，USPNet 的分类性能比之前的方法大幅提高了 10%。USPNet 的 SP 发现流程旨在从宏基因组数据中探

12/15/2023 3:57:00 PM

ScienceAI

AI揭示微生物暗蛋白：使用机器学习来发现微生物蛋白质宇宙中的功能性「暗物质」

编辑 | 白菜叶宏基因组学项目揭示了地球生物圈中超过 80 亿个非冗余微生物蛋白质序列。其中，11.7 亿种蛋白质在超过 100,000 个可用参考基因组中没有可识别的同源物。了解这些微生物蛋白质的功能是一项艰巨的任务。幸运的是，机器学习最近在复杂生物数据建模和预测方面取得了前所未有的准确性。这些进步的最前沿是基于机器学习的方法，可以自信地预测许多（但不是全部）氨基酸序列的原子级蛋白质结构。最近的一项研究使用 ESMFold 预测器，该预测器利用大型语言模型，从欧洲生物信息学研究所的 MGnify 宏基因组数据库快

12/11/2023 11:31:00 AM

ScienceAI

资讯热榜

腾讯混元推出业界首个美术级 3D 生成大模型 Hunyuan3D-PolyGen，建模效率提升超七成 Cluely 短短一周内年收入翻倍至700万美元揭开大模型的秘密！那些 “思考词” 背后藏着惊人的信息量微信支付MCP上线：AI与支付的完美结合，开启商业新纪元日立能源警告：AI 中心的电力需求波动可能威胁全球电力供应稳定 Character.AI 突破性技术：实时 AI 角色视频互动 Kyutai Labs 开源 Kyutai TTS:低延迟流式文本转语音技术谷歌Veo 3视频生成模型向 Pro / Ultra 会员开放，将新增“照片生成视频”功能

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌数据机器人大模型 Midjourney 用户智能开源微软 Meta GPT 学习图像技术 Gemini AI创作马斯克论文 Anthropic 代码英伟达算法 Stable Diffusion 智能体芯片训练开发者生成式腾讯蛋白质苹果 AI新词神经网络 3D Claude 研究生成 LLM 机器学习计算 Sora AI视频 AI设计 GPU 人形机器人 AI for Science xAI 华为百度搜索大语言模型 Agent 场景字节跳动预测深度学习伟达大型语言模型工具 Transformer RAG 视觉神器推荐具身智能 Copilot 模态亚马逊 AGI LLaMA 文本算力驾驶