尺度

清华AIR等提出ESM-AA，首个从氨基酸到原子尺度的蛋白质语言模型

来自清华大学AIR、北京大学、南京大学的研究团队提出了 ESM-AA 模型。该模型在蛋白质语言建模领域取得了重要进展，提供了一套整合多尺度信息的统一建模方案。它是首个能同时处理氨基酸信息和原子信息的蛋白质预训练语言模型。模型的出色性能展示了多尺度统一建模在克服现有局限和解锁新能力方面的巨大潜力。作为基座模型，ESM-AA 获得了多位学者的关注与广泛讨论（截图见下方），被认为有潜力基于 ESM-AA 开发出可与 AlphaFold3、RoseTTAFold All-Atom 相竞争的模型，为研究不同生物结构间的相互作

6/28/2024 2:21:00 PM

ScienceAI

SOTA性能，多尺度学习，中山大学提出蛋白质-药物相互作用AI框架

编辑 | 紫罗蛋白质、药物和其他生物分子之间的相互作用，在各种生物过程中发挥着至关重要的作用。了解这些相互作用对于破译生物学过程背后的分子机制和开发新的治疗策略至关重要。当前的多尺度计算方法，常常过于依赖于单一尺度，而对其他尺度的拟合不足，这可能与多尺度学习的不平多尺度衡性和固有的贪婪性有关。为了缓解优化不平衡，中山大学和上海交通大学的研究人员提出了一种基于变量期望最大化的多尺度表示学习框架 MUSE，它可以有效地整合多尺度信息进行学习。该策略通过相互监督和迭代优化，有效融合原子结构和分子网络尺度之间的多尺度信息。

5/31/2024 11:54:00 AM

ScienceAI

MIT 开发深度化学模型的神经尺度策略，发现「神经尺度」定律

编辑 | 绿萝在数据可用性和计算方面，大规模使得自然语言处理和计算机视觉等深度学习关键应用领域取得了重要突破。越来越多的证据表明，规模可能是科学深度学习的关键因素，但物理先验在科学领域的重要性使得规模化的策略和收益变得不确定。近日，来自 MIT 的研究团队通过将模型和数据集大小改变多个数量级来研究大型化学模型中的神经尺度（neural-scaling）行为，研究具有超过 10 亿个参数的模型，并在多达 1000 万个数据点的数据集上进行预训练。研究考虑用于生成化学的大型语言模型和用于机器学习原子间势的图神经网络。研

11/13/2023 3:02:00 PM

ScienceAI