神经网络

一阶优化算法启发，北大林宙辰团队提出具有万有逼近性质的神经网络架构的设计方法

以神经网络为基础的深度学习技术已经在诸多应用领域取得了有效成果。在实践中，网络架构可以显著影响学习效率，一个好的神经网络架构能够融入问题的先验知识，稳定网络训练，提高计算效率。目前，经典的网络架构设计方法包括人工设计、神经网络架构搜索（NAS）[1]、以及基于优化的网络设计方法 [2]。人工设计的网络架构如 ResNet 等；神经网络架构搜索则通过搜索或强化学习的方式在搜索空间中寻找最佳网络结构；基于优化的设计方法中的一种主流范式是算法展开（algorithm unrolling），该方法通常在有显式目标函数的情况

4/16/2024 11:17:00 AM

机器之心

为什么要纯C语言手搓GPT-2，Karpathy回应网友质疑

Karpathy：for fun.几天前，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」。llm.c 旨在让大模型（LM）训练变得简单 —— 使用纯 C 语言 / CUDA，不需要 245MB 的 PyTorch 或 107MB 的 cPython。例如，训练 GPT-2（CPU、fp32）仅需要单个文件中的大约 1000 行干净代码（clean code），可以立即编

4/11/2024 3:18:00 PM

机器之心

用扩散模型生成神经网络？NUS 尤洋团队：这不是开玩笑

作者：赖文昕编辑：郭思、陈彩娴说起扩散模型生成的东西，你会立刻想到什么？是OpenAI的经典牛油果椅子？是英伟达Magic3D生成的蓝色箭毒蛙？

3/7/2024 4:21:00 PM

赖文昕

AI4Science的基石：几何图神经网络，最全综述来了！人大高瓴联合腾讯AI lab、清华、斯坦福等发布

编辑 | XS2023 年 11 月，Nature 连续刊登了两篇重大成果：蛋白质生成方法 Chroma 和晶体材料设计方法 GNoME，均使用了图神经网络作为科学数据的表示工具。实际上，图神经网络，特别是几何图神经网络，一直是科学智能（AI for Science）研究的重要工具。这是因为，科学领域中的粒子、分子、蛋白质、晶体等物理系统均可被建模成一种特殊的数据结构——几何图。与一般的拓扑图不同，为了更好描述物理系统，几何图加入了不可或缺的空间信息，需要满足平移、旋转和翻转的物理对称性。鉴于几何图神经网络对于物理

3/7/2024 4:17:00 PM

ScienceAI

GPDRP：基于图 Transformer 和基因通路的药物反应预测多模态框架

编辑 | X在计算个性化医学领域，药物反应预测（DRP）是一个关键问题。但是，现有的研究通常将药物描述为字符串，这种表示与分子的自然描述不符。此外，忽略了基因通路（pathway）特异性组合含义。近日，来自河南科技大学的研究人员提出了基于药物图和基因通路的药物反应预测方法（GPDRP），这是一种新的多模态深度学习模型，用于预测基于药物分子图和基因途径活性的药物反应。在 GPDRP 中，药物由分子图表示，而细胞系则以基因途径活性评分描述。该模型使用具有图 Transformer 和深度神经网络的图神经网络(GNN)分

2/19/2024 1:55:00 PM

ScienceAI

Nat. Commun.|人类水平的准确性，哈佛医学院团队使用机器学习，从空间蛋白质组数据中快速、精确地识别细胞类型

编辑 | 萝卜皮高度多重蛋白质成像正在成为分析细胞和组织内天然环境中蛋白质分布的有效技术。然而，现有的利用高复杂空间蛋白质组学数据的细胞注释方法是资源密集型的，并且需要迭代的专家输入，从而限制了它们对于广泛数据集的可扩展性和实用性。哈佛医学院（Harvard Medical School）团队引入了 MAPS（Machine learning for Analysis of Proteomics in Spatial biology），这是一种机器学习方法，有助于从空间蛋白质组数据中快速、精确地识别细胞类型，并具有

2/18/2024 4:40:00 PM

ScienceAI

MIT、IBM 团队巧妙的 AI 方法来解决「蛮力」数学问题

编辑 | X自牛顿时代以来，自然的基本定律——光学、声学、工程学、电子学，最终都归结为一组重要的、广泛的方程。现在，研究人员找到了一种新方法，可以使用受大脑启发的神经网络来比以前更有效地求解这些方程，在科学和工程领域有许多潜在的应用。相关研究以《Physics-enhanced deep surrogates for partial differential equations》为题，发布在《Nature Machine Intelligence》上。论文链接：，偏微分方程有助于对涉及多种变化率的复杂物理系统进行建

2/11/2024 3:23:00 PM

ScienceAI

助力碳纳米材料研究，上海交大团队开发数据驱动的主动学习框架

编辑 | X碳纳米材料的可控合成，比如单晶、大面积石墨烯，手性碳纳米管，是实现其在未来电子或能源设备中潜在应用的关键挑战。基底催化生长为碳纳米结构的可控合成提供了一种非常有前途的方法。然而，动态催化表面的生长机制和更通用的设计策略的发展仍然是一个挑战。近日，来自上海交通大学和日本东北大学（Tohoku University）的研究团队，展示了主动机器学习模型如何有效地揭示基底（Substrate）催化生长中涉及的微观过程。研究利用分子动力学和蒙特卡罗方法的协同方法，并通过高斯近似势增强，对 Cu(111) 上的石墨

1/15/2024 3:22:00 PM

ScienceAI

描述液体和软物质的AI方法，开启密度泛函理论新篇章

编辑 | 白菜叶拜罗伊特大学（Universität Bayreuth）的科学家开发了一种利用人工智能研究液体和软物质的新方法，开启了密度泛函理论的新篇章。我们生活在一个高度技术化的世界，在这个密集而复杂的相互关联的网络中，基础研究是创新发展的引擎。这里的新方法，可以对广泛的模拟技术产生巨大影响，从而可以在计算机上更快、更精确、更深入地研究复杂物质。将来，这可能会对产品和工艺设计产生影响。新制定的神经数学关系可以很好地表示液体的结构，这一事实是一项重大突破，为获得深入的物理见解开辟了一系列可能性。「在这项研究中，我

1/15/2024 3:16:00 PM

ScienceAI

能找神经网络Bug的可视化工具，Nature子刊收录

近来，《自然》子刊收录了一项能找出神经网络在哪里出错的研究成果。研究团队提供了一种利用拓扑学描述神经网络的推断结果与其分类之间关系的可视化方法。这项成果能够帮助研究人员推断神经网络推理过程中发生混淆的具体情况，让人工智能系统更加透明。研究人员发现，在神经网络推理的某些数据图中存在尖峰，这些尖峰往往出现在神经网络判断模糊与产生错误的地方。观察这些尖峰，研究人员可以更容易发现人工智能系统中的故障点。从分析癌症突变的原因到决定谁应该获得贷款，在解决这些问题的过程中，仿照人脑的神经网络比人类表现得更加快速、准确、公正。但是

1/15/2024 10:49:00 AM

机器之心

GPU上运行速度比现有模型快3-7倍，IU团队使用全卷积神经网络进行准确的从头肽测序

编辑 | 萝卜皮从头肽测序不依赖于全面的靶序列数据库，这为科学家提供了一种从串联质谱中识别新肽的方法。然而，当前的从头测序算法的准确性和覆盖率较低，这阻碍了它们在蛋白质组学中的应用。印第安纳大学（Indiana University，IU）的研究人员提出了 PepNet，一种用于高精度从头肽测序的全卷积神经网络。PepNet 将 MS/MS 谱（表示为高维向量）作为输入，并输出最佳肽序列及其置信度得分。PepNet 模型使用来自多个人类肽谱库的总共 300 万个高能碰撞解离 MS/MS 谱图进行训练。评估结果表明，

12/11/2023 3:29:00 PM

ScienceAI

使用深度神经网络整合药物与疾病关联数据进行药物再利用

编辑 | 萝卜皮药物再利用是指识别 FDA 批准的用于治疗特定疾病的新药物靶点。由于新药发现失败的高风险，药物再利用被视为药物研发重要途径。伊朗大不里士大学（University of Tabriz）的研究人员提出了一个模型，使用深度神经网络整合药物与疾病关联数据进行药物再利用。该模型被称为 IDDI-DNN，主要构建药物相关属性（三个矩阵）、疾病相关属性（两个矩阵）和药物与疾病关联（一个矩阵）的相似性矩阵。然后，受益于相似性网络融合方法，通过两步过程将这些矩阵整合成一个唯一的矩阵。该模型使用构建的矩阵通过卷积神经

11/30/2023 10:13:00 AM

ScienceAI

网络规模、训练学习速度提升，清华团队在大规模光电智能计算方向取得进展

编辑 | 紫罗随着大模型等人工智能技术的突破与发展，算法复杂度剧增，对传统计算芯片带来了算力和功耗的双重挑战。近年来，以光计算为基础、通过光电融合的方式构建光电神经网络的计算处理方法已经成为国际热点研究问题，有望实现计算性能的颠覆性提升。然而，光电神经网络的前向数学模型由对光场的精准物理建模得到，计算复杂度高、参数冗余度大；其学习机制沿用人工神经网络常用的梯度下降算法，面向大规模光电神经网络时优化速度慢、资源消耗高、收敛效果差。因此，现有学习架构仅能支撑小规模光电神经网络的训练，其网络容量和特征捕获能力不足以有效处

11/27/2023 11:56:00 AM

ScienceAI

通过深度学习预测离散时间分岔

编辑 | 白菜叶许多自然和人造系统都容易发生关键转变——动态方面的突然且可能具有破坏性的变化。深度学习分类器可以通过从大型模拟训练数据集中学习分叉的通用特征，为关键转变提供预警信号。到目前为止，分类器仅被训练来预测连续时间分岔，忽略了离散时间分岔所特有的丰富动态。在这里，麦吉尔大学（McGill University）Thomas M. Bury 的研究团队训练一个深度学习分类器，为余维一的五个局部离散时间分岔提供预警信号。他们使用生理学、经济学和生态学中使用的离散时间模型的模拟数据以及经历倍周期分岔的自发跳动的鸡

11/17/2023 2:19:00 PM

ScienceAI

1毫瓦芯片就能玩《毁灭战士》，超低功耗芯片来了

最近，美国人工智能芯片初创公司 Syntiant 公布了一款超低功耗芯片，可以在 1mW 的功耗下玩《毁灭战士》。

3/9/2023 9:51:00 AM

机器之心

ICLR 2023 Oral | 漂移感知动态神经网络加持，时间域泛化新框架远超领域泛化&适应方法

在领域泛化 (Domain Generalization, DG) 任务中，当领域的分布随环境连续变化时，如何准确地捕捉该变化以及其对模型的影响是非常重要但也极富挑战的问题。为此，来自 Emory 大学的赵亮教授团队，提出了一种基于贝叶斯理论的时间域泛化框架 DRAIN，利用递归网络学习时间维度领域分布的漂移，同时通过动态神经网络以及图生成技术的结合最大化模型的表达能力，实现对未来未知领域上的模型泛化及预测。本工作已入选 ICLR 2023 Oral (Top 5% among accepted papers)。

2/27/2023 5:19:00 PM

机器之心