AI在线 AI在线

参数

ChatGPT 参数规模被扒:只有 7B

ChatGPT 惨遭攻击,参数规模终于被扒出来了 —— 很可能只有 7B(70 亿)。消息来自南加州大学最新研究,他们使用一种攻击方法,花费不到 1000 美元就把最新版 gpt-3.5-turbo 模型的机密给挖了出来。果然,OpenAI 不 Open,自有别人帮他们 Open。具体来说,南加大团队三位作者破解出了未公布的 gpt-3.5-turbo 嵌入向量维度(embedding size)为 4096 或 4608。而几乎所有已知的开源大模型如 Llama 和 Mistral,嵌入向量维度 4096 的时候
3/17/2024 3:41:32 PM
远洋

比传统量子化学计算快约40倍,机器学习揭示了如何将聚合物材料溶解在有机溶剂中

编辑 | 紫罗用有机溶剂溶解聚合物是高分子材料研究和开发中必不可少的过程,包括塑料回收、聚合物合成、精制、涂漆和涂层等。然而,预测和理解聚合物-溶剂二元系统的相平衡或相分离是聚合物化学中尚未解决的基本问题。日本统计数理研究所(The Institute of Statistical Mathematics)的研究人员利用三菱化学集团 (MCG) 的量子化学计算数据库,开发了一种新型机器学习系统,用于确定任何给定聚合物与其候选溶剂的混溶性,称为 χ 参数。该系统使科学家能够通过使用高通量量子化学计算整合计算机实验产生
10/27/2023 5:58:00 PM
ScienceAI

Creator 面对面 | 北大河图在稀疏大模型训练架构上的几点探索

河图是北京大学数据与智能实验室自研的一款分布式深度学习框架,兼顾创新性和可用性,这也是国内首个由高校自主研发的分布式深度学习系统。底层的算子实现到上层的模型设计完全是由河图团队自主实现。
7/13/2022 6:41:00 PM
SOTA模型

干货速递,百度BML自动超参搜索技术原理揭秘与实战攻略!

在人工智能领域,算法工程师在训练神经网络模型的过程中,完成网络构建和准备好训练数据后,往往需要对模型进行各种参数优化,以获得更好的模型效果。但调参其实并不简单,背后往往是通宵达旦的参数调试与效果验证,并需要做大量的实验,不仅耗时也耗费大量算力。这个时候,往往想尝试自动超参搜索,但又开始担心算力要求所带来的额外训练成本。莫慌!百度全功能AI开发平台BML带着免费算力额度与自动超参搜索能力来了!先来介绍百度最近全新升级的BML,何方神圣?全功能AI开发平台BML(Baidu Machine Learning) ,是为企
8/11/2021 3:37:00 PM
百度大脑