工程

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]论文主要作者：1. 王智超：本科就读于厦门大学土木工程系，研究生博士…

毫无疑问，现在可说是自回归大型语言模型（LLM）的时代，我们看到技术迭代，我们也看到应用频出，但即便如此，也依然有人表示不看好。唱衰自回归范式的最著名人物应当是 Yann LeCun 无疑了。他甚至还曾给出过一个相当大胆的判断：「从现在起 5 年内，没有哪个头脑正常的人会使用自回归模型。」详见AI在线报道《GPT-4 的研究路径没有前途？Yann LeCun 给自回归判了死刑》。         …

提示工程是一种在机器学习模型，尤其是预训练语言模型中，通过精心设计输入提示（prompt）来引导模型输出期望结果的技术。在大语言模型的使用中，提示词通常是一段文本，用来引导模型生成特定的输出或完成特定的任务。在多文档搜索、问答系统、文档自动摘要生成以及阅读理解等多样化且复杂的应用场景中，往往会面临输入提示（prompt）长度显著增加的挑战。这种超长prompt不仅加大了大型语言模型（LLM）的推理…

机器之心报道，编辑：佳琪。

机器之心报道，编辑：佳琪、蛋酱。

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]张晨，清华大学计算机系高性能所博士生，导师为翟季冬老师，主要研究方向…

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]论文《Chat Edit 3D: Interactive 3D Sc…

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]论文第一作者林宏彬来自香港中文大学 (深圳) Deep Bit 实验…

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本文的作者主要来自于 Meta 和佐治亚理工大学。第一作者是佐治亚理…

OpenAI 的 o1-preview 模型已经发布两周了，网上也有了很多零星的测评。不过，大部分测评都侧重于某一个方面，对于 o1-preview 的系统评估目前还比较匮乏。在一篇长达 280 页的论文中，来自加拿大阿尔伯塔大学等机构的研究者报告了他们对 o1-preview 的系统评估结果，非常具有参考价值。论文标题：Evaluation of OpenAI o1: Opportunities…

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected] 等研究人员近期在《Nature》上发表的研究《Loss…

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本文第一作者为香港大学博士研究生赵学亮，主要研究方向为形式化数学定理…

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]生成式人工智能研究实验室（GAIR，主页：）是国内首个聚焦于生成式人…

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]该论文的第一作者及指导作者均来自德克萨斯大学达拉斯分校，第一作者为博…

虽然 RLHF 的初衷是用来控制人工智能（AI），但实际上它可能会帮助 AI 欺骗人类。语言模型 (LM) 可能会产生人类难以察觉的错误，尤其是在任务复杂的情况下。作为最近流行的后训练方法 RLHF ，可能会加剧这个问题：为了获得更高的奖励，LM 可能会更好地说服人类认为它们是正确的，即使它们是错误的。这对人类评估者来说是一个巨大的挑战，因为人类想要发现 LM 输出中那些似乎正确的细微错误非常困难…

LLM 喜欢赞美，如果你在提示词中夸奖它是个「才华横溢的专家（genius expert）」，它就更可能为你生成更好的答案。当然，OpenAI 的这位前研究科学家 William H. Guss 分享的这个技巧并不是新闻，之前就有不少研究者发现 AI 喜欢鼓励和赞美。刚不久前，Huss 宣布发布了一款自称是「提示词工程的未来」工具 ell。具体来说，ell 是一款轻量级的函数式语言模型编程软件库，…

大语言模型（LLM）的发展同时往往伴随着硬件加速技术的进化，本文对使用 FPGA、ASIC 等芯片的模型性能、能效表现来了一次全面概览。对人类语言进行大规模建模是一个复杂的过程，研究人员花了几十年的时间才开发出来。这项技术最早可追溯于 1950 年，当时克劳德・香农将信息理论应用于人类语言。从那时起，翻译和语音识别等任务取得了长足的进步。在这个过程中，人工智能 (AI) 和机器学习 (ML) 是技…

Transformer 是现代深度学习的基石。传统上，Transformer 依赖多层感知器 (MLP) 层来混合通道之间的信息。 前段时间，来自 MIT 等机构的研究者提出了一种非常有潜力的替代方法 ——KAN。该方法在准确性和可解释性方面表现优于 MLP。而且，它能以非常少的参数量胜过以更大参数量运行的 MLP。KAN的发布，引起了AI社区大量的关注与讨论，同时也伴随很大的争议。而此类研究，又…

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本文第一作者陈谋祥是浙江大学计算机四年级博士生，研究方向为时间序列预…

注意力是 Transformer 架构的关键部分，负责将每个序列元素转换为值的加权和。将查询与所有键进行点积，然后通过 softmax 函数归一化，会得到每个键对应的注意力权重。尽管 SoftmaxAttn 中的 softmax 具有广泛的用途和有效性，但它并非没有局限性。例如，softmax 函数有时会导致注意力集中在少数几个特征，而忽略了其他信息。近来，一些研究探索了 Transformer …

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本论文第一作者倪赞林是清华大学自动化系 2022 级直博生，师从黄高…

自从 OpenAI 发布了新模型 o1 后，它就承包了 AI 领域近几天的热搜：有人用门萨智商测试题「拷问」它，竟测得 o1 智商高达 120；数学大佬陶哲轩要求 o1 回答一个措辞含糊的数学问题，最终得出一个结论：o1 是个平庸但不无能的研究生；还有一位天体物理学论文作者，仅用 6 次 Prompt，就让 o1 系列模型在 1 小时内，创建了代码运行版本，这可是他博士生期间 10 个月的工作量。…

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]研究动机一个高质量的人脸识别训练集要求身份 (ID) 有高的分离度（…

你想喝瓶啤酒，于是就把桌子叫了过来。这不是吃了菌子才有的场景，而是国外网友的一项发明，名叫 Carpentopod。整个桌子有 12 条腿，里面内置了电机，是木工、电子和编程结合的产物。只要按下遥控器，桌子就会向你走来，像一个家用机器人一样。从图上可以看出，Carpentopod 走起来非常平稳，这是它的腿部参数不断「进化」的结果。这个「进化」过程在软件的虚拟环境中进行，数千个虚拟腿部变体在该环境…