输入

  • 大模型时代还不理解自注意力?这篇文章教你从头写代码实现

    自注意力是 LLM 的一大核心组件。对大模型及相关应用开发者来说,理解自注意力非常重要。近日,Ahead of AI 杂志运营者、机器学习和 AI 研究者 Sebastian Raschka 发布了一篇文章,介绍并用代码从头实现了 LLM 中的自注意力、多头注意力、交叉注意力和因果注意力。太长不看版这篇文章将介绍 Transformer 架构以及 GPT-4 和 Llama 等大型语言模型(LLM)中利用的自注意力体制。自注意力等相关体制是 LLM 的核心组件,因此如果想要理解 LLM,就需要理解它们。不仅如此,这

    2024年 2月 16日
  • 深度进修领域最常用的10个激活函数,一文详解数学原理及优缺点

    激活函数是神经网络模型重要的组成部分,本文作者Sukanya Bag从激活函数的数学原理出发,详解了十种激活函数的优缺点。

    2021年 2月 24日