当前，大型语言模型（LLM）被认为是人工智能突破的方向。人们正在尝试用它们做各种复杂的事情，比如问答、创作、数学推理以及编写代码等。近段时间 ChatGPT 持续的爆火是最好的例证。然而，对于机器学习从业者来说，大模型的门槛很高：因为体量太大难以训练，很长时间里这个方向一直被大公司垄断。不过最近，简化 GPT 模型的方法越来越多了。1 月中旬，前特斯拉 AI 高级总监 Andrej Karpathy（现已回归 OpenAI）就发布了从零开始构建 GPT 模型的完整教程。不过训练出的 GPT 和 OpenAI 的 GPT-3 比较，两者规模差距达 1 万 – 100 万倍。近日，加拿大麦克马斯特大学的一位软件工程本科生 Jay Mody 在导入 NumPy 库下，仅用 60 行代码就从头兑现了一个 GPT 模型，并将其命名为 PicoGPT。不仅如此，他还将经过训练的 GPT-2 模型权重加载到自己的兑现中，并生成了一些文本。下面为 60 行代码展示。
不过要做到这些，你需要熟悉 Python 和 NumPy，还要有一些训练神经网络的基本经验。作家表示，这篇博客旨在对 GPT 进行简单易懂的完整先容。因此，作家只使用已经训练的模型权重来兑现前向传递代码。代码地址：https://github.com/jaymody/picoGPT/blob/29e78cc52b58ed2c1c483ffea2eb46ff6bdec785/gpt2_pico.py#L3-L58对于此项研究，Andrej Karpathy 给出了四个字：虽迟但到。想当初，Karpathy 构建的 minGPT 和 nanoGPT 还要 300 行代码。值得一提的是，这篇教程不是完全零门槛的。为了让读者明白，作家首先先容了什么是 GPT、它的输入、输出如何等其他实质，先容得都非常详细。至于 GPT 到底能干什么，作家给出了几个示例，它能写电子邮件、总结一本书、给你 instagram 标题的想法、向 5 岁的孩子解释黑洞、用 SQL 编写代码等。通过仔细阅读这个人实质后，你能大致了解 GPT 的一些基础知识。有了这些背景先容，接下来就是如何配置了。项目先容配置这一章节主要先容了如何配置编码器、超参数以及参数。
你要做的，首先是克隆代码库：然后安装依赖项：注意，如果你使用的是 M1 Macbook，在运行 pip install 之前，你需要在 requirements.txt 中将 tensorflow 更改为 tensorflow-macos。在这个项目下，文献包括 encoder.py、utils.py、gpt2.py、gpt2_pico.py：encoder.py：包括 OpenAI BPE Tokenizer 的代码，直接取自 gpt-2 repo；utils.py：包括下载和加载 GPT-2 模型权重、tokenizer 和超参数的代码；gpt2.py：包括 GPT 模型和生成代码，可以将其作为 python 脚本运行；gpt2_pico.py：与 gpt2.py 相同，但是代码行数更少。其中 gpt2.py 需要从头开始兑现，因此你要做的是先删除 gpt2.py 并重新创建一个空文献：然后将下列代码复制到 gpt2.py 中：上述代码包括 4 个主要个人：gpt2 函数是本次兑现 GPT 的实际代码；generate 函数兑现自回归解码算法；main 函数；fire.Fire (main) 将文献转换为 CLI 应用程序，以便最终可以运行代码：python gpt2.py "some prompt here"。main 函数包括有 encode、hparams、params 参数，执行下列代码：接着必要的模型以及 tokenizer 文献将被下载到 models/124M 文献。配置完成之后，作家开始先容编码器、超参数、参数的一些细节实质。就拿编码器来说，本文的编码器和 GPT-2 使用的 BPE tokenizer 一样。下面是该编码器编码和解码的一些文本示例：实际的 token 长这个样子：需要注意，有时 token 是单词（例如 Not），有时它们是单词但前面有一个空格（例如 Ġall，Ġ 代表一个空格），有时是单词的一个人（例如 capes 被拆分为 Ġcap 和 es)，有时它们是标点符号（例如 .）。BPE 的一个好处是它可以对任意字符串进行编码，如果遇到词汇表中不存在的实质，它会将其分解为它能理解的子字符串：更细节的实质不再赘述。接下来先容基础神经网络，这一个人就更加基础了，主要包括 GELU、Softmax 函数以及 Layer Normalization 和 Linear。每一小个人都有代码示例，例如在 Linear 个人，作家展示了标准矩阵乘法 + 偏置：线性层从一个向量空间投影到另一个向量空间的代码如下：GPT 架构这个人先容 GPT 自身架构。
Transformer 架构如下：Transformer 仅使用解码器堆栈（图的右侧个人）：需要注意，由于摆脱了编码器，中间的交叉注意力层也被删除了。在高层次上，GPT 体系架构有以下三个个人：文本 + 位置嵌入；Transformer 解码器堆栈；投影到词汇表。代码就像下面这样：代码个人截图接下来更详细地分解以上三个个人中的每一个个人，这里也不再赘述。以上就是作家对 GPT 的兑现，接下来就是将它们组合在一起并运行代码，得到 gpt2.py。它的全部实质只有 120 行代码（如果删除注释和空格，则为 60 行）。作家通过以下方式测试结果：输出结果如下：正如作家说的：这次实验成功了。本文只是跟着作家的思路大概先容了整体流程，想要了解更多实质的小伙伴，可以参考原文链接。原文链接：https://jaykmody.com/blog/gpt-from-scratch/#basic-layers
原创文章，作者：机器之心，如若转载，请注明出处：https://www.iaiol.com/news/27824
