GPT

Karpathy：for fun.几天前，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上实行 GPT-2 训练的项目「llm.c」。llm.c 旨在让大模型（LM）训练变得简单 —— 使用纯 C 谈话 / CUDA，不须要 245MB 的 PyTorch 或 107MB 的 cPython。例如，训练 GPT-2（CPU、fp32）仅须要单个文献中的大约 1000 行干净代码（clean

Karpathy：for fun.几天前，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上完成 GPT-2 训练的项目「llm.c」。llm.c 旨在让大模型（LM）训练变得简单 —— 使用纯 C 言语 / CUDA，不需求 245MB 的 PyTorch 或 107MB 的 cPython。例如，训练 GPT-2（CPU、fp32）仅需求单个文献中的大约 1000 行干净代码（clean

Karpathy：for fun.几天前，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上实行 GPT-2 训练的项目「llm.c」。llm.c 旨在让大模型（LM）训练变得简单 —— 使用纯 C 说话 / CUDA，不需求 245MB 的 PyTorch 或 107MB 的 cPython。例如，训练 GPT-2（CPU、fp32）仅需求单个文献中的大约 1000 行干净代码（clean

OpenAI 著名的说话模型 GPT-3 可以懂数学、翻译文字，还能写论文拿到及格成绩，这样的 AI 什么时候才能开源呢？现在已有了一个差不多的项目。

GPT-3 写的论文及格了吗？教育资源网站 EduRef 对此进行了一项尝试，效果还行，及格水平。

2021年1月11日，由北京智源人工智能研究院（以下简称“智源研究院”）、阿里巴巴、清华大学、中国人民大学、中国科学院、搜狗、智谱.AI、循环智能等单位的科研骨干成立“悟道”联合攻关团队，发布了面向认知的超大规模新型预训练模型“文汇”，旨在探索解决当前大规模自监督预训练模型不具有认知能力的问题。“文汇”模型不仅使用数据驱动的方法来建构预训练模型，还将用户行为、常识知识以及认知联系起来，主动“学习”