AI在线 AI在线

Andrej Karpathy

Karpathy点赞，这份报告教你如何用 LLaMa 3创建高质量网络数据集

Karpathy点赞，这份报告教你如何用 LLaMa 3创建高质量网络数据集
众所周知，对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说，构建高质量的网络规模数据集是非常重要的。然而，即使是最先进的开源 LLM 的预训练数据集也不公开，人们对其创建过程知之甚少。最近，AI 大牛 Andrej Karpathy 推荐了一项名为 FineWeb-Edu 的工作。这项工作将原始 15 万亿个 FineWeb token，经 Llama 3 70B 评判，过滤为 1.3 万亿个高质量（教科级）token。事实证明，LLM 从教育内容中学习会更好更快。部分原因是普通的互联网爬
6/4/2024 3:27:00 PM
机器之心
12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场

12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场
没想到，自 2012 年 AlexNet 开启的深度学习革命已经过去了 12 年。而如今，我们也进入了大模型的时代。近日，知名 AI 研究科学家 Andrej Karpathy 的一条帖子，让参与这波深度学习变革的许多大佬们陷入了回忆杀。从图灵奖得主 Yann LeCun 到 GAN 之父 Ian Goodfellow，纷纷忆往昔。到目前为止，该帖子已经有 63 万 的浏览量。在帖子中，Karpathy 提到：有一个有趣的事实是，很多人可能听说过 2012 年 ImageNet/AlexNet 的时刻，以及它开
5/6/2024 12:03:00 PM
机器之心
纯C语言手搓GPT-2，前OpenAI、特斯拉高管新项目火了

纯C语言手搓GPT-2，前OpenAI、特斯拉高管新项目火了
「Real men program in C.」众所周知，大语言模型还在快速发展，应该有很多可以优化的地方。我用纯 C 语言来写，是不是能优化一大截？也许很多人开过这样的脑洞，现在有大佬实现了。今天凌晨，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」。GitHub 链接：，立即引发了机器学习社区的热烈讨论，项目的 Star 量不到七个小时就冲上了 2000。有网友表示，
4/9/2024 2:56:00 PM
机器之心
突发！AI大牛Andrej Karpathy离开OpenAI

突发！AI大牛Andrej Karpathy离开OpenAI
Andrej Karpathy 又离职了！刚刚，AI大牛Andrej Karpathy官宣了一条重要消息：他昨天已经从OpenAI离职，不过这中间没有什么戏剧性冲突，他只是想去尝试一下自己的个人项目。Karpathy在官宣离职的推文中写道，「是的，我昨天离开了OpenAI。首先，没发生什么特别的事情，这不是由于任何特定事件、问题或者争议导致的（但请继续提供阴谋论，因为它们确实很有趣 :））。实际上，在过去的大约一年时间里，在OpenAI的经历真的很棒——团队非常强大，人们非常棒，路线图也非常令人兴奋，我认为我们都有
2/15/2024 5:43:00 PM
机器之心