闲下来的Andrej Karpathy录了个课程:保证学会,你听不懂我吃鞋

为了重拾自己对 AI 开源和教育的热情,Andrej Karpathy 在家录了一个详解反向传达的课程。

前段时间,特斯拉 AI 高级总监、自动驾驶 Autopilot 负责人 Andrej Karpathy 在推特上宣布自己即将离职,并表示从今年三月份开始,自己已休假四个月。

在休假的这段时间,Karpathy 也没有闲着,自己在家录了个课程。视频内容长达 2 小时 25 分钟,基于 micrograd 详细引见了神经网络和反向传达。对于这门课程,Karpathy 自信地表示:「这是 8 年来范围内对神经网络和反向传达的最佳讲解。」闲下来的Andrej Karpathy录了个课程:保证学会,你听不懂我吃鞋视频地址:https://twitter.com/karpathy/status/1559672719414681601Karpathy 还在个人推特上打起了赌:只要你懂 Python,并能模糊记起高中学过的求导知识,看了这个视频你还不理解反向传达和神经网络核心要点的话,那我就吃一只鞋。言外之意这门课程只需观看者掌握基本的 Python 编程技能和高中微积分的复杂知识,非常适合零基础的同学在线进修。闲下来的Andrej Karpathy录了个课程:保证学会,你听不懂我吃鞋有网友调侃到虽然自己很想看 Karpathy 直播吃鞋,但他相信 Karpathy 的视频课程不会让人失望的。闲下来的Andrej Karpathy录了个课程:保证学会,你听不懂我吃鞋课程内容接近 2 个半小时的视频按照时间段划分了近 20 个小部分,主要包括以下内容。micrograd 项目概述。2020 年 4 月,Karpathy 开源了其编写的微型 autograd 引擎 micrograd,其中用 100 行代码实行了针对动态构建的 DAG 的反向传达算法,并用 50 行代码实行了类 PyTorch API 的库。目前,micrograd 项目的 GitHub Star 量已达 2.2k。闲下来的Andrej Karpathy录了个课程:保证学会,你听不懂我吃鞋项目地址:https://github.com/karpathy/micrograd/然后 Karpathy 引见了只有一个输入的复杂函数的导数和具有多个输入的复杂函数的导数、启动 micrograd 的核心 Value 对象及其可视化的方法,并举了两个手动反向传达的例子。接下来 Karpathy 系统地引见了:为单个操纵实行反向传达;为整个表达式图实行反向函数;修复一个节点多次出现的反向传达 bug;使用更多操纵替换 tanh 激活函数;用 PyTorch 实行上述操纵,并与 micrograd 进行比较;用 micrograd 构建一个神经网络库 (MLP);创建一个微型数据集,编写损失函数;收集神经网络的所有参数;手动做梯度下降优化,训练网络。最后 Karpathy 总结了反向传达与现代神经网络的关系。此外,Karpathy 还在视频中探究了 PyTorch 中 tanh 激活函数的反向传达机制。闲下来的Andrej Karpathy录了个课程:保证学会,你听不懂我吃鞋Andrej Karpathy 闲下来的Andrej Karpathy录了个课程:保证学会,你听不懂我吃鞋个人主页:https://karpathy.ai/2005-2009 年,Andrej Karpathy 本科就读于加拿大多伦多大学,主修计算机科学与物理,辅修数学。在这里,他第一次接触到深度进修,聆听 Hinton 的课程。2009 -2011 年,Karpathy 硕士就读于加拿大不列颠哥伦比亚大学,其导师为计算机科学系教授 Michiel van de Panne,主要研究物理模拟中用于敏捷机器人的机器进修。2011-2016 年,Karpathy 博士就读于斯坦福大学,师从著名 AI 学者李飞飞,专注于研究卷积 / 循环神经网络以及它们在计算机视觉、自然语言处理和交叉范围的应用。期间,他设计并担任斯坦福首个深度进修课程《CS231n:卷积神经网络与视觉识别》的主要讲师。与此同时,Karpathy 还有三段练习经历。2011 年,他进入发展初期的google大脑练习,致力于视频范围的大规模无监督进修。之后的 2013 年,他再次在google研究院练习,从事 YouTube 视频的大规模监督进修。2015 年,他在 DeepMind 练习,参与深度强化进修团队的工作。闲下来的Andrej Karpathy录了个课程:保证学会,你听不懂我吃鞋Karpathy 是 OpenAI 的创始成员和研究科学家。仅一年多后,2017 年,Karpathy 接受马斯克的邀请加入特斯拉,接替了当时的特斯拉 Autopilot 负责人、苹果 Swift 语言、LLVM 编译器之父 Chris Lattner。五年里,Karpathy 一手促成了 Autopilot 的开发。随着特斯拉从最开始的自动驾驶慢慢扩展到更广泛的人工智能范围,Karpathy 也被提为特斯拉的 AI 高级总监,直接向马斯克汇报工作。现在根据领英上的资料显示,Karpathy 已于 7 月离开特斯拉。闲下来的Andrej Karpathy录了个课程:保证学会,你听不懂我吃鞋至于离开特斯拉,接下来要做什么,此前 Karpathy 透漏还没有具体的安排,但希望重拾自己长久以来对 AI 技术工作、开源和教育等方面的热情。

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/xian-xia-lai-de-andrejkarpathy-lu-le-ge-ke-cheng-bao-zheng/

(0)
上一篇 2022年 8月 17日 下午6:57
下一篇 2022年 8月 19日 上午9:57

相关推荐

  • 面向认知,智源研究院联合清华大学、阿里巴巴、搜狗等发布超大规模新型预训练模型“悟道·文汇”

    2021年1月11日,由北京智源人工智能研究院(以下简称“智源研究院”)、阿里巴巴、清华大学、中国人民大学、中国科学院、搜狗、智谱.AI、循环智能等单位的科研骨干成立“悟道”联合攻关团队,发布了面向认知的超大规模新型预训练模型“文汇”,旨在探索解决当前大规模自监督预训练模型不具有认知能力的问题。“文汇”模型不仅使用数据驱动的方法来建构预训练模型,还将用户行为、常识知识以及认知联系起来,主动“学习”

    2021年 1月 12日
  • 蜂巢动力蜂速快充电池手艺首次亮相上海国际车展

    电动汽车的市场化进程,远超行业预期。中汽协数据显示,2021年Q1国内新动力汽车销量实行51.5万辆,同比增长2.8倍。按此推算,全年新动力车销量突破200万辆,将成为大概率事件。与销量同步共振的还有产物的“多点开花”,从A00级到D级,从EV、PHEV到HEV,汽车电动化正在朝着多元化的产物方向演进。市场的高歌猛进与产物的多点开花,对于以动力电池为核心的三电系统提出越来越严苛的挑战,能否紧跟市场需求,持续推出满足市场及用户多场景需求的先进手艺和产物,考验着电池企业的立异力。 4月19日开幕

    2021年 4月 25日
  • 阿里数据中台底座的12年建造实践

    文/阿里云智能计较平台事业部研究员 关涛阿里巴巴数据平台发展的四大阶段建立数据中台,一个强大的数据平台作为底座必不可少。 阿里巴巴数据平台发展的四个阶段,一定程度上其实也是阿里巴巴数据中台发展的四个阶段。这四个阶段里,你可以看到阿里巴巴对自身数据的商业价值的萃取,对原有分而治之的数据系统的聚合,对计较数据财产化和数据高效应用的新思路以及对数据平台处置过程中面临的组织变革等。阶段一:交易百花齐放,发现数据价值2009年到2012年,阿里巴巴电商交易进入爆发期,涌现出非常多有名的交易团队,比如淘宝、

    2021年 9月 29日
  • 李沐「下手学深度进修」第二全体CNN本周开课,也邀你挑战他10行代码的比赛问题

    本周六,课程将进入第二全体:卷积神经网络,接待对这全体有疑问的同砚上车进修。

    2021年 4月 23日
  • 瑞莱聪明完成新一轮战略融资,加速打造中国AGI保险平安基座

    近日,人工智能保险平安基础设施提供商瑞莱聪明(RealAI)宣布完成新一轮战略融资,北京市人工智能产业投资基金等参与投资。本轮融资完成后,瑞莱聪明将继续加速通用人工智能保险平安基座产物研发,并不断推进保险平安可控的大模型商业化落地。随着全球范围内最大规模的人工智能浪潮掀起,人工智能的可控性和保险平安性成为愈发重要的发展议题。如今,人工智能大模型的通用性和泛化性大幅提升,利用也从传统的判别式任务走向天生式任务,而人工智能的内生及衍生保险平安问题变得愈加复杂,其带来的挑拨和已经引起的各类危急事件也持续受到全球公众、企业和政府的广泛关注。当

    AI 2024年 4月 12日
  • 吴恩达那场十万人观察的讲座,如今有了专项课程

    如果你看过那个一小时的演讲,而且觉得意犹未尽,这门课程可能适合你。

    2021年 5月 14日
  • 案例 | 二手车智能质检:以双流分组残差搜集为核心,结合计算机视觉构建智能车辆检测零碎

    汽车产业互联网平台大搜车针对车辆检测场景所开发的AI云检测解决规划,鉴于云-端交互的零碎架构,以双流分组残差搜集作为主干搜集,结合计算机视觉技能,以专业化的智能设备代替人眼识别,以数据分析代替主观经验,在最大程度降低人为影响因素的前提下,兑现毫秒级实时检测。中国二手车交易行业:二手车辆检测工作依赖人为、耗时冗长,亟待智能技能提高检测效能近年来,中国二手车消费市场规模进一步扩大,2019年中国二手车市场交易额已突破1万亿元。然而由于二手车的“非标”属性,一车一况之下,车辆检测作为二手车交易流程

    2021年 7月 27日
  • 教授何恺明在MIT的第一堂课

    700 座的大教室,相比去年增加一倍容量,仍然座无虚席:这就是麻省理工学院(MIT)计算机视觉课《Advances in Computer Vision》6.8300 在 2024 新学期的盛况。今年是四位教授,每人负责一部分课程:课程信息:https://advances-in-vision.github.io/index.html有网友评论说,能选上这课的学生太幸运了,每节都是计算机视觉顶会 CVPR Oral 的体验。对于很多人来说,其中最为期待的自然是新晋教授何恺明的课。MIT 电气工程与计算机科学系副教授

    2024年 3月 11日
  • 知乎李大海对话阿里云贾扬清:透视AI使用难题与将来趋势

    “AI行业接下来可能有哪些落后?” “一线从业者如何看待其中的机会?”知乎合伙人、CTO李大海与阿里巴巴副总裁、阿里云智能高级研究员贾扬清亮相知乎直播,与网友分享了他们对AI时代下行业趋势、手艺使用、个人成长等多个层面的洞察和思考。

    2021年 8月 11日
  • 环球首个隐衷较量争论一体机国际尺度宣布,中国企业主导

    近日,IEEE 尺度协会(IEEE-SA)正式宣布并推行了由我国企业主导的环球首个隐衷较量争论一体机国际尺度《隐衷较量争论一体机技巧要求》(IEEE 3156-2023)。IEEE-SA是权威国际尺度订定机构,该尺度的成功宣布意味着中国的隐衷较量争论技巧与应用摸索受到国际高度认可,可为环球提供参照方案。(图:IEEE尺度协会官网宣布“隐衷较量争论一体机技巧要求”国际尺度)隐衷较量争论一体机作为隐衷较量争论产业落地的重要技巧摸索,通过软硬件结合方式构建从硬件、固件、操作系统到应用软件的一站式隐衷爱护较量争论解决方案,提供

    2024年 3月 1日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注