谷歌大脑高级研讨科学家:在康奈尔读博6年,我收获了什么

读一个呆板进修规模的博士是什么体验?如果有一个刚毕业的青年科学家能够帮我们总结一下就好了。

近日,谷歌大脑高级研讨科学家 Maithra Raghu 发布了自己的博士生活生计总结,包括期望值管理、读博的常见挑衅,以及论文那些事儿,等等。谷歌大脑高级研讨科学家:在康奈尔读博6年,我收获了什么读博期望值管理在这里,我将读博称为一段「旅程」,这是一个经常被低估的方面。读完呆板进修博士学位大概需求 5 到 6 年的时间。在此期间,你不仅要进修关于该规模的研讨技能和知识,而且还将培养自己对一定课题的个人偏好、对不同子规模的认知,甚至对跨学术界、业界、政策、非盈利组织等的处事类型有自己的见解。这些不断变化的个人偏好,将影响你决定从事的研讨类型,甚至影响你所选择的博士后职业道路。但在博士生活生计的初始阶段,我们往往很难预测个人偏好会如何演变。就我而言,我是完全假设自己会投身业界,过程中我也认真思考了搞学术这件事,不过最后我做出了一个极度艰难的决定:放弃学界的 Offer,继续留在业界。所以,在开始博士学位课程后,循序渐进地进行进修,并充分利用已有体味通常会很有关心,但不必设定极度具体的预期结果(正所谓计划赶不上变化,且这会增加不必要的压力)。读博旅程中的常见挑衅攻读博士学位可能会带来巨大的收获,特别是在呆板进修规模,它提供了了解基础科学和技术部署的机会。我很感激自己在博士生活生计中有很多机会来体验这两个方面。但博士学位的攻读时长和自由的特性,也是一种挑衅。我的博士生活生计起起伏伏,有些时候我感应孤独,陷入困境以致于不知所措。现在再回想过去,加上与偕行讨论之后,我了解了这些低谷是很常见的。不过,根据很多人分享过的体味,我知道也有一些策略可以关心解决课题。陷入困境一个极度常见的挑衅是:卡住,有时候是卡在某个一定项目中,有时候整个研讨都卡住了。如果是某个项目卡住了,而且你一直努力推进却未奏效,那么你可以参考以下策略:

整理成文字形式:收集部分实验结果、数学见解,总结出有条理的笔记,花时间梳理这篇内容会让你了解事情到了哪一步,重大差距出现在哪里。

核心点:如果项目的某个一定部分无法正常处事,可以考虑是否需求重构该课题,使其更容易处理。

建立联系:当前项目关注的规模和其他研讨规模是否存在联系?在该项目中能否试探这种联系?这既有利于进步,也可以使项目与更广泛的社区建立联系。

获取反应:从研讨社区的偕行、合作者和朋友那里获得反应也可能有所关心,你还能收获一些新观念和改进建议。

提交 Workshop:参与一些 Workshop 也能收集到一些实用的反应。

完结,然后继续:有时候一个项目在起初看起来很有希望,但很难推进,并且重构、与其他规模建立联系也具备挑衅性。在这种情况下,快速结束项目是是极度有必要的。如果获得了一部分结果,那你有必要生成最终文章并共享出来,从合作者那里获得确认和最终反应,并将其保存为 arXiv 预印本或 workshop 论文。

如果这种卡住的感觉来源于研讨过程,我意识到的很重大的一点是,研讨的完备程度通常很难衡量,尤其是在评估自己的时候。在读博士的过程中,我一开始做了一些医疗应用方面的研讨,但进修这一规模知识、撰写论文的速度较慢。缓慢的进展让我感应沮丧,但在努力一段时间之后,我重新浏览了一些我在博士早期看过的论文,感觉大有不同,现在我可以更深刻地了解它们了。研讨成熟度的关键方面——了解结果的更广泛意义,与不同规模构建联系,迅速缩小与子规模新关键贡献的距离——你不需求迅速将其转化为有形的产出(更多论文)。但它们对于成为具有丰富研讨视线的独立研讨人员至关重大,可以说是博士的主要研讨目标。而且如果你通过浏览论文了解一个规模,自行处事开始某个目标的试探(甚至开始教课),就意味着你在这些重大方面都有了进步!跟上呆板进修的进度呆板进修是一个日新月异的热门研讨规模,与之相对的是很多东西都会淹没在海量论文、预印版论文、博客文章、应用、框架等之下。一个乏味的统计结果是:去年的 NeurIPS 会议有超过 1 万篇论文投稿,最终有 2000 多篇论文被收录——看不完吧,感应不知所措了吧!谷歌大脑高级研讨科学家:在康奈尔读博6年,我收获了什么对此我的策略是:

准备一个相干论文的链接列表。对我来说,这需求结合 arXiv 的呆板进修子目录、arXiv-sanity、推特、reddit 的 MachineLearning 板块(有时)、paperwithcode、Semantic Scholar 和 Google Scholar。

记录并更新论文浏览列表。如果看到了乏味的论文但没时间读,先记录下来之后再来看。

寻找一种浏览论文的节奏。如果论文和自己的研讨目标强相干就仔细看,否则就快速看摘要和论文中的重大图片。

偶尔浏览不同规模的研讨。有些时候(也许一年一次),我会尝试看一些不是自己研讨规模里的论文,以便对前沿研讨进展有大致了解。

这里请记住:每个人对于论文的发表速度都感应有压力,同时很多论文可能源自相同的思路,经常了解一下业界进展就足以跟上主流了。

孤独无助

博士期间的另一个挑衅在于和孤独感作斗争。在读博的头几年,一些项目要求我把目光放在极度狭窄一定的课题上,这些课题也极度费时费力,永无止境。在这段时间里,你很难不感受到自己被其他研讨者和更大的研讨圈子抛弃,我极度感谢在此期间关心我渡过难关的人们。从更广泛的意义来讲,这种情况很常见,特别是在博士早期:你可能在进修如何将一个项目从头到尾过一遍,而与此同时与研讨规模和社区本身的联系并不多。保持与研讨规模和社区的联系对于减少孤独感极度有好处。有时你可以:1)与高年级学生或博士后建立合作;2)从导师、实验室负责人、研讨合作者那里获取有关自己处事进展的反应;3)积极参与更广泛的社区,无论是简单地参会,还是组织和指导 workshop。你需求具备的三大能力在讨论了攻读博士学位期间会遇到的一些共同挑衅及解决方法之后,本文的其余部分将概述有利于研讨推进的一些实用能力。首先我们要对于读博最实用的三项能力说起:主动、专注和毅力。当然这是根据我的个人体味得出的结论,每个人对于实用品质可能会有不同看法。但对我而言,自本科毕业开始到进入博士培养计划最主要的区别就在于要主动——这包括但不限于浏览重大的相干论文、对不同方法的可行性进行快速的初步研讨、与进行相干研讨的偕行不断交流、参加学术会议并成为大会的积极参与者。由于博士生活大部分是由非结构化的时间构成的,因此提高生产力很大程度上取决于你进修和做研讨的主动性。另外极度实用的品质是专注和毅力。在开始新的研讨目标时,仔细浏览相干处事,提取关键点,快速从初始试探中进修并确定主要项目目标是很重大的。另一方面,坚持对于把一项研讨顺利做完极度实用:你总是需求做大量编辑、添加处事才能让论文最终呈现可提交的状态,而在提交之后,你还要回应偕行评审的观念,做进一步的编辑处事,甚至面对拒稿。有时你很难打起精神应付这些处事,特别是你一边为重新提交论文做准备,另一边还要研讨新课题时。但偕行评审过程带来的机会通常意味着坚持是值得的。关注论文和新思想在博士的第一年和第三年,我分别开了两份文档,并一直在更新:第一个记录我浏览过的论文,每当我看完一篇新论文,就会在文档中添加一笔,附带自己的简短总结。这个文档现在已经有 50 页了(我可能得转投 Mendeley 或 Paperpile 了),在我需求快速寻找论文研讨和要点时它极度实用。另一个文档持续关注研讨目标,每当我找到一个乏味的想法就会在其中记录下来。随着时间流逝,这份努力在我选择研讨目标和突出主题时提供了不少关心。社区的重大性我花了挺长时间才意识到呆板进修研讨的一个重大特点:从根本上说呆板进修研讨是社区行为。我们需求解决的课题极度困难,进展取决于所有偕行接受新观念的速度。这是你试探研讨目标时要牢记的关键因素。让社区感应兴奋的是什么,为什么?有缺点或空白吗?有明显的下一步吗?花时间与社区中的同僚讨论这些课题,对于寻找恰当的研讨目标至关重大。而且如果你对一个新研讨目标感应兴奋,围绕它来建立讨论社区是很有意义的——这可以通过发起协作、散布关键的开放性课题并组织研讨会来实现。从博士生活生计早期开始,我就对了解现代深度进修系统所展示出的重大实验现象极度感兴趣。但这一规模很有挑衅性,它的发展很快,任何分析的重点都在不断变化,这就使得围绕它建立社区变得困难起来。因此我在发表第一篇深度进修分析论文时经历了很大挑衅,但这也绝对是一种坚持的体现。自此以来,能够见证并为这个令人兴奋的研讨规模的发展做出贡献真是太好了!谷歌大脑高级研讨科学家:在康奈尔读博6年,我收获了什么发展研讨的视角前面提到过,当开始博士生活生计时最好走一步看一步,专注于积累体味,而非追寻一定的目标,但从研讨成熟度的角度来说,PhD 是有一定的任务的:成为一名独立的研讨者,拥有丰富且清晰的研讨视线。在最近的呆板进修研讨中,随着大量论文的出现,人们自然想到需求发更多文章。但尽管论文写作是一项重大技能,但我认为研讨成熟度的关键标准是能够对自己的规模有深度观念,这些观念有助于通过与主题相干的总体观念(研讨视线)来决定关键的研讨课题。拥有完善的研讨视线会极大地激发人们的积极性。打个比方,这就有点像完成一个「按照数字填色」的任务:你不仅在给每个空格填上颜色,在图画完成时还会突然看到整张图片的效果。所以课题来了,如何建立起研讨视线呢?首先从我的 PhD 经历来看,要想在没有几年研讨体味的情况下建立起完整的研讨视线是很难的。在博士的头几年里,我记得自己一直在浏览论文,观看资深研讨者的演讲,并为无法识别、阐述乏味的研讨课题而感应苦恼。在随后的几年里,所有我读过的论文、参与的项目和研讨会都对自己的能力提升有很大关心。当然还是有改进的空间!「向前看」这种能力会随着阅历和对自身目标的深入了解不断发展。现在,我们来更具体地说明如何更好地发展研讨视线:它始于试探,我初期参与的一些项目给我提供了一些不同的机会,让我开始了解自己真正感兴趣的主题。从这个基础开始,自然就会有一些相干的研讨需求跟进,最终把你引向相干的应用、部署课题。所有这些都是在呆板进修设计和人机交互这一大主题的基础上开始的,而且随着研讨视线的拓展,已有的处事激发出了新的课题。在这里,我要极度感谢导师的见解、指导和鼓励!最后需求强调的是,多年的体味确实产生了质变的效应。当我在从事研讨项目时,分辨论文中的重大观念已变得更加轻松,这让你可以更好地提出自己的看法、下一个课题和对未来的展望,在新的项目中可以更快地吸收知识、提出看法,随后回归本源——关心自己找到乏味的研讨目标,并形成更广阔的的视线。谷歌大脑高级研讨科学家:在康奈尔读博6年,我收获了什么总结总而言之,读 PhD 是一件很有意义的事。不过它就像是一段旅程,有起有落,伴随着新的发现和人生观的改变。我对自己在读博生活生计中获得的丰富体味时常心存感恩,希望这篇文章能够对身在旅途中的你产生关心。原文链接:https://maithraraghu.com/blog/2020/Reflections_on_my_Machine_Learning_PhD_Journey/

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/gu-ge-da-nao-gao-ji-yan-tao-ke-xue-jia-zai-kang-nai-er-du/

(0)
上一篇 2021年 1月 6日 下午3:33
下一篇 2021年 1月 12日 上午9:51

相关推荐

  • 给5G基带也加上呆板进修单元:高通的AI脑洞还有太多

    最先进的人工智能手艺,并不总意味着数块 GPU、每秒算力上 E 的超算。使用最广泛的移动芯片上,人们正在使用最先进的 AI 手艺。最近,高通再次利用 AI 兑现了「突破性的 5G 效能」。在巴塞罗那举办的 MWC 2022 国际通信展上,高通 CEO 安蒙(Cristiano Amon)发布了全球首款搭载 AI 估计核心的 5G 通信基带骁龙 X70。在显卡、手机 CPU 旁边出现 AI 估计单元之后,现在连通信基带也要专门的 AI 芯片加持了 ,这不仅让人要问:「有必要吗?」首款搭载 AI 核心的 5G 基带根据

    2022年 3月 10日
  • 图神经网络精确预计有机化合物性质,加速静态电池的设计

    编辑/绿萝大规模从头较量争论与布局预计的进步相结合,在有机功能资料的发觉中发挥了重要作用。目前,在有机资料的广阔化学空间中,只发觉了一小部分。实验和较量争论研讨职员都需要加速探索未知的化学空间。来自美国国家可再生能源实验室(NREL)、科罗拉多矿业学院和伊利诺伊大学的研讨职员展示了一种可以精确预计有机化合物性质的机械进修方法。展示了基态(GS)和更高能量布局的平衡训练数据集,对使用通用图神经网络(GNN)架构精确预计总能量的重要性。该研讨可加速静态电池的设计。该研讨以「Predicting energy and stabi

    2021年 12月 24日
  • 如何通过呆板进修算法,将EV电池运用到极致?

    编译 / 刘梦婷近日,剑桥大学的研讨职员开发了一种呆板进修算法,可以通过展望分别的驾驭形式对电池性能的影响,帮助电动车削减充电时光,延长电池寿命,提高安全性和可靠性。研讨结果发表在《自然通讯》(Nature Communications)杂志上。该团队开发了一种非侵入式要领来检测电池,并获得电池整体健全状况。然后,将这些结果输入呆板进修算法,该算法可以展望分别驾驭形式将如何影响电池未来的健全状况。研讨职员表示,该算法可以通过建议路线和驾驭形式,最大限度地削减电池退步和充电时光,来充分利用电动汽车的电池。如果将其用于

    2022年 8月 25日
  • 线上分享 | Transformers库维护者之一、UCSD博士生分享库背后的故事

    自 2017 年提出以来,Transformer 已经成为占据主导地位的自然语言处理(NLP)架构,在自然语言理解和自然语言生成等任务上表现出的性能超过了卷积和循环神经网络等其他神经模型。之后,Transformer 的训练数据和模型规模也不断扩展,从而促进了高效并行训练以及长期序列特征捕获。

    2020年 12月 11日
  • Creator 面对面 | 多少深度进修的算法设计和数学表面

    2016年,Yann LeCun 等人在 《Geometric deep learning: going beyond Euclidean data》一文中提出多少深度进修这一概念。现今多少机器进修和基于图的机器进修已经是当前最热门的研究课题之一。

    2022年 7月 23日
  • 首次尝试!深度进修从原始视频中发明未知输出激励的动力体系的可解释物理定律

    编辑/绿萝由于深度进修的发展进步,从视频中提炼可解释的物理定律引发了计算机视觉社区的兴趣,但仍旧面临巨大的挑战。管制方程(例如 PDE、ODE)的发明可能促进我们对复杂动力体系行为的理解、建模和预测。收集数据的日益丰富和机器进修的进步带来了静态体系建模的新视角。近日,来自中国人民大学和中国科学院大学、美国东北大学的钻研团队提出了一个端到端的无监视深度进修框架,根据录制的视频提醒静止物体呈现的显式动力学管制方程。模拟静态场景的实验表明,所提出的法子能够提炼查封形式的管制方程并同时辨别视频记录的多个动力体系的未知激励输

    2022年 6月 6日
  • AI芯片业的挑战亦是企业智能化转型的降本增效机会

    「机器之心2021-2022年度AI趋势大咖说」聚焦「驱动未来的AI技能」与「重塑产业的AI科技」,推出线上分享,共邀请近40位AI领域知名学者、产业专家及企业高管通过主题分享及多人圆桌等形式,与行业精英、读者、观众共同回顾 2021年中的重要技能和学术热点,盘点AI产业的年度研究方向以及重大科技突破,展望2022年度AI技能发展方向、AI技能与产业科技融合趋势。

    2022年 7月 26日
  • 深度进修领域最常用的10个激活函数,一文详解数学原理及优缺点

    激活函数是神经网络模型重要的组成部分,本文作者Sukanya Bag从激活函数的数学原理出发,详解了十种激活函数的优缺点。

    2021年 2月 24日
  • 给一个词就能仿照你的笔迹,Facebook这个AI强大到不敢开源代码

    你在纸上写个词,AI 只要看一眼就能仿照你的笔迹,还是看起来毫无破绽的那种。

    2021年 7月 27日
  • 离群?非常十分?新类?开集?散布外检测?一文搞懂其间异同!

    你是否也曾迷惑于「离群检测,非常十分检测,新类检测,开集鉴别,散布外检测」之间错综复杂的关系?你是否也想要解决开放世界的问题却不知道从哪个任意入手?不知道利用什么方法解决问题?这篇最新综述将让你对开放世界畛域有全新的认识!

    2021年 10月 24日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注