每月1万美元,OpenAI供应资助和导师,这些年轻学者在钻研什么?

半年来,9 位「毕业生」完成了从转行、入门到精通的钻研旅程。

近日,OpenAI 正式公布了 2021 年度学者决策(OpenAI Scholars 2021)情况:9 位钻研者经历了为期六个月的指导决策,已经在 OpenAI 的资金及其他支持下完成了自己的开源钻研项目。OpenAI Scholars 决策始于 2018 年,面向本年度加入的钻研者,OpenAI 供应如下帮助:

一位专门的 OpenAI 导师,可以与其进修和合作,每周供应倡议和反馈;

在整个决策期间,每月供应 $10000 的津贴;

由 Microsoft Azure/AWS 等供应的云盘算服务;

与其他学者、钻研员和指导者组成 Slack 社区。

当然,加入该决策有一些前提条件,比如拥有美国工作许可且决策期间始终位于美国境内,在软件工程方面拥有 2 年以上的经验(不需要机器进修经验),在 Python 方面拥有扎实的编程经验(将用 Python 编写程序),有很强的数学靠山(比如曾在数据科学、物理、化学或其他相关规模钻研或工作过),有执行独立项目的经验,熟悉 Pytorch 等等。OpenA ICEO Sam Altman 表示:「这项决策对于我们来说很重要,因为它将增加人工智能的多样性,对规模产生积极影响。」在「毕业」之际,9 名学者分享了他们的钻研工作以及 OpenAI 学者决策对他们的职业影响,内容如下:Christina Kim钻研项目:Scaling Laws for Language Transfer LearningChristina Kim 此前是 AI 招聘平台 Sourceress 的创始工程师,为该平台搭建了 ML pipeline 和人为回环标签系统的基础架构,主要规模为软件工程和机器进修生产化。在 OpenAI 近期有关定标律的钻研基础上,Christina Kim 的项目探索了当变换模型大小和数据集大小时,面向英语进行预训练对于跨言语进修的影响。经过项目钻研,她发现:a)经过预训练的英语模型在进修德语、西班牙语和汉语时最有帮助;b)从参数、数据和盘算方面,从英语迁移至为汉语、德语和西班牙语是可预测的。我对刚开始进行深度进修钻研的人员的倡议是,要花些时间来了解基础性论文中的见解,并记住,这仍是个新的规模,你会拥有很大的发挥空间。更多项目细节:https://youtu.be/lpe5Gwuqa-kDanielle Ensign钻研项目:Feedback Loops in Opinion ModelingDanielle Ensign 有软件开发、AI 公平性和 VR 游戏开发方面的靠山,他的项目从深度进修的角度审视了此前 Opinion Modeling 的钻研工作。这些模型正生成越来越多的文本,因此很有必要去理解 Opinion 生态系统以及未来模型产生的影响。此外,Danielle Ensign 钻研了在对先前模型的输出进行模型迭代训练时所发生的情况。如果可以的话,请花几个月的时间深入进修 2019 年 fast.ai 课程(第 1 部分和第 2 部分)、Andrew Andrew Ng 的 Coursera 深度进修课程、David Silver 的 RL 课程以及 Spinning Up in Deep RL 等课程。此外就是要有统计学的靠山,以及用 PyTorch 动手实现几篇论文等等。你可以用一些较新的 idea 去改进先前的论文,这个过程会让你更好地理解深度进修钻研方法。更多项目细节:https://youtu.be/wZ6PqNp-W_wEllie Kitanidis钻研项目:Contrastive Language EncodingEllie Kitanidis 是一位有物理学靠山的钻研科学家,她专注于暗能量、暗物质和宇宙大尺度结构。他使用了对比方向对一个言语表征模型进行预训练。与预训练包含更多传统言语建模方向的模型相比,她对此类模型的适用性和可扩展性感爱好,也对影响对比言语编码器性能的因素感爱好。在新冠疫情期间完成职业转变是很困难的,但这一决策为我供应了进修、获得实践经验和适应该规模的理想环境。与 OpenAI 导师和其他人的讨论让我获得了教科书中无法获得的专家见解和直觉。但是,我发现的最重要的事情是:我是如此热爱 AI 钻研,今后也决策继续朝这个方向发展自己的职业了。更多项目细节:https://youtu.be/mVZE7wm1skwJonathan Ward钻研项目:Large Scale Reward ModelingJonathan Ward 在这一决策中的方向是:希望构建更加了解人们真正意图的盘算机系统。OpenAI 最近的一些工作表明经过人类反馈训练的奖励模型可以支持强化进修。Jonathan Ward 的项目也显示,可以根据从网站提取的大规模结构化反馈来训练奖励模型。我对希望加入的人们有一个倡议:做一些开源项目!找到你能想到的最简单有趣的想法,然后动手构建!更多项目细节:https://youtu.be/EUZxw2VZUBAKudzo Ahegbebu钻研项目:Characterizing Test Time Compute on Graph Structured ProblemsKudzo Ahegbebu 是一名具有物理和航空应用靠山的软件工程师,他探索了测试时间盘算在众多规模(包括自回归 transformers、深度均衡模型、图神经网络)的可扩展性。其中,Kudzo Ahegbebu 遇到了一个问题:在有限的训练盘算预算的约束下,小型自适应模型可以代替利用测试时间盘算来克服进修参数数量较少的障碍吗?最后,他们提出了在减少盘算成本和改善图神经网络性能方面卓有成效的机制。该决策使我有信心去追求新的深度进修钻研爱好和钻研方法,更加清晰、高效地展开工作,并重新激发了潜在的钻研爱好。更多项目细节:https://youtu.be/8iz5v3Q0g9ILegg Yeung钻研项目:Breaking Contrastive Models with the SET Card GameLegg Yeung 是一位有数据科学与架构靠山的 AI 钻研者。Legg Yeung 的钻研项目扩展了著名的「SET 神奇形色牌」,以钻研矢量表征维度与任务组成之间的关系。我的导师给了我很多倡议,钻研过程很紧张,但付出的努力是值得的。更多项目细节:https://www.youtube.com/watch?v=AKg0tzunYP0Sam Gbafa钻研项目:Words to Bytes: Exploring Language TokenizationsSam Gbafa 曾在电气工程专业进修,后来对编程产生了爱好,钻研爱好包括深度进修、加密货币、无人机等。Sam Gbafa 想钻研 OpenAI 的模型及构建和迭代这些强大模型所需的资源。他的钻研项目钻研了使用一些分词(tokenization)方案时的权衡问题,以及这些分词方案的扩展。此外,该钻研还使用一种进修序列的分割的方法代替预定义方法。我原本想了解当前的技术水平,但是过去几个月的钻研让我明白自己可以为推进深度进修和 AI 的发展做出有意义的贡献。此外,这项钻研还让我对模型的含义以及最大程度减少模型中潜在危害的方式进行了思考。更多项目细节:https://www.youtube.com/watch?v=TsFLqbiim4MShola Oyedele钻研项目:Studying Scaling Laws for Transformer Architecture VariantsShola Oyedele 最初进修的专业是法语,后来他对自然言语处理(NLP)产生了钻研爱好。Shola Oyedele 的钻研钻研了模型性能与训练成本之间的权衡问题,并钻研了多种 Transformer 架构上的扩展规律,以了解 Transformer 架构对模型性能的影响。在业界发现 GPT-3 潜力之时加入此决策,改变了我对技术的未来以及自己在其中的地位的看法。我对未来感到好奇,并希望参与其中。更多项目细节:https://www.youtube.com/watch?v=HYijvkoXgPETyna Eloundou钻研项目:Learning Multiple Modes of Behavior in a Continuous Control EnvironmentTyna Eloundou 致力于解决 AI 系统日益复杂的构成中存在的问题。作为在美国长大的喀麦隆人,Tyna Eloundou 从学业、文化和言语的角度吸收了多种观点,获得了 AI 从人类的相同点和不同点中进修的方式。现实世界中的任务包含多个方向,当前强化进修中的方法并不能供应选择帕累托等效(Pareto-equivalent)策略的直接途径。Tyna Eloundou 的钻研项目使用「多专家、多方向(MEMO)」的方式来探索智能体从具有不同方向的多个专家那里汲取成功样例的能力,并进修可以由导师(supervisor)决定的单一条件策略。对于刚接触该规模的新人,我倡议在阅读理论基础的同时逐步完成一些算法的代码实现,并经常尝试设计。此外,Fast.ai 和吴恩达的课程是很棒的资源。更多项目细节:https://youtu.be/ewLoQrVCKew

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/mei-yue-1-wan-mei-yuan-openai-gong-ying-zi-zhu-he-dao-shi/

(0)
上一篇 2021年 5月 11日 上午10:38
下一篇 2021年 5月 14日 上午11:34

相关推荐

  • 最高奖金50万,腾讯云开发技能峰会·公益编程挑战赛报名开启

    技能正给公益带来更多可能。

    2022年 3月 6日
  • Hologres揭秘:深度解析高效率分布式查问引擎

    Hologres(中文名交互式分析)是阿里云自研的一站式及时数仓,这个云原生体系融合了及时服务和分析大数据的场景,全面兼容PostgreSQL协议并与大数据生态无缝打通,能用同一套数据架构同时支持及时写入及时查问以及及时离线联邦分析。它的出现简化了业务的架构,与此同时为业务提供及时决策的能力,让大数据发挥出更大的商业价值。Hologres作为HSAP服务分析一体化的落地最佳实践,其查问引擎是一个完全自研的施行引擎,它的核心设计目标是支持所有类型的分布式分析和服务查问,并做到极致查问机能。为了做到这一点,我们借鉴了各

    2021年 8月 11日
  • Science出台新政,旗下部分期刊论文立即收费,无需作家付费

    好起来了?收费科学文献设计Plan S今年生效,Science昨天又放出「大招」。

    2021年 1月 16日
  • 规模化机械学习崛起、「零断定」架构出现,德勤呈文2021九大技巧趋向

    《德勤2021年技巧趋向》呈文研究了疫情一年来对企业战术、运营和技巧带来的连锁反应,论述了其重大发现:全球企业在加速数字化战术转型,从而构建「韧性」、开创全新的经营模式。呈文讨论了接下来18至24个月及以后驱动企业规划背后的九大技巧趋向,包括现在的工作环境、人工智能产业化、关键外围业务的升级以及撑持多样性、公道性和包容性的技巧等内容。这些技巧趋向也同时明确了动荡一年所带来的更具希望的一面。日前,德勤管理咨询正式发布了《2021技巧趋向呈文》。本年度呈文研究了疫情一年来对企业战术、运营和技巧带来的连锁反应,论述了其

    2020年 12月 31日
  • 顶会paper愈来愈多,我该怎么看?

    顶会论文愈来愈多,如何阅读?中国科学院大学计算机应用技术博士王晋东给出了一些建议。

    2020年 12月 1日
  • AutoX再发40分钟经营视频:不仅没有安全员,还实现全区经营

    继8月发布「城中村」复杂路况全无人驾驭测试视频后,AutoX又于今日(11月16日)发布了国内首个全区、全域、全无人的RoboTaxi经营视频,致力于做全无人Robotaxi的AutoX,已在深圳市坪山区开始进行了不需要安全员的Robotaxi经营。目前,AutoX全无人Robotaxi的经营区域已完全覆盖深圳市坪山区大小街道,也是是中国面积最大的完全无人驾驭经营域,达成了全域168平方公里「无人之境」。根据AutoX发布的经营视频来看,尽管当时并非早晚高峰,但在全程40分钟的经营记录中,仍碰到了大量复杂的门路环境

    2021年 11月 17日
  • 百分点认知智能尝试室:基于不完全标注样本集的信息抽取实践

    编者按信息抽取是从文本数据中抽取一定信息的一种技能,命名实体识别(Named Entity Recognition, NER)是信息抽取的基础任务之一,其目标是抽取文本中具有基本语义的实体单元,在知识图谱构建、信息抽取、信息检索、机器翻译、智能问答等体系中都有广泛应用。基于监督学习的NER体系通常需要大规模的细粒度、高精度标注数据集,一旦数据标注质量下降,模型的表现也会急剧下降。利用不完全标注的数据从事NER体系的建立,越来越受到专家学者们的关注。第九届国际自然语言处理与中文计算会议(NLPCC 2020)针对此业

    2021年 3月 25日
  • 数学奥赛冠军都做不对的题,却被拿来考ML模型?GPT-3:我不行

    为了衡量机器学习模型的数学求解能力,来自 UC 伯克利和芝加哥大学的研究者提出了一个包含 12, 500 道数学比赛难题的新型数据集 MATH,以及帮助模型学习数学基础知识的预训练数据集 AMPS。研究发现,即使是大参数的 Transformer 模型准确率也很低。

    2021年 3月 16日
  • 只有170字节,最小的64位Hello World步伐这样写成

    最简单的 C 语言 Hello World 步伐,底层到底发生了什么?如何编写出最小的 64 位 Hello World 步伐?

    2020年 12月 25日
  • SIGGRAPH 2021 | 学习带神经交融外形的人物动画

    本文是对发表于计算机图形学顶级会议 SIGGRAPH 2021 的论文 Learning Skeletal Articulations with Neural Blend Shapes 的解读。
    该论文由北京大学陈宝权教授研究团队与北京电影学院未来影像高精尖创新中心、Google Research、特拉维夫大学以及苏黎世联邦理工学院合作,针对骨骼驱动的模型动画的高质量自动化天生进行改进,提出了神经交融外形手艺。实验证明,该法子显著减少了已有法子中需要的人工干预,大大提升了天生动画的质量。

    2022年 7月 18日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注