27亿参数的「野生版」GPT-3开源,GitHub项目2.9K Star量

OpenAI 著名的说话模型 GPT-3 可以懂数学、翻译文字,还能写论文拿到及格成绩,这样的 AI 什么时候才能开源呢?现在已有了一个差不多的项目。

GPT-3 是 2020 年 OpenAI 推出的具有 1750 亿参数的自回归说话模型,它在许多自然说话基准上都取得了出色的成绩。GPT-3 能够执行答题、翻译、写文章等任务,甚至还带有一些数学计算的才智。

27亿参数的「野生版」GPT-3开源,GitHub项目2.9K Star量

不同于 GPT-2 和 GPT-1,OpenAI 选择不开源 GPT-3,而是通过商业 API 来提供该模型的才智及训练数据集。该公司通过选择将 GPT-3 独家许可给与 OpenAI 有业务关涉的微软来进一步限制访问。尽管如此,既然论文已经放出,人们对于 GPT-3「野生版」的开发没有止步。其中开源 AI 研讨机构 EleutherAI 的 GPT-Neo 项目是 GPT-3 的复现与开源中最优秀的项目之一。3 月 22 日,EleutherAI 的开源项目 GPT-Neo 宣布放出复现版 GPT-3 的模型参数(1.3B 和 2.7B 级别),并将其更新在了 Colab notebook 上。

27亿参数的「野生版」GPT-3开源,GitHub项目2.9K Star量

虽然是 1750 亿参数模型 GPT-3 的复现,此次开源的模型里较大的版本也只达到了 GPT-3 商用版里最小模型的参数量,不过 Eleuther AI 表示未来会进一步开源 10B 版本和原始大小版本的 GPT-3 模型参数。这一项目一经发布,就受到了 AI 社区的关注,目前该项目已收获 2.9K star 量。

27亿参数的「野生版」GPT-3开源,GitHub项目2.9K Star量

项目地址:https://github.com/EleutherAI/gpt-neo/训练数据集EleutherAI 承认,由于 OpenAI 决定不发布 GPT-3 架构的一些关键细节,因此 GPT-Neo 与原版 GPT-3 相比必然会存留一些毛病。此外,还有一些毛病可能来自 EleutherAI 意图运用的训练数据集,该数据集是由来自 EleutherAI 的 10 人小组策划的。像 GPT-3 这样的说话模型通常会放大数据中存留的私见。例如,OpenAI 指出在数据集中女性和 sucked 这样的词汇可能会存留关涉,著名预训练说话模型 BERT 也曾被指存留私见。EleutherAI 小组表示他们已对 GPT-Neo 训练数据集进行了「广泛私见分析」,并做出了一些消除私见的决定,以排除他们认为对某些群体或观点「造成不可接受的负面私见」的某些数据集。该项目运用一个 825 GiB 的多样开源说话建模数据集,它对于大型说话模型的训练和基准测试都很有效。

27亿参数的「野生版」GPT-3开源,GitHub项目2.9K Star量

数据集:https://pile.eleuther.ai/GPT-3 可以变得更小吗?EleutherAI 意图利用项目团队运用的架构来训练 GPT-Neo,使其达到和 GPT-3 在沟通模型大小时「沟通」的功能。在未来,他们还意图将模型减小一个数量级甚至更多。

27亿参数的「野生版」GPT-3开源,GitHub项目2.9K Star量

如果这样的模型被认为具有实用化的条件,其效率的提高将会抵消不断膨胀的算力需求。根据 OpenAI 的一项调查,自 2012 年以来在著名数据集 ImageNet 之上将图像分类模型训练成沟通的识别准确度,其所需的算力每 16 个月减少两倍。但是与更多参数的新模型相比,算力的运用仍然是个封闭问题。「要想让功能继续提高,模型的尺寸还会不可避免地增加」项目团队成员之一 Leahy 说道。「大模型的才智对于小模型来说是遥不可及的,这可能就是残酷的现实。我们看起来没有其他解决的方法——如果更大的模型意味着更好的功能,拥有算力的公司就会具有优势,就这么简单。」EleutherAI 是一个致力于开源 AI 研讨的团队。Leahy 表示:「我们致力于允许更多资源匮乏的用户(尤其是研讨者)运用相关技术,以期在相关领域涌现更多更好的研讨,并在此基础上进行我们以安全为重点的研讨,而不是将其锁定在行业实验室内。毕竟,这些技术仍然在发展阶段,当此类模型在生产中按原样运用而没有进行更广泛的调查时,自然会产生存留私见等问题,我们希望这些模型能够封闭更多的可用性。」参考内容:https://venturebeat.com/2021/01/15/ai-weekly-meet-the-people-trying-to-replicate-and-open-source-openais-gpt-3/

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/27-yi-can-shu-de-ye-sheng-ban-gpt3-kai-yuan-github-xiang-mu/

(0)
上一篇 2021年 3月 26日 下午3:47
下一篇 2021年 3月 26日 下午3:53

相关推荐

  • 邢波任校长的大学迎来机械进修鼻祖:Michael Jordan加盟MBZUAI任名誉老师

    提起 Michael Jordan,我们总能想起一连串的称号,比如「人工智能畛域泰斗」、「机械进修鼻祖」、「美国三院院士」、「全世界最有影响力的计算机科学家」等等。

    2022年 1月 20日
  • INDEMIND: 打造标准化机器人AI方案,行业关键手艺供应商价值凸显

    4年深耕低速自动驾驶手艺,打造标准化机器人解决方案,INDEMIND已然破茧成蝶,成为国内最大的机器人关键AI手艺供应商之一。在疫情催化之下,爆发式增长的不只是办事机器人商场,根据数据统计,今年超10万家机器人相关企业成立,随着机器人公司、传统企业、新晋企业陆续进场,一场不可避免的“争夺战”已在悄然中激烈展开。根据IFR数据显示,2016 年以来,全球办事机器人商场规模年均增速达 23.8%,2021 年预计达到 125.26亿美元,到 2023 年,全球办事机器人商场有望突破 201亿美元

    2021年 12月 9日
  • 「Pop SOTA!List for AI Developers 2021」社区评估 TOP 128 代价处事完整名录发布!

    2022 年初,我们对 2021 年度发布于 arXiv 的「SOTA」AI 论文进行了一轮分析,试图找到 2021 年度,对 AI 开发者最具代价的「Pop SOTA!」处事。但面对超过 2 万篇的「SOTA」处事,我们产生了疑惑 —— 自称「SOTA」的处事就一定是先进的吗?对广大 AI 开发者来说,什么样才是先进的技术处事?是思路具有启发性?还是跑出的实验分数高?是易于实现,对数据资源、计算资源的需求可控?还是放出的代码实现即插即用,可用性强?

    2022年 1月 27日
  • 这场较量,让上百个AI智能体「卷起来了」

    过去数年,随着神经网络、基于加强进修的自我博弈、多智能体进修和模仿进修等通用机器进修理论的突破,AI 智能体的计划才智实现了飞跃式发展。可以看到,不管是谷歌、微软、IBM 等全球科技巨头,还是国内一众 AI 龙头企业,在学术研究和产业落地上,它们的关注焦点都在从智能感知向智能计划过渡。「计划 AI」成了领域内的必争之地。今年 5 月,谷歌旗下的机构 DeepMind 发布 Gato,这款全新的 AI 智能体能够在「广泛的情况中」完成 604 项不同的任务。Gato 的诞生,再次刷新了单智能体的才智上限。当然,关于

    2022年 8月 19日
  • 智能汽车的事变数据,都会是抓不住的「幽魂」吗?

    特斯拉仍然深陷于舆论漩涡。纵使业界呼吁理性看待特斯拉「刹车门」事务,但这场风波很难在短时间内消弭,包括说服大众的究竟也很难一锤定音。为了寻找究竟,我们须要跨过两座大山。第一座大山是数据。目前,特斯拉向媒体公开的数据不全。多方隔靴搔痒,也只能在迷雾中分析造成事变的可能原因。下一步,只有等待更全的行车数据,以及车内EDR的纪录信息。第二座大山是检测机构。在行业内,暂时还不出台针对智能汽车检测的标准规范。同时,也很难找到有对应检测能力的第三方检测机构,他们既不审定智能电动汽车的设备,也缺乏相应的审定标准。在这件事情上

    2021年 5月 11日
  • 矩阵元获批“上海市分布式隐衷人工智能技巧革新焦点”

    近日,上海市科学技巧委员会发布了《关于2020年度上海市技巧革新焦点扶植立项的通知》,为贯彻落实《关于进一步深化科技体制机制改革 增强科技革新焦点策源能力的意见》,推进重点家产范畴技巧革新,经专家评审论证,确定将“上海市特种数控装备技巧革新焦点”等18家技巧革新焦点列入2020年度上海市技巧革新焦点扶植立项计划。矩阵元全资子公司上海阵方科技有限公司将承担“上海市分布式隐衷人工智能技巧革新焦点”的扶植工作。党的十九届四中全会提出将数据与资本、土地、知识、技巧和管理并列作

    2021年 3月 25日
  • Hologres揭秘:深度解析高效率分布式查问引擎

    Hologres(中文名交互式分析)是阿里云自研的一站式及时数仓,这个云原生体系融合了及时服务和分析大数据的场景,全面兼容PostgreSQL协议并与大数据生态无缝打通,能用同一套数据架构同时支持及时写入及时查问以及及时离线联邦分析。它的出现简化了业务的架构,与此同时为业务提供及时决策的能力,让大数据发挥出更大的商业价值。Hologres作为HSAP服务分析一体化的落地最佳实践,其查问引擎是一个完全自研的施行引擎,它的核心设计目标是支持所有类型的分布式分析和服务查问,并做到极致查问机能。为了做到这一点,我们借鉴了各

    2021年 8月 11日
  • 魔方电池如何“躺赢”?解锁荣威iMAX8 EV“头等舱”危险密码

    近期不时出现的电动车自燃事件,让新能源汽车的危险问题再登风口浪尖。一直以来,电池危险是新能源汽车用户最为关切的首要问题。消除电池危险隐患,从根本上化解用户的危险焦虑,是整体新能源汽车行业努力的方向。中国荣威旗下纯电奢华MPV荣威iMAX8 EV在危险性能方面,领先行业标准,采用上汽魔方电池,通过五重递进式的多层防备,不妨兑现整包零热失控。“头等舱”的危险感背后隐藏着哪些黑科技?8月10日,来自上汽创新研发总院捷能公司的电池技术专家们进行了一场电池解析直播课,生动地展示了魔方电池的危险之道。五

    2022年 8月 10日
  • 模型鲁棒性好不好,复旦大学一键式评测平台告诉你

    复旦大学自然言语处置惩罚实验室发布模型鲁棒性评测平台 TextFlint。该平台涵盖 12 项 NLP 使命,囊括 80 余种数据变形步骤,花费超 2 万 GPU 小时,进行了 6.7 万余次实验,考证约 100 种模型,选取约 10 万条变形后数据进行了言语合理性和语法正确性人工评测,为模型鲁棒性评测及提升提供了一站式解决方案。

    2021年 4月 6日
  • 百场讲演的万人峰会,AI开发者最应该看什么?(千元礼包现场抽)

    近年来,人工智能无疑是最火热的方向之一,想转行人工智能的小伙伴更是不在少数。但人工智能、机械进修的底层知识学起来显然是有门槛的,从编程语言开始,再到模型训练、调试,真是关关难过关关过,一关更比一关难……为了降低开发者的AI入门难度,更快、更好地解决其在动手阶段的难题,一直以来,亚马逊云科技都坚持将人工智能和机械进修打造为自己的核心竞争力。它不仅支持主流的机械进修框架,客户还可以通过容器部署的方式,自带机械进修框架;除了基于英伟达、英特尔、AMD、赛灵思等芯片厂商的最新处理器的强大算力,同

    2021年 7月 7日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注