斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

AI Index 表明 AI 世界正在进入一个新的发展阶段。

在人工智能领域,由斯坦福大学发起的人工智能指数(AI Index)是一个追踪 AI 动态和进展的非营利性项目,旨在全面钻研 AI 行业状况,促进基于数据的 AI 广泛交流和有效对话。

现在,2023 AI Index 年度报告新鲜出炉。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

报告地址:https://aiindex.stanford.edu/wp-content/uploads/2023/04/HAI_AI-Index_Report_2023.pdf

AI Index 表明 AI 世界正在进入一个新的发展阶段。在过去的一年里,大量 AI 工具已经成为主流,从 ChatGPT 等聊天机器人到 Midjourney 等图像生成软件。但是关于如何部署这项技术以及如何平衡风险和机会的决定权牢牢掌握在企业参与者手中。AI Index 还指出,多年来,学术界在开发最先进的 AI 系统方面处于领先地位,但现在工业界已经牢牢接管。

AI Index 共分为八章,下面我们看看报告的主要内容。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

1. 钻研与开发

本章主要介绍 AI 研发趋势。分为 AI 出版物,包括期刊文章、会议论文和存储库,然后介绍大型谈话模型和多模态模型等。

图 1.1.1 展示了全球 AI 出版物的数目:从 2010 年到 2021 年,总数目翻了一番多,数据显示从 2010 年的 20 万减短到 2021 年的近 50 万。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

按照专业方向来分,图 1.1.3 表明模式识别和机器进修方面的出版物在过去五年中减短最快。自 2015 年此后,模式识别方面的论文数目大约翻了一番,而机器进修论文的数目大约翻了两番。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

跨国合作:图 1.1.6 和 1.1.7 描述了 2010 年至 2021 年最大规模的跨国 AI 合作。结果表明,过去 12 年中中美合作次数最多,自 2010 年此后减短了大约四倍。然而,从 2020 年到 2021 年,中美合作总数仅减短了 2.1%。2021 年,美国和中国之间的合作数目是英国和中国的 2.5 倍。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

AI 期刊论文的发表数目,中国始终保持领先地位,2021 年为 39.8%,其次是欧盟和英国(15.1%),然后是美国(10.0%)。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

被引次数:自 2010 年此后,中国在 AI 期刊出版物中的引用份额逐渐添加,而欧盟和英国以及美国的引用份额则有所下降 (图 1.1.12)。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

AI 会议出版物:AI 出版物数目在 2019 年达到峰值 (图 1.1.13)。2021 年 AI 会议的出版物总数为 85094 篇,略高于 2010 年的 75592 篇。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

2021 年,中国在全球 AI 会议出版物中所占份额最大,为 26.2%,2017 年开始超过欧盟和英国,美国以 17.2% 排在第三位 (图 1.1.15)。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

模型参数趋势( 按照学术、工业等划分 ):参数是模型在训练过程中进修到的数值。随着时间的推移,参数的数目一直在稳步添加,自 2010 年此后,这一减短变得尤为明显。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

过去五年里,重要的人工智能机器进修系统使用的计算量呈指数级减短(图 1.2.11):

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

自 2010 年此后,在所有机器进修系统中,谈话模型需要最多的计算资源:

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

下图是对大型谈话模型和多模态模型作者的国家从属关系进行了分析,这些钻研人员主要来自美国机构 (54.2%)(图 1.2.13)。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

图 1.2.14 提供了自 GPT-2 此后宣布的大型谈话模型和多模态模型的时间线视图,以及宣布这些模型的钻研人员的国家隶属关系。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

随着时间的推移,新宣布的大谈话和多模态模型的参数数目大幅添加。例如,2019 年宣布的第一个大型谈话和多模态模型 GPT-2 只有 15 亿参数。谷歌在 2022 年宣布的 PaLM 有 5400 亿,是 GPT-2 的近 360 倍。在大谈话和多模态模型中,参数的中位数随时间呈指数减短 (图 1.2.15)。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

此外,大型谈话和多模态模型的训练计算量也在稳步添加(图 1.2.16):

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

AI Index 钻研团队对训练成本进行了估算 (图 1.2.17)。这些估计是基于模型作者披露的硬件和训练时间完成的。例如 GPT-2 于 2019 年宣布,被认为是第一个大型谈话模型,拥有 15 亿个参数,估计需要 50,000 美元的训练费用。仅仅三年后,PaLM 推出了 5400 亿个参数,估计耗资 800 万美元。不仅仅是 PaLM:从整体上看,大型谈话和多模态模型正变得愈来愈大、愈来愈昂贵。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

2. 技术性能

本章总结了计算机视觉、谈话、语音、强化进修和硬件方面的进展。

图像分类:截至 2022 年,ImageNet 数据集上的 top-1 准确率已经达到 91.0%:

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

人脸检测与识别:许多模型在面部识别系统准确率接近 100%,即使是在具有挑战性的数据集上:

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

谈话:在  SuperGLUE 基准上,模型拿到 91.3 ,比人类基线高出 1.5 个百分点:

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

模型在文本摘要上的表现:

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

此外,达到基准饱和的速度正在添加。然而,新的、更全面的基准测试套件,如 BIG-bench 和 HELM 正在宣布。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

在提交给 MLPerf 的硬件系统使用的加速器数目的数据表明,更强的硬件正在为减少训练时间提供动力 (图 2.7.2):

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

图 2.7.7 展示了从 2003 年到 2022 年宣布的不同 GPU 的 FP32 性能。FLOP/s 越高,硬件越好。图 2.7.8 显示了按宣布日期划分的新 GPU 单项性能中值,该值逐年上升。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

3. 关于伦理方面的钻研

机器进修中的公平、偏见和道德仍然是钻研人员和从业者感兴趣的话题。随着创建和部署生成式人工智能系统的技术门槛大幅降低,围绕人工智能的道德问题也变得更加明显。

根据追踪人工智能道德滥用相关事件的 AIAAIC 数据库,从 2012 年开始,人工智能事件和争议的数目添加了 26 倍。这种减短既证明了对人工智能技术的更多使用,也证明了对滥用可能性的认识。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

对这部分内容感兴趣的读者可以参考原报告。

4. 经济

AI 系统技术能力的提高使得企业、政府和其他组织的人工智能部署率更高。人工智能与经济的高度融合既令人兴奋又令人担忧。本章使用来自 Lightcast、LinkedIn、McKinsey、Deloitte 和 NetBase Quid 以及国际机器人联合会 (IFR) 的数据来钻研与 AI 相关的经济趋势。 

图 4.1.1 显示了在一些职位中,需要某种 AI 技能的百分比。在 2022 年,按照这一指标排名前三的国家是美国 (2.1%)、加拿大 (1.5%) 和西班牙 (1.3%)。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

图 4.1.2 展示了自 2010 年此后美国劳动力市场最受欢迎的 AI 技能集群。最受欢迎的技能集群是机器进修 (1.0%),其次是人工智能 (0.6%) 和自然谈话处理 (0.2%)。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

图 4.1.3 和 4.1.4 展示了与 2010-20122 年相比,2022 年 AI 职位宣布所需的十大专业技能。就绝对水平而言,与十年前相比,现在对几乎所有专业技能的需求都更大。对 Python 的需求减短尤为显着,这证明它作为一种 AI 编码谈话愈来愈受欢迎。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

5. 教育

人工智能专业愈来愈多。美国大学计算机科学类博士毕业生中 AI 专业的比率从 2010 年的 10.2% 到 2020 年的 14.9% 跃升至 2021 年的 19.1%。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

AI 博士毕业生愈来愈多地前往业界工作。2011 年,AI 博士毕业生在学界 (41.6%) 与业界 (40.9%) 的就业比率大致相同。之后,大多数 AI 博士毕业生都进入业界工作。2021 年,65.4% 的 AI 博士在业界就业,是在学界就业的 28.2% 的两倍还多。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

北美 CS、CE 和信息系新聘用教职员工的比率基本持平。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

具体来说,过去十年,北美计算机科学 (CS)、计算机工程 (CE) 和信息系新聘用的教职员工总数目有所下降:2021 年的聘用总数为 710 人,而 2012 年为 733 人。同样, tenure-track 招聘人数在 2019 年达到顶峰,为 422 人,然后在 2021 年降至 324 人。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

美国私立和公立教育机构计算机科学系在外部钻研资金方面的差距继续扩大。2011 年,美国私立和公立 CS 系用于计算钻研的外部资源总支出的中位数大致相同。从那以后,差距愈来愈大,私立计算机科学系获得的额外资金比公立大学多出数百万美元。2021 年,私立大学的支出中位数为 970 万美元,而公立大学的支出中位数为 570 万美元。

美国和世界其他地区对 K-12 人工智能和计算机科学教育的兴趣都在减短。2021 年,美国学生共参加了 181040 次 AP 计算机科学考试,比上年减短 1.0%。2021 年 AP 计算机科学考试的数目添加至 2007 年的九倍。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

截至 2021 年,包括比利时、中国和韩国在内的 11 个国家 / 地区已正式认可并实施 K-12 AI 课程。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

6. 政策与治理

政策制定者对人工智能的兴趣正在上升。AI Index 对 127 个国家 / 地区的立法记录进行了分析统计,通过并成为法律的人工智能相关法案数目从 2016 年的 1 项添加到 2022 年的 37 项。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

对 81 个国家 / 地区关于 AI 的议会记录的分析同样显示,自 2016 年此后,全球立法程序中提及 AI 的次数添加至原来的 6.5 倍。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

美国通过了比以往更多的人工智能法案。2021 年,美国所有联邦 AI 法案中只有 2% 通过成为法律。这一数字在 2022 年跃升至 10%。类似地,2022 年所有州级 AI 法案中有 35% 获得通过成为法律。

此外,自 2017 年此后,美国政府与人工智能相关的合同(Contract)支出减短至原来的 2.5 倍。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

法律界审理了更多人工智能相关案件。2022 年,美国各州和联邦法院审理了 110 起与人工智能相关的法律案件,大约是 2016 年的 7 倍。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

这些案件大部分发生在加利福尼亚州、伊利诺伊州和纽约州,涉及民事法、知识产权法、合同法。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

7. 多样性

北美计算机科学专业的学士、硕士和博士生的种族愈来愈多样化。尽管白人学生仍然占多数,但其他种族的学生也愈来愈多,包括亚裔、西班牙裔、黑人或非裔美国人。例如 2011 年,71.9% 的 CS 学士毕业生是白人。到 2021 年,这一数字下降到 46.7%。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

在性别比率方面,AI 博士仍然绝大多数是男性。2021 年,78.7% 的 AI 博士毕业生是男性。只有 21.3% 是女性,比 2011 年添加了 3.2 个百分点。人工智能高等教育仍然存在性别失衡。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

女性在 CS、CE 和信息系教职员工中所占比率愈来愈大。自 2017 年此后,新招聘的 CS、CE 和信息系女教师的比率从 24.9% 添加到 30.2%。尽管如此,北美大学中的大多数 CS、CE 和信息系教师都是男性 (75.9%)。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

值得一提的是,美国 K-12 计算机科学教育在性别和种族方面变得更加多样化。女性学生参加 AP 计算机科学考试的比率从 2007 年的 16.8% 添加到 2021 年的 30.6%。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

与上一年同期相比,亚裔、西班牙裔、拉丁裔等种族的学生参加 AP 计算机科学考试的比率也有所添加。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

8. 舆论

AI Index 借用 2022 IPSOS 的调查数据,分析了人们对人工智能产品和服务的看法。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

中国人是对人工智能产品和服务看法最积极的人群之一。在 2022 年的 IPSOS 调查中,78% 的中国受访者(在接受调查的国家/地区中比率最高)同意使用人工智能产品和服务利大于弊的观点。其次,来自沙特阿拉伯(76%)和印度(71%)的受访者对人工智能产品的看法比较积极。而美国受访者中只有 35% (在接受调查的国家/地区中比率最低)的人同意使用 AI 产品和服务利大于弊的观点。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

另外,男性往往比女性对人工智能产品和服务的看法更积极。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

值得注意的是,近期有几个大模型爆火的自然谈话处理处理领(NLP)域,大多数钻研者都认为 NLP 领域存在一些普遍问题。

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

感兴趣的读者可以参考 2023 AI Index 原文,了解更多报告细节。

给TA打赏
共{{data.count}}人
人已打赏
AI

这款编译器能让Python和C++一样快:最高提速百倍,MIT出品

2023-4-3 14:52:00

AI

用ChatGPT训练羊驼:「白泽」开源,轻松构建专属模型,可在线试玩

2023-4-4 15:20:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索