ChatGPT们的幕后前驱,斯坦福老师Manning的四十年NLP生涯

Christopher Manning 虽已成 NLP 畛域前驱,却仍为 AI 大模型的未来殚精竭虑。今年 1 月份,2024 年度 IEEE 冯诺伊曼奖项结果正式公布,斯坦福大学说话学和计算机科学老师、AI 学者克里斯托弗・曼宁(Christopher Manning)获奖。曼宁老师是将深度进修应用于 NLP 畛域的晚期领军人物,在词向量 GloVe 模型、注意力、呆板翻译、问题解答、自监督模型预训练、树递归神经网络、呆板推理、依存解析、情感分析和总结等方面都有著名的研讨。他还专注于解析、自然说话推理和多说话说话

Christopher Manning 虽已成 NLP 畛域前驱,却仍为 AI 大模型的未来殚精竭虑。

今年 1 月份,2024 年度 IEEE 冯诺伊曼奖项结果正式公布,斯坦福大学说话学和计算机科学老师、AI 学者克里斯托弗・曼宁(Christopher Manning)获奖。

曼宁老师是将深度进修应用于 NLP 畛域的晚期领军人物,在词向量 GloVe 模型、注意力、呆板翻译、问题解答、自监督模型预训练、树递归神经网络、呆板推理、依存解析、情感分析和总结等方面都有著名的研讨。他还专注于解析、自然说话推理和多说话说话解决的计算说话学方法,目标是让计算机能够智能地解决、明白和生成人类说话。

可以说,在过去的四十多年里,他凭借对说话的终身热爱,一直在探索如何弥合人类和计算机的说话鸿沟。

此外,他还是斯坦福大学 Human-Centered 人工智能研讨所(HAI)的共同创始人、以及 2024 年 IEEE John von Neumann 奖章获得者。

ChatGPT们的幕后前驱,斯坦福老师Manning的四十年NLP生涯                         2024 年,曼宁老师获得由 IBM 赞助的 IEEE John von Neumann 奖章

最近,他所在的斯坦福大学发布了一篇专题文章,介绍了他的学术探索之路。

ChatGPT们的幕后前驱,斯坦福老师Manning的四十年NLP生涯

NLP 畛域的前驱

多年之后,曼宁老师仍记得自己想要研讨说话的那一刻,并自述了事先对说话学的启蒙过程:

「有一天,在高中英语课上,我偶然发现了我老师的一本书,这本书涉及人类说话结构和说话学,」他说。「我开始阅读它,了解到了国际音标,它提供了一套用于表示任何说话发音的通用符号。事先,我已经花了很多个小时进修英语单词的拼写,为了拼写考试,其中的许多单词在进修时都是很随意且奇怪的。此外,我还进修了一些法语和拉丁语。这是我事先看到的第一件能够捕捉到说话学指导思想的事物,通过研讨人类说话的共性并尝试在所有人类说话中产生一种共同的科学,是可以实现有用成果的。这也是我第一次开始作为本科生进修说话学的原因。」

四十年后,曼宁老师凭借对人类说话的持续热爱,以及前驱式地致力于帮助计算机进修、明白和生成说话,他成为自然说话解决(NLP)和呆板进修畛域的著名开创性人物。

斯坦福大学说话学和计算机科学老师 Dan Jurafsky 对曼宁老师的前驱生涯评价道:

「我会称 Chris 为一个极其有影响力的人物,在自然说话解决畛域可能是最有影响力的人物。他绝对是该畛域获得引用最多的人,几十年的研讨影响了包括我们最近的模型在内的一切。每个自然说话解决的学者都知道他的作品。」

ChatGPT们的幕后前驱,斯坦福老师Manning的四十年NLP生涯

                               斯坦福大学说话学和计算机科学老师 Dan Jurafsky 与曼宁老师同时授业自然说话解决课程的合影。

ChatGPT们的幕后前驱,斯坦福老师Manning的四十年NLP生涯

                                    曼宁老师在自然说话解决学术畛域中的论文引用和 H-index

预见呆板进修的转变

曼宁出生在澳大利亚昆士兰州的班达伯格市,他的父亲在 Fairymead 糖厂职业,负责维护、设计和建造机械。到了上高中时,全家已经搬到了澳大利亚首都堪培拉,他在那里得到了他的第一台计算机:先是借用了一台 TRS-80,最后得到了一台 Commodore Amiga。

在 80 年代中期,作为一名在澳大利亚国立大学(ANU)进修说话学、计算机科学和数学的本科生,曼宁已经对这些畛域的交叉点感到兴奋,并逐渐确信:晚期的 NLP 时代,即手写词汇表和语法规则的时代,即将结束。

当曼宁老师回忆起事先场景时,他说:「我开始相信,正如我一直以来所相信的,我们需要做的是找到一种方法让计算机进修东西,而不是为它们手写出语法、规则和词汇表,我们应该让它们从说话数据中进修。最后,在我看来,我应该尝试了解更多关于计算说话学 / 自然说话解决的知识,而在那时,美国正是去进修这些知识的地方。」

通过实践进修

在日本短暂老师英语后,曼宁老师接受了澳大利亚国立大学(ANU)说话学导师 Avery Andrews 的建议,申请了斯坦福大学。

他为了应对事先该校并未提供自然说话解决(NLP)的课程这一情况,选择作为说话学博士生入学,研讨人类说话的句法,同时开始在附近的 Xerox PARC 职业,在那里他进修了计算说话学,并与一群开始运用数字文本进行统计 NLP 研讨的人一起职业。

值得注意的是:这种数字文本事先才刚刚开始出现。

远在万维网出现之前,关于如何利用文本数据进行说话学研讨,曼宁老师提供了事先他的视角:

「虽然这是在万维网之前的事情,但你开始能够获得像报纸文章、议会记录和法律材料这样的文本,所以你可以找到几百万字的文本,计算机中心会将这些数据写入 10.5 英寸的磁带,然后将这些磁带物理运送给他们的客户。像施乐(Xerox、IBM 和 AT&T 这样从事计算说话学的公司可以从新闻机构购买这些磁带,或者从允许他们运用数据的商业客户那里获得这些磁带的访问权。这真的很令人兴奋,因为这意味着我们第一次可以通过实际拥有大量文本数据来进行说话学研讨,我们可以搜索这些数据中的模式,尝试自动进修人类说话的结构。」

在这段时间里,他对 1980 年代末开始的关于概率呆板进修模型的新职业也感到着迷,并洞察到了其潜力。这些统计模型是当今呆板进修的基本组成部分,它们考虑了现实世界数据固有的不确定性,并将之纳入预测中,从而允许对复杂系统有更准确的明白。

曼宁老师认为他成功的关键是愿意迅速投入到他认为将成功的重要新方法中。虽然他不是第一个看到从大量文本数据中进修并建立这些说话的概率模型的潜力的人,但由于在职业生涯的晚期就参与了这项职业,他才得以达成今天的成就。

关键的晚期职业

完成博士学位后,他成为卡内基梅隆大学(Carnegie Mellon University)第一位老师统计 NLP 的教员,在两年后选择与妻子 Jane 一起返回澳大利亚,在悉尼大学老师说话学。

然而,到了 1999 年,他作为助理老师回到了斯坦福大学,同时在说话学和计算机科学系任职。1980 年代中期就已经被积极探索的人工神经网络到了 2010 年,再次变得重要,曼宁老师再次拥抱了新技术的前景。

他强烈主张可以在自然说话解决中运用这些神经网络来明白句子,包括它们的结构和含义,最后曼宁老师和他的学生真的推动了这个想法,并成为这些神经网络在自然说话明白发展和运用中的关键。

在事先,他开始认真地运用这些网络来建模说话,着手建立能够解决说话明白问题的系统,比如判断某人所说的是积极的还是消极的,并最后做了很多关于运用神经网络方法进修人类说话的晚期职业,这涉及到让这些模型明白、生成和翻译说话。

曼宁老师在 2010 年代关于将单词表示为实数向量,以及运用简单的注意力函数对单词之间的关系进行建模的职业,成为了今天运用的像 ChatGPT 这样的大型说话模型的前置基础。

关于他对计算机科学的巨大贡献,斯坦福大学计算机科学老师 Percy Liang 表示:「今天,我们显然应该在 NLP 中运用深度进修,但在 2010 年代初,这个想法遭到了激烈的抵制。但他仍做了重要的晚期职业,展示了深度进修如何比之前需要大量特征工程的呆板进修模型职业得更好。这最后促使了我们今天认为理所当然的现代 NLP 系统的发展。Chris 有远见,思考了它最后将如何具有变革性。」

创建可访问的 NLP 软件

曼宁老师至今的其他重要贡献包括:一系列帮助定义计算说话学畛域的教科书、在 YouTube 上的在线 CS224N 视频课程、一个提供跨不同说话的一致性语法注释的框架 —Universal Dependencies、为明白说话结构在说话解决中的作用的持续且必要的研讨、以及致力于使 NLP 软件对所有人可访问的晚期承诺。

ChatGPT们的幕后前驱,斯坦福老师Manning的四十年NLP生涯

                                图注;斯坦福 Online CS224N NLP 视频课程

视频课程链接:https://www.youtube.com/watch?v=rmVRLeJRkl4&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4

斯坦福大学说话学和计算机科学老师 Jurafsky 对在曼宁老师在神经网络方面的研讨表示:「现在人们可以简单地去网上,下载一个软件,然后建立一个神经网络。但是 20 或 30 年前,这并不是常态。Chris 和他的实验室在几十年前就建立了公开可访问的 NLP 软件库,并将其在线发布,并且一直推动这种方式成为世界的标准。今天,开源 NLP 软件的概念已经成为常态。」

目前曼宁老师也表示自己将继续努力创建具有对世界及其多种说话更深入明白的深度进修模型。

因为对他来说,人类说话是一件大众仍然不真正明白的惊人事物。但令人惊讶的是,婴儿不知怎么就弄明白了,小孩子最后能够从大约 5000 万个人类说话词汇中学会成为优秀的说话运用者。

而他们给最好的大说话模型展示了数万亿个词汇。从结果上来看,人类仍然更聪明。这是一个迷人的问题,建立计算机模型似乎是开始思考这个问题的一个富有成效的窗口。

参考链接:https://engineering.stanford.edu/magazine/laying-foundation-todays-generative-ai?sf187930028=1

AI

从质料计划分解,到催化剂创新、碳中和,清华王笑楠团队探索「AI+质料」前沿与落地

2024-4-29 16:35:00

AI

仅用250美元,Hugging Face技术主管手把手教你微调Llama 3

2024-5-6 14:41:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索