Christopher Manning 虽已成 NLP 规模前驱，却仍为 AI 大模型的未来殚精竭虑。
今年 1 月份，2024 年度 IEEE 冯诺伊曼奖项结果正式公布，斯坦福大学谈话学和计算机科学老师、AI 学者克里斯托弗・曼宁（Christopher Manning）获奖。
曼宁老师是将深度进修应用于 NLP 规模的晚期领军人物，在词向量 GloVe 模型、注意力、机械翻译、问题解答、自监督模型预训练、树递归神经网络、机械推理、依存解析、情感分析和总结等方面都有著名的研讨。他还专注于解析、自然谈话推理和多谈话谈话处置的计算谈话学方法，目标是让计算机能够智能地处置、了解和生成人类谈话。
可以说，在过去的四十多年里，他凭借对谈话的终身热爱，一直在探索如何弥合人类和计算机的谈话鸿沟。
此外，他还是斯坦福大学 Human-Centered 人工智能研讨所（HAI）的共同创始人、以及 2024 年 IEEE John von Neumann 奖章获得者。
2024 年，曼宁老师获得由 IBM 赞助的 IEEE John von Neumann 奖章
最近，他所在的斯坦福大学发布了一篇专题文章，介绍了他的学术探索之路。
NLP 规模的前驱
多年之后，曼宁老师仍记得自己想要研讨谈话的那一刻，并自述了其时对谈话学的启蒙过程：
「有一天，在高中英语课上，我偶然发现了我老师的一本书，这本书涉及人类谈话结构和谈话学，」他说。「我开始阅读它，了解到了国际音标，它提供了一套用于表示任何谈话发音的通用符号。其时，我已经花了很多个小时进修英语单词的拼写，为了拼写考试，其中的许多单词在进修时都是很随意且奇怪的。此外，我还进修了一些法语和拉丁语。这是我其时看到的第一件能够捕捉到谈话学指导思想的事物，通过研讨人类谈话的共性并尝试在所有人类谈话中产生一种共同的科学，是可以实现有用成果的。这也是我第一次开始作为本科生进修谈话学的原因。」
四十年后，曼宁老师凭借对人类谈话的持续热爱，以及前驱式地致力于帮助计算机进修、了解和生成谈话，他成为自然谈话处置（NLP）和机械进修规模的著名开创性人物。
斯坦福大学谈话学和计算机科学老师 Dan Jurafsky 对曼宁老师的前驱生涯评价道：
「我会称 Chris 为一个极其有影响力的人物，在自然谈话处置规模可能是最有影响力的人物。他绝对是该规模获得引用最多的人，几十年的研讨影响了包括我们最近的模型在内的一切。每个自然谈话处置的学者都知道他的作品。」
斯坦福大学谈话学和计算机科学老师 Dan Jurafsky 与曼宁老师同时授业自然谈话处置课程的合影。
曼宁老师在自然谈话处置学术规模中的论文引用和 H-index
预见机械进修的转变
曼宁出生在澳大利亚昆士兰州的班达伯格市，他的父亲在 Fairymead 糖厂歇息，负责维护、设计和建造机械。到了上高中时，全家已经搬到了澳大利亚首都堪培拉，他在那里得到了他的第一台计算机：先是借用了一台 TRS-80，最后得到了一台 Commodore Amiga。
在 80 年代中期，作为一名在澳大利亚国立大学（ANU）进修谈话学、计算机科学和数学的本科生，曼宁已经对这些规模的交叉点感到兴奋，并逐渐确信：晚期的 NLP 时代，即手写词汇表和语法规则的时代，即将结束。
当曼宁老师回忆起其时场景时，他说：「我开始相信，正如我一直以来所相信的，我们需要做的是找到一种方法让计算机进修东西，而不是为它们手写出语法、规则和词汇表，我们应该让它们从谈话数据中进修。最后，在我看来，我应该尝试了解更多关于计算谈话学 / 自然谈话处置的知识，而在那时，美国正是去进修这些知识的地方。」
通过实践进修
在日本短暂老师英语后，曼宁老师接受了澳大利亚国立大学（ANU）谈话学导师 Avery Andrews 的建议，申请了斯坦福大学。
他为了应对其时该校并未提供自然谈话处置（NLP）的课程这一情况，选择作为谈话学博士生入学，研讨人类谈话的句法，同时开始在附近的 Xerox PARC 歇息，在那里他进修了计算谈话学，并与一群开始运用数字文本进行统计 NLP 研讨的人一起歇息。
值得注意的是：这种数字文本其时才刚刚开始出现。
远在万维网出现之前，关于如何利用文本数据进行谈话学研讨，曼宁老师提供了其时他的视角：
「虽然这是在万维网之前的事情，但你开始能够获得像报纸文章、议会记录和法律材料这样的文本，所以你可以找到几百万字的文本，计算机中心会将这些数据写入 10.5 英寸的磁带，然后将这些磁带物理运送给他们的客户。像施乐（Xerox、IBM 和 AT&T 这样从事计算谈话学的公司可以从新闻机构购买这些磁带，或者从允许他们运用数据的商业客户那里获得这些磁带的访问权。这真的很令人兴奋，因为这意味着我们第一次可以通过实际拥有大量文本数据来进行谈话学研讨，我们可以搜索这些数据中的模式，尝试自动进修人类谈话的结构。」
在这段时间里，他对 1980 年代末开始的关于概率机械进修模型的新歇息也感到着迷，并洞察到了其潜力。这些统计模型是当今机械进修的基本组成部分，它们考虑了现实世界数据固有的不确定性，并将之纳入预测中，从而允许对复杂系统有更准确的了解。
曼宁老师认为他成功的关键是愿意迅速投入到他认为将成功的重要新方法中。虽然他不是第一个看到从大量文本数据中进修并建立这些谈话的概率模型的潜力的人，但由于在职业生涯的晚期就参与了这项歇息，他才得以达成今天的成就。
关键的晚期歇息
完成博士学位后，他成为卡内基梅隆大学（Carnegie Mellon University）第一位老师统计 NLP 的教员，在两年后选择与妻子 Jane 一起返回澳大利亚，在悉尼大学老师谈话学。
然而，到了 1999 年，他作为助理老师回到了斯坦福大学，同时在谈话学和计算机科学系任职。1980 年代中期就已经被积极探索的人工神经网络到了 2010 年，再次变得重要，曼宁老师再次拥抱了新技术的前景。
他强烈主张可以在自然谈话处置中运用这些神经网络来了解句子，包括它们的结构和含义，最后曼宁老师和他的学生真的推动了这个想法，并成为这些神经网络在自然谈话了解发展和运用中的关键。
在其时，他开始认真地运用这些网络来建模谈话，着手建立能够解决谈话了解问题的系统，比如判断某人所说的是积极的还是消极的，并最后做了很多关于运用神经网络方法进修人类谈话的晚期歇息，这涉及到让这些模型了解、生成和翻译谈话。
曼宁老师在 2010 年代关于将单词表示为实数向量，以及运用简单的注意力函数对单词之间的关系进行建模的歇息，成为了今天运用的像 ChatGPT 这样的大型谈话模型的前置基础。
关于他对计算机科学的巨大贡献，斯坦福大学计算机科学老师 Percy Liang 表示：「今天，我们显然应该在 NLP 中运用深度进修，但在 2010 年代初，这个想法遭到了激烈的抵制。但他仍做了重要的晚期歇息，展示了深度进修如何比之前需要大量特征工程的机械进修模型歇息得更好。这最后促使了我们今天认为理所当然的现代 NLP 系统的发展。Chris 有远见，思考了它最后将如何具有变革性。」
创建可访问的 NLP 软件
曼宁老师至今的其他重要贡献包括：一系列帮助定义计算谈话学规模的教科书、在 YouTube 上的在线 CS224N 视频课程、一个提供跨不同谈话的一致性语法注释的框架 —Universal Dependencies、为了解谈话结构在谈话处置中的作用的持续且必要的研讨、以及致力于使 NLP 软件对所有人可访问的晚期承诺。
图注；斯坦福 Online CS224N NLP 视频课程
视频课程链接：https://www.youtube.com/watch?v=rmVRLeJRkl4&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4
斯坦福大学谈话学和计算机科学老师 Jurafsky 对在曼宁老师在神经网络方面的研讨表示：「现在人们可以简单地去网上，下载一个软件，然后建立一个神经网络。但是 20 或 30 年前，这并不是常态。Chris 和他的实验室在几十年前就建立了公开可访问的 NLP 软件库，并将其在线发布，并且一直推动这种方式成为世界的标准。今天，开源 NLP 软件的概念已经成为常态。」
目前曼宁老师也表示自己将继续努力创建具有对世界及其多种谈话更深入了解的深度进修模型。
因为对他来说，人类谈话是一件大众仍然不真正了解的惊人事物。但令人惊讶的是，婴儿不知怎么就弄明白了，小孩子最后能够从大约 5000 万个人类谈话词汇中学会成为优秀的谈话运用者。
而他们给最好的大谈话模型展示了数万亿个词汇。从结果上来看，人类仍然更聪明。这是一个迷人的问题，建立计算机模型似乎是开始思考这个问题的一个富有成效的窗口。
参考链接：https://engineering.stanford.edu/magazine/laying-foundation-todays-generative-ai?sf187930028=1