近日，德克萨斯大学奥斯汀分校（UT Austin）的 CS388《自然说话处理》简明课程放出了全部视频，一共有 98 个视频。
视频地址：https://www.youtube.com/playlist?list=PLofp2YXfp7TZZ5c7HEChs0_wfEfewLDs7
这是一系列线上硕士课程，涵盖机器进修和 NLP 基础知识、模型（BERT、BART、T5、GPT-3 等）以及指令调优、思维链、说话与视觉等大型说话模型（LLM）相关的热点主题。
该系列课程分为以下 14 周来进修，我们一一来看。
第一周：课程简介和线性分类。具体内容包孕线性二元分类、情感分析与基本特征提取、进修基础与梯度下降、感知机、逻辑回归、情感分析、优化基础等。
第二周：多类与神经分类。具体内容包孕多类分类、多类感知机与逻辑回归、多类分类示例、分类公平性、神经网络及可视化、前馈神经网络与反向传播、神经网络实现、神经网络训练与优化。
第三周：词嵌入。具体内容包孕跳幅、词嵌入方法、词嵌入偏差、应用嵌入与深度平均网络。
第四周：说话建模与自注意力。具体内容包孕 N-Gram 说话建模及平滑、说话建模评估、自然说话模型、循环神经网络（RNN）及缺陷、注意力与自注意力、多头自注意力、位置编码。
第五周：Transformer 与解码。具体内容包孕 Transformer 架构、Transformer 说话建模、Transformer 扩展、束搜索。
第六周：预训练与序列到序列（seq2seq）说话建模。具体内容包孕 BERT 掩码说话建模、BERT 模型与应用、seq2seq 模型、BART、T5、词块与字节对编码。
第七 – 八周：结构化预测：词性与句法分析。具体内容包孕词性标注、序列标注以及利用分类器标注、隐马尔可夫模型（HMM）、HMM 参数估计与维特比算法、词性标注 HMM、成分句法分析、随机上下文无关文法、CKY 算法、精炼语法、依赖以及基于转换的依存句法分析。
第九周：现代大型说话模型（LLM）。具体内容包孕 GPT-3、零样本提示、少样本提示、上下文内进修（ICL）与感应头（induction head）、指令调优、基于人类反馈的强化进修（RLHF）、LLM 的事实性。
第十周：解释。具体内容包孕 NLP 可解释性、局部解释、模型探针、文本解释、思维链（CoT）及扩展与分析。
第十一周：问答与对话系统。具体内容包孕阅读理解初学、设置与基线、开放域问答、多跳问答、对话与聊天机器人、任务导向型对话、神经聊天机器人。
第十二周：机器翻译与纲要。具体内容包孕机器翻译初学、框架与评估、词对齐与 IBM 模型、基于短语的机器翻译、神经机器翻译与预训练机器翻译、纲要初学、抽取式纲要、预训练纲要及事实性。
第十三 – 十四周：多说话、说话基础与道德问题。具体内容包孕跨说话标注与解析、跨说话预训练、说话与视觉、道德偏差、自动标注的风险、不道德使用与前进的道路。
最后介绍一下课程主讲人 Greg Durrett，他是 UT Austin 计算机科学助理教授。
他的研究主要集中在 NLP 领域，其团队致力于改进获取和推理文本知识的技术。最近 GPT-4 等大型说话模型（LLM）极大推进了前沿研究，因此团队观察这些 AI 系统成功与失败的地方，以及如何进一步增强它们的能力，特别是通过构建那些将 LLM 用作原语的模块化 NLP 系统。
个人主页：https://www.cs.utexas.edu/~gdurrett/
课程主页：https://www.cs.utexas.edu/~gdurrett/courses/online-course/materials.html