最近,图灵奖得主、贝叶斯网络之父 Judea Pearl 发推表示,收到了 Moritz Hardt 和 Benjamin Recht 合著新书《PATTERNS, PREDICTIONS, AND ACTIONS: A story about machine learning》的书稿,并赞扬这本书组织结构很好,清晰地引见了多种思想的起源,甚至有两个章节与因果关系有关。
书引见
这是一本关于机械进修的研究生教材,引见了数据模式如何支持预测及其后续行为。
该书从决议基础开始,涵盖了表示、优化和泛化这些监视进修的组成部分。此外,本书还用专门的章节引见了数据集、因果关系、因果推理理论、序列决议、强化进修等。这本书适合不同背景的读者,不过读者需要掌握一些数学知识,如微积分、线性代数、概率等。
书地址:https://arxiv.org/pdf/2102.05242.pdf
版本更新地址:https://mlstory.org/
作者表示,这本书既包孕用经典框架看待新事物,也包含对旧事物的新视角。
作为一本教科书,这本书在很多方面与机械进修常用的教学方式不同,次要表现在以下几点:
首先,该书强调数据集在机械进修畛域的重要性;
第二,该书包含了对因果关系和因果推理理论的现代引见,解决了该畛域过时的争议;
第三,该书全面引见了序列模型和动静模型;
最后,书作者多次强调机械进修的潜在危害、局限性和社会后果。
书结构
这本书共有 14 个章节,章节目录如下:
该书首先从决议知识讲起,次要包孕贝叶斯二元假设检验、似然比检验典型案例、错误和成功的类型、奈曼 – 皮尔逊引理、ROC 曲线的性质等。
第 3 章:监视进修,次要包孕样本与总体、监视进修、感知机等。
第 4 章:表示和特征,次要包孕度量、量化、模板匹配、非线性预测器等。
第 5 章:优化,次要包孕优化基础、梯度下降、经验风险最小化的应用、对二次函数梯度法收敛性的见解、随机梯度下降、随机梯度法分析、正则化等。
第 6 章:泛化,次要包孕泛化差距(Generalization gap)、过参数化、泛化理论、算法稳定性、模型复杂性与一致收敛等。
第 7 章:深度进修,次要包孕深度模型与特征表示、深度网络的优化、梯度消失、深度进修中的泛化等。
第 8 章:数据集,次要引见了机械进修基准的科学依据、不同畛域的数据集引见、与数据相关的危害、数据和预测的局限性等。
第 9 章:因果关系,次要引见了因果模型、因果图、反事实等。
第 10 章:理论中的因果推理,次要包孕设计与推理、观测基础:调整与控制、因果推理在理论中的局限性等。
第 11 章:序列决议与动静规划,次要包孕从预测到行为、动静系统、最优序列决议、动静规划、计算等。
第 12 章:强化进修,次要包孕 PAC 进修、近似动静规划等。
作者引见
个人主页:https://www2.eecs.berkeley.edu/Faculty/Homepages/mhardt.html
本书的作者是来自加州大学伯克利分校的学者 Moritz Hardt 和 Benjamin Recht。
Moritz Hardt 是加州大学伯克利分校电气工程与计算机科学系的助理教授。他的研究目标是使机械进修的理论更具鲁棒性、可靠性,并与社会价值观保持一致。
他于 2011 年获得普林斯顿大学计算机科学博士学位,后在 IBM 爱曼登研究中心做博士后学者和研究员,并在 Google Research 和 Google Brain 做了两年研究科学家。
另一位作者 Benjamin Recht 是加州大学伯克利分校电气工程与计算机科学系副教授。其次要研究畛域是人工智能、CIR(控制、智能系统与机械人)、信号处理、机械进修、优化。
个人主页:https://www2.eecs.berkeley.edu/Faculty/Homepages/brecht.html