最近,图灵奖得主、贝叶斯网络之父 Judea Pearl 发推表示,收到了 Moritz Hardt 和 Benjamin Recht 合著新书《PATTERNS, PREDICTIONS, AND ACTIONS: A story about machine learning》的书稿,并赞扬这本书组织结构很好,清晰地介绍了多种思想的起源,甚至有两个章节与因果关系有关。
书籍介绍
这是一本关于机器学习的研究生教材,介绍了数据模式如何支持预测及其后续行为。
该书从决策基础开始,涵盖了表示、优化和泛化这些监督学习的组成部分。此外,本书还用专门的章节介绍了数据集、因果关系、因果推理实践、序列决策、强化学习等。这本书适合不同背景的读者,不过读者需要掌握一些数学知识,如微积分、线性代数、概率等。
书籍地址:https://arxiv.org/pdf/2102.05242.pdf
版本更新地址:https://mlstory.org/
作者表示,这本书既包括用经典框架看待新事物,也包含对旧事物的新视角。
作为一本教科书,这本书在很多方面与机器学习常用的教学方式不同,主要表现在以下几点:
首先,该书强调数据集在机器学习领域的重要性;
第二,该书包含了对因果关系和因果推理实践的现代介绍,解决了该领域过时的争议;
第三,该书全面介绍了序列模型和动态模型;
最后,书籍作者多次强调机器学习的潜在危害、局限性和社会后果。
书籍结构
这本书共有 14 个章节,章节目录如下:
该书首先从决策知识讲起,主要包括贝叶斯二元假设检验、似然比检验典型案例、错误和成功的类型、奈曼 - 皮尔逊引理、ROC 曲线的性质等。
第 3 章:监督学习,主要包括样本与总体、监督学习、感知机等。
第 4 章:表示和特征,主要包括度量、量化、模板匹配、非线性预测器等。
第 5 章:优化,主要包括优化基础、梯度下降、经验风险最小化的应用、对二次函数梯度法收敛性的见解、随机梯度下降、随机梯度法分析、正则化等。
第 6 章:泛化,主要包括泛化差距(Generalization gap)、过参数化、泛化理论、算法稳定性、模型复杂性与一致收敛等。
第 7 章:深度学习,主要包括深度模型与特征表示、深度网络的优化、梯度消失、深度学习中的泛化等。
第 8 章:数据集,主要介绍了机器学习基准的科学依据、不同领域的数据集介绍、与数据相关的危害、数据和预测的局限性等。
第 9 章:因果关系,主要介绍了因果模型、因果图、反事实等。
第 10 章:实践中的因果推理,主要包括设计与推理、观测基础:调整与控制、因果推理在实践中的局限性等。
第 11 章:序列决策与动态规划,主要包括从预测到行为、动态系统、最优序列决策、动态规划、计算等。
第 12 章:强化学习,主要包括 PAC 学习、近似动态规划等。
作者介绍
个人主页:https://www2.eecs.berkeley.edu/Faculty/Homepages/mhardt.html
本书的作者是来自加州大学伯克利分校的学者 Moritz Hardt 和 Benjamin Recht。
Moritz Hardt 是加州大学伯克利分校电气工程与计算机科学系的助理教授。他的研究目标是使机器学习的实践更具鲁棒性、可靠性,并与社会价值观保持一致。
他于 2011 年获得普林斯顿大学计算机科学博士学位,后在 IBM 爱曼登研究中心做博士后学者和研究员,并在 Google Research 和 Google Brain 做了两年研究科学家。
另一位作者 Benjamin Recht 是加州大学伯克利分校电气工程与计算机科学系副教授。其主要研究领域是人工智能、CIR(控制、智能系统与机器人)、信号处理、机器学习、优化。
个人主页:https://www2.eecs.berkeley.edu/Faculty/Homepages/brecht.html