时隔五年,普林斯顿大学经典书《在线凸优化导论》第二版发表

2016 年发表的《在线凸优化导论》第一版已成为领域内经典书籍。

凸优化是指在最小化(最大化)的优化要求下,目标函数是凸函数,且约束条件所形成的可行域集合是一个凸集的优化方法。由于能够顺序查询外部数据源,在线凸优化成为获得凸函数最佳解决方案的方法,并因其在大规模优化和机器学习中的可扩展性而得到了广泛的普及。

近日,由计算机科学家 Elad Hazan 撰写的经典书籍《在线凸优化导论(Introduction to Online Convex Optimization)》出版了第二版,第一版曾于 2016 年发表。

时隔五年,普林斯顿大学经典书《在线凸优化导论》第二版发表

第二版书籍链接:https://arxiv.org/pdf/1909.05207.pdf

与第一版类似,这本书将优化视为一个过程。在许多应用中,实际环境非常复杂,要建立一个全面的理论模型,使用经典的算法理论和数学优化是不可行的。因此应用优化方法,在观察问题更多方面的情况下进行学习,采用稳健的方法是非常必要的。这种将优化视为一个过程的观点已为各个领域广泛接受,在建模和多种系统上取得了巨大的成功。

随着机器学习、统计学、决策科学和数学优化方面的研究越来越多,确定性建模、随机建模和优化方法之间的界限逐渐模糊。该书沿着这一现实趋势,以在线凸优化 (OCO) 框架为例,讲解了 OCO 建模和解决的实际问题,涵盖严格的定义、背景和算法。

全书共包含 13 章的内容:

第 1、2 章介绍了在线凸优化的基础知识和基本概念;

第 3、4 章系统地介绍了两类在线凸优化的方法;

第 5 章介绍了正则化的内容;

第 6 章具体介绍了经典框架 Bandit 凸优化(BCO)的内容;

第 7 章讲解了无投影算法的内容;

第 8 章从博弈论的角度讲解在线凸优化理论;

第 9 章讲解了与在线凸优化有关的统计学习理论;

第 10 章介绍了在现实多变的环境中在线凸优化的实际应用问题;

第 11 章主要介绍了机器学习算法 boosting 和在线凸优化算法的衡量指标 regret;

第 12 章讲解了在线 boosting 方法及其用途;

第 13 章介绍了 Blackwell 可接近性定理。

以下是这本书的部分目录。

时隔五年,普林斯顿大学经典书《在线凸优化导论》第二版发表

时隔五年,普林斯顿大学经典书《在线凸优化导论》第二版发表

作者介绍

《在线凸优化导论》这本书的作者是美国计算机科学家、普林斯顿大学计算机科学系教授 Elad Hazan。

时隔五年,普林斯顿大学经典书《在线凸优化导论》第二版发表

Hazan 教授也是自适应梯度算法 AdaGrad 的作者之一。他主要从事机器学习和数学优化方面的研究工作,特别是学习机制的自动化及其有效算法的实现,并拥有多项专利。

相关资讯

DeepMind联合UCL,推出2021强化学习最新课程

DeepMind 的研究科学家和工程师亲自讲授了一套强化学习课程,目前已全部上线。DeepMind 作为全球顶级 AI 研究机构,自 2010 年创建以来已有多项世界瞩目的研究成果,例如击败世界顶级围棋玩家的 AlphaGo 和今年高效预测的蛋白质结构的 AlphaFold。近几年,DeepMind 联合伦敦大学学院(UCL)推出了一些人工智能线上课程,今年他们联合推出的「2021 强化学习系列课程」现已全部上线。该课程由 DeepMind 的研究科学家和工程师亲自讲授,旨在为学生提供对现代强化学习的全面介绍。课程

Judea Pearl推荐,UC伯克利研究者合著机器学习新书,可当研究生教材

前段时间,加州大学伯克利分校 Moritz Hardt 和 Benjamin Recht 合著的新书受到了广泛关注。这本书主要阐述了机器学习的模式、预测以及实现,并面向研究生使用。

经典教材《统计学习导论》第二版来了,新增深度学习等内容,免费下载

经典的《统计学习导论》又出第二版了,相比于第一版,新版增加了深度学习、生存分析、多重测试等内容,可免费下载。