时隔五年,普林斯顿大学经典书《在线凸优化导论》第二版发表

2016 年发表的《在线凸优化导论》第一版已成为领域内经典书籍。

凸优化是指在最小化(最大化)的优化要求下,目标函数是凸函数,且约束条件所形成的可行域集合是一个凸集的优化方法。由于能够顺序查询外部数据源,在线凸优化成为获得凸函数最佳解决方案的方法,并因其在大规模优化和机器学习中的可扩展性而得到了广泛的普及。

近日,由计算机科学家 Elad Hazan 撰写的经典书籍《在线凸优化导论(Introduction to Online Convex Optimization)》出版了第二版,第一版曾于 2016 年发表。

时隔五年,普林斯顿大学经典书《在线凸优化导论》第二版发表

第二版书籍链接:https://arxiv.org/pdf/1909.05207.pdf

与第一版类似,这本书将优化视为一个过程。在许多应用中,实际环境非常复杂,要建立一个全面的理论模型,使用经典的算法理论和数学优化是不可行的。因此应用优化方法,在观察问题更多方面的情况下进行学习,采用稳健的方法是非常必要的。这种将优化视为一个过程的观点已为各个领域广泛接受,在建模和多种系统上取得了巨大的成功。

随着机器学习、统计学、决策科学和数学优化方面的研究越来越多,确定性建模、随机建模和优化方法之间的界限逐渐模糊。该书沿着这一现实趋势,以在线凸优化 (OCO) 框架为例,讲解了 OCO 建模和解决的实际问题,涵盖严格的定义、背景和算法。

全书共包含 13 章的内容:

第 1、2 章介绍了在线凸优化的基础知识和基本概念;

第 3、4 章系统地介绍了两类在线凸优化的方法;

第 5 章介绍了正则化的内容;

第 6 章具体介绍了经典框架 Bandit 凸优化(BCO)的内容;

第 7 章讲解了无投影算法的内容;

第 8 章从博弈论的角度讲解在线凸优化理论;

第 9 章讲解了与在线凸优化有关的统计学习理论;

第 10 章介绍了在现实多变的环境中在线凸优化的实际应用问题;

第 11 章主要介绍了机器学习算法 boosting 和在线凸优化算法的衡量指标 regret;

第 12 章讲解了在线 boosting 方法及其用途;

第 13 章介绍了 Blackwell 可接近性定理。

以下是这本书的部分目录。

时隔五年,普林斯顿大学经典书《在线凸优化导论》第二版发表

时隔五年,普林斯顿大学经典书《在线凸优化导论》第二版发表

作者介绍

《在线凸优化导论》这本书的作者是美国计算机科学家、普林斯顿大学计算机科学系教授 Elad Hazan。

时隔五年,普林斯顿大学经典书《在线凸优化导论》第二版发表

Hazan 教授也是自适应梯度算法 AdaGrad 的作者之一。他主要从事机器学习和数学优化方面的研究工作,特别是学习机制的自动化及其有效算法的实现,并拥有多项专利。

相关资讯

DeepMind联合UCL,推出2021强化学习最新课程

DeepMind 的研究科学家和工程师亲自讲授了一套强化学习课程,目前已全部上线。DeepMind 作为全球顶级 AI 研究机构,自 2010 年创建以来已有多项世界瞩目的研究成果,例如击败世界顶级围棋玩家的 AlphaGo 和今年高效预测的蛋白质结构的 AlphaFold。近几年,DeepMind 联合伦敦大学学院(UCL)推出了一些人工智能线上课程,今年他们联合推出的「2021 强化学习系列课程」现已全部上线。该课程由 DeepMind 的研究科学家和工程师亲自讲授,旨在为学生提供对现代强化学习的全面介绍。课程

墨芯首席科学家严恩勖:为什么说稀疏化是AI计算的未来

主讲人:严恩勖墨芯人工智能联合创始人 & 首席科学家卡内基梅隆大学 机器学习博士神经网络动态稀疏算法发明者视频简介:10年前,AI计算优化大多着重在优化算法的计算复杂度上,近年来随着AI产业化,AI计算优化更多注重在硬件的算力提升上。当前,硬件所能带来的算力提升已逼近极限,AI优化计算的未来将是算法与硬件架构的协同优化,以及构建相应的软件生态。稀疏化计算,带来数量级的算力提升,将成为未来AI计算优化的领航者。视频内容:

量子计算新进展,腾讯量子实验室设计新算法进行量子近似优化

编辑 | 白菜叶组合优化问题普遍存在,并且通常在计算上很难解决。量子近似优化算法(QAOA)是最具代表性的量子经典混合算法之一,旨在通过将离散优化问题转化为连续电路参数上的经典优化问题来解决组合优化问题。QAOA 目标景观因普遍存在局部最小值而臭名昭著,其可行性很大程度上依赖于经典优化器的功效。在最新的研究中,腾讯量子实验室(Tencent Quantum Laboratory)的研究人员为 QAOA 设计了 double adaptive-region Bayesian optimization(DARBO)。测