凸优化是指在最小化(最大化)的优化要求下,目标函数是凸函数,且约束条件所形成的可行域集合是一个凸集的优化要领。由于能够顺序查询外部数据源,在线凸优化成为获得凸函数最佳解决方案的要领,并因其在大规模优化和机械进修中的可扩展性而得到了广泛的普及。
近日,由计算机科学家 Elad Hazan 撰写的典范册本《在线凸优化导论(Introduction to Online Convex Optimization)》出版了第二版,第一版曾于 2016 年发表。
第二版册本链接:https://arxiv.org/pdf/1909.05207.pdf
与第一版类似,这本书将优化视为一个过程。在许多使用中,实践环境非常复杂,要建立一个全面的实践模型,使用典范的算法实践和数学优化是不可行的。因此使用优化要领,在观察问题更多方面的情况下进行进修,采用稳健的要领是非常必要的。这种将优化视为一个过程的观点已为各个领域广泛接受,在建模和多种系统上取得了巨大的成功。
随着机械进修、统计学、决策科学和数学优化方面的研究越来越多,确定性建模、随机建模和优化要领之间的界限逐渐模糊。该书沿着这一事实趋势,以在线凸优化 (OCO) 框架为例,讲授了 OCO 建模和解决的实践问题,涵盖严格的定义、背景和算法。
全书共包含 13 章的实质:
第 1、2 章先容了在线凸优化的基础知识和基本概念;
第 3、4 章系统地先容了两类在线凸优化的要领;
第 5 章先容了正则化的实质;
第 6 章具体先容了典范框架 Bandit 凸优化(BCO)的实质;
第 7 章讲授了无投影算法的实质;
第 8 章从博弈论的角度讲授在线凸优化实践;
第 9 章讲授了与在线凸优化有关的统计进修实践;
第 10 章先容了在事实多变的环境中在线凸优化的实践使用问题;
第 11 章主要先容了机械进修算法 boosting 和在线凸优化算法的衡量指标 regret;
第 12 章讲授了在线 boosting 要领及其用途;
第 13 章先容了 Blackwell 可接近性定理。
以下是这本书的部分目录。
作家先容
《在线凸优化导论》这本书的作家是美国计算机科学家、普林斯顿大学计算机科学系教授 Elad Hazan。
Hazan 教授也是自适应梯度算法 AdaGrad 的作家之一。他主要从事机械进修和数学优化方面的研究工作,特别是进修机制的自动化及其有效算法的实现,并拥有多项专利。