在人工智能领域，算法工程师在训练神经网络模型的过程中，完成网络构建和准备好训练数据后，往往需要对模型举行各种参数优化，以获得更好的模型效验。但调参其实并不简单，背后往往是通宵达旦的参数调试与效验验证，并需要做大量的实验，不仅耗时也耗费大量算力。
这个时候，往往想尝试主动超参搜刮，但又开始担心算力要求所带来的额外训练成本。
莫慌！baidu全功能AI开发平台BML带着免费算力额度与主动超参搜刮能力来了！
先来介绍baidu最近全新升级的BML，何方神圣？
全功能AI开发平台BML(Baidu Machine Learning) ，是为企业和个人开发者提供机器学习和深度学习一站式AI开发服务，并提供高性价比的算力资源，助力企业快速构建高精度AI应用。BML提供了从数据采集、数据清洗、数据标注、智能标注与多人标注、模型训练生产到模型管理、云端及离线推理服务管理等AI开发过程的全生命周期管理功能。
BML内置baidu超大规模预训练模型，只需少量数据即可获得高精度模型效验。目前，BML已经支持脚本调参、Notebook与自定义作业这三种开发建模方式，灵活匹配企业开发者的开发习惯。
在目前的脚本调参利用流程中，BML已经预设了模型超参数，但由于用户数据集内容丰富多样，预设的超参数很难在所有的数据集上得到很好的训练效验。用户可以自行调整超参数，但是手动调参十分耗费人力。为了减轻用户在调参上的精力投入, BML的研发大佬们日夜奋战，为用户上线了主动超参搜刮的功能，帮助用户主动搜刮效验较优的超参组合，省去调参的烦恼。
话不多说，进入本次正题，baiduBML的主动超参搜刮技术有哪些亮点？
提供多种搜刮算法
所谓“超参”，有别于模型网络结构内部各层的参数，是指需要人为调整，通过人为经验设置来提高模型效验的参数，常见的超参包括学习率(learning_rate)、批样本数量(batch_size)等。在超参搜刮的过程中，由于模型复杂、计算成本很高，且每个超参数都有较大的取值范围，导致搜刮空间十分庞大，因此我们需要有“主动”超参搜刮。
主动超参搜刮相比于人工调参，主要是省去了人工观察实验结果并调整参数再实践的过程，主动超参搜刮把这个步骤用各种搜刮算法来代替。
BML提供的搜刮算法有：
1. 随机搜刮
顾名思义是在参数变量的变化区间中随机采样参数组合成候选集，应用候选集举行训练和效验对比。随机搜刮是普适的服从较高的搜刮方法，通常作为基线标准，适用于对服从要求较高的情况，但不能保证一定能搜刮到最佳的超参。
2. 贝叶斯搜刮
在搜刮空间中随机选取初始超参数点，然后根据已有超参对应的指标结果拟合概率模型，通过概率模型推测最佳超参点，接着再实践得到这些超参点的结果。如此反复优化，再有限实践次数中搜刮出合适的超参数。基于模型的序贯优化方法(SMBO, Sequential Model-Based Optimization)是贝叶斯搜刮的一种范式，包括两个部分: 代理模型(surrogate model) 和 采集函数(acquisition function)。根据代理模型和采集函数的不同，贝叶斯搜刮方法也有许多实现形式，其中TPE(Tree-structured Parzen Estimator)是一种全局探索能力较佳的方法，采用核密度估计方法(KDE, Kernel Density Estimation)生成代理模型，采用EI(Expected Improvement)作为其采集函数生成新采样点。
3. 退化算法
退化算法是一种基于种群概念的超参搜刮策略，把超参摆设视为一个种群，并行优化多个种群并在种群内部举行优胜劣汰的筛选，最终输出最佳模型。这个过程（如下图所示）是从遗传算法获得的灵感，种群的初始化采用随机的方式生成，集体的优胜劣汰具体指利用(exploit)和探索(explore)两个步骤，不仅可能会从表现较好的集体中复制参数，它还能通过随机扰动修正当前的值而探索新的超参数组合。
图片来源：https://arxiv.org/pdf/1711.09846v1.pdf
baidu创新提出了随机微分方程无梯度优化算法PSHE2，采用哈密尔顿动力系统搜刮参数空间中“势能”最低的点以替代随机扰动，加速迭代收敛。超参搜刮过程中想要求得最优解就是要找到更新超参数组合的方法，即如何更新超参数，才能让算法更快更好的收敛到最优解。PSHE2算法根据超参数本身历史的最优，在一定随机扰动的情况下决定下一步的更新方向。过程如图所示。
图片来源：https://github.com/PaddlePaddle/PaddleHub/blob/release/v1.5/docs/tutorial/autofinetune.md
方法网格搜刮随机搜刮贝叶斯搜刮退化算法优点实现简单，效验取决于用户设置网格间隔大小多参数联合搜刮时，增大了每个参数的搜刮范围，提高搜刮服从。搜刮迭代次数少，服从高，借助已有采样点通过贝叶斯估计最佳超参。降低每轮迭代训练时间，将计算资源集中于参数搜刮上，通过复用历史表现好的集体的预训练参数来加快收敛缺陷消耗计算资源效验不稳定可能陷入局部最优如果超参导致模型结构变化等因素导致不能加载预训练参数时则不适用
主动超参搜刮方法比较
上表归纳了一下这些搜刮方法的优缺点。总之，网格搜刮和随机搜刮实现上比较简单，不利用先验知识选择下一组超参数，其中随机搜刮服从相对较高。贝叶斯搜刮和退化算法需要用前一轮的信息举行迭代搜刮，搜刮服从明显提升。
BML主动超参搜刮的实现：系统架构
BML主动超参搜刮功能基于baidu自研主动超参搜刮服务，服务运行过程如下图所示，依靠baidu智能云CCE算力，支持多主动搜刮恣意并发。为了提供一个“好用”的主动超参搜刮服务，架构实现时在并发搜刮服从提升和系统容错方面着重举行了考虑。
一次超参搜刮恣意包含以下流程：
1. 业务平台把超参搜刮恣意的用户摆设信息提交到超参搜刮服务，会创建一次搜刮实验(Experiment)，并记录到db中。
2. 搜刮服务把恣意提交到Experiment controller, 由controller初始化创建Trial管理模块，并负责Experiment生命周期的管理。
3. Trial是具体的训练实践，一个Experiment会产生多个Trial来探索不同超参数组合的最终效验。Tuner是超参生成的模块，会根据选择的超参搜刮算法，推荐下一个Trial所利用的超参值。在Trial管理模块中，Exp Manager会负责生成若干Trial, 向Tuner请求具体的实践超参数，并向Trial Scheduler发送Trial恣意信息。
4. Trial Scheduler会与底层资源交互实际启动Trial。Trial Scheduler会管理所有Trial的生命周期。
5. 每个Trial运行完成后，会向Exp Manager汇报指标等信息，用于汇报给tuner并记录到db。
BML主动超参搜刮主要有以下特性：
1、简单易用：相比于同类产品的复杂摆设，BML在为用户提供必须的开放摆设项的前提下，尽可能减少超参摆设的繁琐程度，凡是可以主动化的工作均不对用户可见。
2、模型丰富：与脚本调参上提供的丰富的模型打通，可以直接摆设化完成相应恣意的搜刮，甚至不用写代码！
3、容错机制：主动超参搜刮恣意具有模型训练次数多、恣意整体运行时间长的特点，受显存资源限制，有些搜刮出的超参数无法成功运行。兼顾搜刮效验和可用产出，增设模型训练失败次数阈值，把Experiment和Trial这样多恣意的复杂状态管理分拆到各层模块中，尽可能为用户提供搜刮出的可用结果。
4、支持早停与采样：搜刮框架内部支持主动早停，当达到设定的预期结果时即可主动停止；同时也支持在界面上手动提前停止，减少用户的等待时间，避免不必要的算力消耗。支持用户选择大数据集时主动举行采样，减少超参搜刮训练耗时，以尽快搜刮出合适的超参为上。
5、高效分布式智能搜刮：深度学习模型的训练时间往往较长，对于大规模数据集或者复杂模型的搜刮恣意，单机串行的搜刮方式几乎不可用。我们注意到有的搜刮算法中每次实践是可以独立举行训练的（如网格搜刮、随机搜刮），可以直接对所有实践并行化；有的搜刮算法虽然本质基于迭代，但每个迭代中的实践运行仍然是相互独立的，因此我们可以在迭代内部举行并行化搜刮。BML内部实现了智能调度系统，根据不同的算法类型，采用不同的并发策略，可以大幅度降低整体搜刮时间。
上手实操：主动超参搜刮利用攻略
1. 首先点击 https://ai.baidu.com/bml/app/project/script/list 创建一个脚本调参项目，如果已经有项目了，直接用就可以！目前支持超参搜刮的项目类型有图像分类（单标签和多标签）及物体检测，创建对应类型的项目就可以了
2. 在项目里新建恣意，摆设好恣意的网络、数据、脚本之后，就可以看到“摆设超参数”的选项了。这里如果已经有超参搜刮的结果，可以直接勾选“已有超参搜刮结果”来利用，如果第一次利用还没有，就直接选择“主动超参搜刮”。
3. 目前BML支持了三种超参搜刮算法，如图，分别是贝叶斯搜刮、随机搜刮和退化算法，可以根据自己需要选择一种来搜刮。具体摆设项说明可以参考技术文档。
3.1 贝叶斯搜刮的参数说明
【初始点数量】代表贝叶斯搜刮中，初始化时参数点的数量，该算法基于这些参数信息推测最优点 ，填写范围1-20。
【最大并发量】贝叶斯搜刮中，同时举行实践的数量，并发量越大，搜刮服从越高，填写范围1-20。不过这个并发量也会受限于页面最下方选择的GPU数量，实际并发量是二者的较小值。
【超参范围设置】：可以是默许摆设，也可以手动摆设。默许的话baidu的工程师们已经帮我们对不同网络、GPU卡型设置了一个基本靠谱的搜刮范围，直接用就可以。当然也可以手动摆设，可以自定义各个超参的范围，可以看到物体检测支持以下这些超参自定义搜刮范围：
【最大搜刮次数】：是指最多组合出多少组超参并跑实践，当然有可能会因为提前达到目标而停止，节约费用。
【数据采样比例】：利用超参搜刮时，会对原始数据集举行采样后再训练，加快搜刮速度。当数据集并不大时，不推荐采样哟，可能会影响最终效验，只有大数据量时才有利用采样的必要。
【最高mAP/最高精确率】：是指大家期望模型效验可以达到的mAP（物体检测）或准确率（图像分类）的值，当实践中达到这个值了搜刮就会停止，避免后续浪费搜刮时间。
3.2 随机搜刮参数说明
随机搜刮最简单啦，就不需要再额外摆设算法相关的参数了，其它公用的选项和贝叶斯搜刮的含义是一样的，参考贝叶斯搜刮即可。
3.3 退化算法参数说明
退化算法是一种效验较好的算法，应用此算法时也需要举行较多的选项设置：【迭代轮数】:退化算法运行中迭代的轮数，范围5-50。【扰动间隔】:退化算法每隔几个epoch就会举行随机扰动，利用随机因素防止算法结果收敛于局部最优解。【扰动比例】：类似于染色体交叉的形式，迭代中一个种群内最好与最坏的集体依据扰动比例举行交叉。【随机初始化概率】：在扰动中，有一定概率对集体的超参数举行初始化。【种群集体数量】：一个集体代表一种超参数设置，一个种群中包含多个集体。其它选项和贝叶斯搜刮的含义一致，也不重复了。退化算法的摆设需要对算法的原理有一定的了解，如果对算法不明白的，就直接用baidu给的默许值吧！
4. 超参的选项设置完成了，最后选择GPU卡类型和数量，以及最大搜刮时间，就可以提交恣意啦！这里默许的搜刮时间是24小时，毕竟超参搜刮会运行多次实践，时间会比较长，需要耐心等待，当然如果选的GPU卡数越多，并发实践数就越高，从提交恣意到搜刮完成的耗时就会变少，这是显而易见的
5. 恣意提交之后，过一会当恣意进入“超参搜刮中”的状态时，就可以看到各个实践的进度了，包括各个实践的状态、日志和准确率（mAP）
6. 超参搜刮训练完成后，效验最优的5次实践可以看到详细的评估结果，也能用于后续的效验校验和发布。当然，如果在超参搜刮时对数据举行了采样，这时候可以重新发起一次训练恣意，用这次搜刮出来效验满意的超参数举行全量数据训练，从而获得完整数据的模型效验
效验才是硬道理：超参搜刮效验提升高达20%+
我们对比了图像分类、物体检测、实例分割等恣意在利用普通脚本调参和超参搜刮的效验情况，以下是5个不同数据集在BML平台上分别利用默许脚本调参参数、超参搜刮利用退化算法、超参搜刮利用贝叶斯搜刮算法的效验对比。图中左边纵轴为模型的准确率，右边纵轴为超参搜刮算法在效验上提升的比例。可以看到在不同数据集上利用超参搜刮后效验均有提升，在默许参数精度已经超过85%的情况下，利用超参搜刮仍能提升约5%，在默许参数效验较差的情况下，超参搜刮的提升效验更为明显，可高达22%。
在常规操作下，可用的深度学习主动超参搜刮由于需要集群计算资源，往往被认为只有大公司才能摆设，普通开发者难以上手尝试。通过利用baidu全功能AI开发平台BML，预算有限也有机会用上主动超参搜刮，开发服从瞬间搭上火箭速度，摆脱人力“炼丹”的束缚。BML新用户现在还提供100小时免费P4显卡算力，羊毛在向你招手，快来薅一把！
BML官网：https://ai.baidu.com/bml/
