贝叶斯优化假设超参和目标函数存在一个函数关系。基于已搜索超参的评估值，通过高斯过程回归来估计其他搜索点处目标函数值的均值和方差。根据均值和方差构造采集函数（Acquisition Function），下一个搜索点为采集函数的极大值点。相比网格搜索，贝叶斯优化会利用之前的评估结果，从而降低迭代次数、缩短搜索时间；缺点是不容易找到全局最优解。

TPE算法全称Tree-structured Parzen Estimator，是一种利用高斯混合模型来学习超参模型的算法。在每次试验中，对于每个超参，TPE为与最佳目标值相关的超参维护一个高斯混合模型l(x)，为剩余的超参维护另一个高斯混合模型g(x)，选择l(x)/g(x)最大化时对应的超参作为下一组搜索值。

模拟退火算法即Anneal算法，是随机搜索中一个简单但有效的变体，它利用了响应曲面中的平滑度。退火速率不自适应。Anneal算法从先前采样的一个试验点作为起点，然后从与先验分布相似的分布中采样每组超参数，但其密度更集中在我们选择的试验点周围。随着时间推移，算法会倾向于从越来越接近最佳点处采样。在采样过程中，算法可能绘制一个次佳试验作为最佳试验，以一定概率跳出局部最优解。

1、数据已完成准备：已在ModelArts中创建可用的数据集，或者您已将用于训练的数据集上传至OBS目录。

2、请准备好训练脚本，并上传至OBS目录。训练脚本开发指导参见开发自定义脚本。

3、在训练代码中，用户需打印搜索指标参数。

4、已在OBS创建至少1个空的文件夹，用于存储训练输出的内容。

5、由于训练作业运行需消耗资源，确保账户未欠费。

6、确保您使用的OBS目录与ModelArts在同一区域。

进入ModelArts控制台，参考创建算法操作指导，创建自定义算法。在配置自定义算法参数时，需关注“超参”和“支持的策略”参数的设置。

对于用户希望优化的超参，需在“超参”设置中定义，可以给定名称、类型、默认值、约束等。

单击勾选自动搜索，用户为算法设置算法搜索功能。自动搜索作业运行过程中，ModelArts后台通过指标正则表达式获取搜索指标参数，朝指定的优化方向进行超参优化。用户需要在代码中打印搜索参数并在控制台配置参数，具体可参见创建算法。

登录ModelArts控制台，参考创建训练作业操作指导，创建训练作业。用户需关注以下操作才能开启超参搜索。

当您选择支持超参搜索的算法，需单击超级参数的范围设置按钮才能开启超参搜索功能。

开启超参搜索功能后，用户可以设置搜索指标、搜索算法和搜索算法参数。三个参数显示的支持值与算法管理模块的超参设置一一对应。

完成超参搜索作业的创建后，训练作业需要运行一段时间。