AI开发平台MODELARTS-自动模型优化介绍:模拟退火算法(Anneal)
模拟退火算法(Anneal)
模拟退火算法即Anneal算法,是随机搜索中一个简单但有效的变体,它利用了响应曲面中的平滑度。退火速率不自适应。Anneal算法从先前采样的一个试验点作为起点,然后从与先验分布相似的分布中采样每组超参数,但其密度更集中在选择的试验点周围。随着时间推移,算法会倾向于从越来越接近最佳点处采样。在采样过程中,算法可能绘制一个次佳试验作为最佳试验,以一定概率跳出局部最优解。
参数 |
说明 |
取值参考 |
---|---|---|
num_samples |
搜索尝试的超参组数 |
int,一般在10-20之间,值越大,搜索时间越长,效果越好 |
avg_best_idx |
要探索试验的几何分布平均,从按照分数排序的试验中选择 |
float,一般不建议用户修改 |
shrink_coef |
随着更多的点被探索,邻域采样大小的减少率 |
float,一般不建议用户修改 |