NNI Builtin Assessor

NNI中已实现的Assessor

by ZWZ

1. Medianstop

  • 算法简介:

    Medianstop 是一种简单的提前终止策略,可参考论文。 如果 Trial X 的在步骤 S 的最好目标值比所有已完成 Trial 的步骤 S 的中位数值明显要低,就会停止运行 Trial X

  • 适用场景:

    适用于各种性能曲线,可用到各种场景中来加速优化过程。

  • 优点:

    1. 适用于多种性能曲线
    2. model-free,不依赖于参数化模型
    3. more reminiscent of a bandit-based approach (难以翻译)
  • 缺点:

    1. 需要一定trial的实验数据的积累才能启动
    2. 判断中止的条件比较简单,比较僵硬,难以确定一个trial在某一步上的结果与期望值的差值作为中止trial的阈值的大小,且无法调整

2. Curvefitting

  • 算法简介:

    Curve Fitting Assessor 是一个 LPA (learning, predicting, assessing,即学习、预测、评估) 的算法。 如果预测的 Trial X 在 step S 比性能最好的 Trial要差,就会提前终止它。 此算法中采用了 12 种曲线来拟合精度

  • 适用场景:

    适用于各种性能曲线,可用到各种场景中来加速优化过程。 更好的是,它能够处理并评估性能类似的曲线

  • 优点:

    参考1

    参考2

    1. 使用12条曲线拟合学习曲线,并且每条都有各自的权值以进行线性混合,泛用性强,拟合度高,预测准确
    2. 易于添加更多种类的曲线进行学习曲线的拟合
    3. 对于停止trial的阈值更加宽容,且易于调整
    4. 能够处理并评估性能类似的曲线
    5. 因只是预测,速度较快,无需等待trail到达step S即可决定是否停止
  • 缺点:

    1. 因预测偏差,可能终止不应终止的trial
    2. 需要一定trial的实验数据的积累才能启动