Python mxnet.optimizer.FTML用法及代碼示例

用法:
class mxnet.optimizer.FTML(beta1=0.6, beta2=0.999, epsilon=1e-08, **kwargs)

參數：

beta1：(float, optional) - 0 < beta1 < 1。一般接近 0.5。
beta2：(float, optional) - 0 < beta2 < 1。一般接近 1。
epsilon：(float, optional) - 小值以避免除以 0。

基礎：mxnet.optimizer.optimizer.Optimizer

FTML 優化器。

此類實現中說明的優化器FTML - Follow the Moving Leader in Deep Learning, 可在http://proceedings.mlr.press/v70/zheng17a/zheng17a.pdf.

用 t 表示時間步長。優化器通過以下方式更新權重：

rescaled_grad = clip(grad * rescale_grad + wd * weight, clip_gradient)
v = beta2 * v + (1 - beta2) * square(rescaled_grad)
d_t = (1 - power(beta1, t)) / lr * square_root(v / (1 - power(beta2, t))) + epsilon)
z = beta1 * z + (1 - beta1) * rescaled_grad - (d_t - beta1 * d_(t-1)) * weight
weight = - z / d_t

有關更新算法的詳細信息，請參閱 ftml_update 。

除了 Optimizer 接受的參數之外，此優化器還接受以下參數。

相關用法

注：本文由純淨天空篩選整理自apache.org大神的英文原創作品 mxnet.optimizer.FTML。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。