Python mxnet.optimizer.FTML用法及代码示例

用法:
class mxnet.optimizer.FTML(beta1=0.6, beta2=0.999, epsilon=1e-08, **kwargs)

参数：

beta1：(float, optional) - 0 < beta1 < 1。一般接近 0.5。
beta2：(float, optional) - 0 < beta2 < 1。一般接近 1。
epsilon：(float, optional) - 小值以避免除以 0。

基础：mxnet.optimizer.optimizer.Optimizer

FTML 优化器。

此类实现中说明的优化器FTML - Follow the Moving Leader in Deep Learning, 可在http://proceedings.mlr.press/v70/zheng17a/zheng17a.pdf.

用 t 表示时间步长。优化器通过以下方式更新权重：

rescaled_grad = clip(grad * rescale_grad + wd * weight, clip_gradient)
v = beta2 * v + (1 - beta2) * square(rescaled_grad)
d_t = (1 - power(beta1, t)) / lr * square_root(v / (1 - power(beta2, t))) + epsilon)
z = beta1 * z + (1 - beta1) * rescaled_grad - (d_t - beta1 * d_(t-1)) * weight
weight = - z / d_t

有关更新算法的详细信息，请参阅 ftml_update 。

除了 Optimizer 接受的参数之外，此优化器还接受以下参数。

相关用法

注：本文由纯净天空筛选整理自apache.org大神的英文原创作品 mxnet.optimizer.FTML。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。