Python mxnet.optimizer.Signum用法及代码示例

用法:
class mxnet.optimizer.Signum(learning_rate=0.01, momentum=0.9, wd_lh=0.0, **kwargs)

参数：

momentum：(float, optional) - 动量值。
wd_lh：(float, optional) - 解耦权重衰减正则化的量，详见原论文：https://arxiv.org/abs/1711.05101

基础：mxnet.optimizer.optimizer.Optimizer

采用梯度或动量符号的 Signum 优化器。

优化器通过以下方式更新权重：

rescaled_grad = rescale_grad * clip(grad, clip_gradient) + wd * weight
state = momentum * state + (1-momentum)*rescaled_grad
weight = (1 - lr * wd_lh) * weight - lr * sign(state)

参考：

Jeremy Bernstein、Yu-Xiang Wang、Kamyar Azizzadenesheli 和 Anima Anandkumar。 (2018 年)。 signSGD：非凸问题的压缩优化。在 ICML'18 中。

见：https://arxiv.org/abs/1802.04434

有关更新算法的详细信息，请参阅 signsgd_update 和 signum_update 。

除了 Optimizer 接受的参数之外，此优化器还接受以下参数。

相关用法

注：本文由纯净天空筛选整理自apache.org大神的英文原创作品 mxnet.optimizer.Signum。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。